探究チャレンジ・ジャパン受賞校②　市立札幌旭丘高校

（道・道教委 2024-02-29付）

研究成果を報告する生徒

　市立札幌旭丘高校（相沢克明校長）は、観察、実験、見学、調査などを行い、課題の解決に必要な情報を集めている学校が選ばれる「札幌市長賞」に輝いた。同校は「ＣｈａｔＧＰＴの性能確認」をテーマに、ハルシネーション（事実に基づかない情報を生成する現象）の問題を取り上げた記事の情報の真偽や実態を調査。結果、チャットＧＰＴ―４・０はＧＰＴ―３・５に比べて、正確性の面で性能が大きく向上していることや、ハルシネーションが進行している実態などを明らかにした。

　発表概要はつぎのとおり。

【札幌市長賞】

◆探究テーマ「ＣｈａｔＧＰＴの性能確認」

▼発表要旨

ＡＩ技術の問題の一つにハルシネーションがある。これは将来、名誉毀損や情報漏えいを引き起こす可能性のある非常に大きな問題。今回私たちはＣｈａｔＧＰＴとＰｙｔｈｏｎを用いて、ハルシネーションの進行具合や特徴を研究した。その結果、ハルシネーションが実際に進行しているデータや、特定の分野において、質問に対するＡＩの正答率の低下を示す興味深いデータを得ることができた。

▼背景と目的

　私たちは、急速に発達するＡＩ技術に問題はないのかという疑問を持った。そうした中、「ＡＩは事実にない情報をあたかも本当のことかのようにでっちあげることがある」というハルシネーションの問題を取り上げた記事を見つけ、その情報の真偽や実態を調査したいと思い研究に踏み切った。

▼方法

　ＣｈａｔＧＰＴのＧＰＴ―３・５とＧＰＴ―４・０を使い、それぞれにＰｙｔｈｏｎを用いて四則演算をするように指示する。そして回答結果の正確性や、ミスの仕方などのデータを集め、ＧＰＴ―３・５とＧＰＴ―４・０とでデータを比較して、ハルシネーションの進行や特徴を調査した。

▼結果

▽ＧＰＴ―４・０はＧＰＴ―３・５に比べて、四則演算を正確性８０％以上で回答できる桁数が２倍以上になっている

▽ＧＰＴ―３・５では、分からない問題に対して４回に１回程度は「分からない」と回答したのに対し、ＧＰＴ―４・０ではどんなに問題が難しくなろうとも絶対に「分からない」とは言わず、間違っても回答をする

▽割り算の回答における有効桁数と正確性を調べたところ、ＧＰＴ―４・０はＧＰＴ―３・５に比べ有効桁数は多いものの、正答率は下がっていた

▼結論

▽ＧＰＴ―４・０はＧＰＴ―３・５に比べて、正確性の面で性能が大きく向上している

▽ハルシネーション（でっちあげ）が進行している

▽ＧＰＴ―４・０は能力以上のことを妥協できずに行うため、失敗が増えている

▼今後の課題

▽ＣｈａｔＧＰＴの回答がどのような情報をもとに作られているのかを調査し、間違った回答をする理由を突き止める

▽ＣｈａｔＧＰＴに計算に強いモジュールを入れた時の正確性や傾向を調べる

▼ＩＴ・データサイエンスの活用

　今回の研究では、質問の機構、質問を分かりやすい形に処理する機構、傾向を調べる機構を自動化した「Ｐｙｔｈｏｎのプログラム」で作成した。Ｐｙｔｈｏｎを活用することで、数万にもわたるデータ収集が可能になり、より誤差の少ない分析を手早く行うことができた

▼参考文献

▽ＣｈａｔＧＰＴの可能性と危険性ハルシネーション問題／児玉龍彦著

▽https://atmarkit.itmedia.co.jp/ait/articles/2303/30/news027.html

この記事の他の写真

(道・道教委 2024-02-29付)