OpenAIがAIの「幻覚」のリスクを軽減する準備を整えています

人工知能(AI)研究会社であるOpenAIは、AI「幻覚」に対抗する方法を模索しています。ChatGPTを活用したAIチャットボットを開発している同社は、AIモデルをトレーニングしてChatGPTの数学的問題解決能力を向上させ、誤情報の拡散を防止する方法に取り組んでいると発表しました。

OpenAIによると、幻覚を軽減することは、合理的なAGIの構築と推論問題の解決に向けた「重要なステップ」です。幻覚とは、AIによって生成された予期しない結果であり、AIトレーニングデータによって正当化されない応答のことを指します。そのような幻覚の例として、ChatGPTがユーザーの質問「レオナルド・ダ・ヴィンチはいつモナ・リザを描いたのですか?」に対して、モナ・リザが1503年から1506年にかけて描かれたと回答すべきところを、1815年に作成されたと答えたことが挙げられます。

また、4月にChatGPTが、米国の刑事弁護士兼法学教授であるジョナサン・ターリー氏を性的暴行の罪で告発したことで批判が噴出しました。さらに、ChatGPTは2018年のワシントン・ポストの記事を誤って引用しました。これは、AIが誤解を招く方法のひとつに過ぎません。

幻覚のリスクを軽減するため、OpenAIは新しい方法を提案しています。それは、正しい推論の各ステップに自己報酬を与えることで、正しい最終答えを報酬として与える代わりに、AIモデルをトレーニングするというものです。この原理は「プロセス監視」として知られています。

OpenAIは次のように説明しています。

「結果に基づくフィードバックを提供するアウトカム監視、思考の連鎖の各個のステップに対してフィードバックを提供するプロセス監視、どちらの手法でも報酬モデルをトレーニングして幻覚を検出できます。」

同社は両方のプロセスを比較して、プロセス監視がより強力なツールであり、大幅にパフォーマンスが向上する傾向があると結論付けました。

同社は次のように述べています。

「プロセス監視は、アラインメントに関してアウトカム監視よりも優れています。それは、プロセスの各ステップに正確な監視を提供するため、アラインされた思考の連鎖を追うことをモデルに直接報酬を与えます。プロセス監視は、人間が承認したプロセスに従うようにモデルを促すため、より解釈可能な推論を生み出す可能性があります。一方、アウトカム監視は、アラインされていないプロセスを報酬する可能性があり、一般に検証が難しいです。」

OpenAIは、ChatGPTを盲目的に信頼することを避けるようユーザーに注意を促しており、「ChatGPTは人物、場所、または事実に関する不正確な情報を生み出す可能性がある」と説明しています。同社のウェブサイトには次のように記載されています。

「ユーザーがこのツールを使用するためにサインアップする際には、ChatGPTが常に正確でない可能性があることをできるだけ透明にするよう努めています。ただし、幻覚の可能性をさらに減らし、これらのAIツールの現在の制限について一般の人々に教育するためには、まだ多くの作業が必要であることを認識しています。」

研究論文に加えて、OpenAIは、説明された監視モデルをトレーニングするために使用した80万の人間ラベルのデータセットもリリースしています。ただし、論文が査読済みかどうかはまだ明確ではなく、現在は予備的な研究としてのみ見ることができます。