OpenAIは、AIのハルシネーションに関する1つの論文を公開した。

OpenAIは、AIのハルシネーションに関する論文を発表した。

LLMが事実を捏造するのは、それが「壊れている」ということではなく、

私たちがそうするように訓練したからだ。

OpenAIの研究から得られた興味深い洞察：

→ 事前学習は、データから学習できない事実があるため、ランダムな誕生日を推測するなどのエラーを強いる。

→ 事後学習は状況を悪化させる - ベンチマークは自信のある答えを報奨し、「わからない」という答えを罰する。

→ その結果、モデルは真実を語るのではなく、テストで良い成績を取るように最適化される。

つまり、ハルシネーションは神秘的なものではない。

それらは、推測を誠実さよりも重視する評価システムの論理的な結果だ。

対策はシンプルだが革命的だ：

↳ 不確実性に対してモデルに評価点を与えるように評価を変更する。 ↳ 自信を持ったエラーを「わからない」という回答よりも厳しく罰する。 ↳ 誠実さを報奨し、ブラフを罰する。

まとめ：

「わからない」という回答をするモデルは、現在のリーダーボードでは正確性が低く見えるかもしれないが、現実世界でははるかに信頼性が高い。

これは、AIの次の大きな進歩の可能性がある。

私たちに必要なのは、より大きなモデルではない。より良いインセンティブが必要だ。

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私ちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。