動画>>2以降
生成AIの大問題 「幻覚」の現状と議論
https://cloud.watch.impress.co.jp/docs/column/infostand/1495899.html
生成AIの目下の一番の問題は、「ときおり本当のように見えるデタラメの内容を自信たっぷりに回答する」ということだ。自然でもっともらしい回答を得意とし、おおむね正しい回答をする中で、ときとしてウソをつくのだから始末が悪い。この問題は解決できるのか――。
AIの幻覚
オーストラリアの地方都市の市長がOpenAIを名誉毀損で訴えることを検討していると4月5日付のReutersが報じた。約20年前にあった同市の汚職事件にからみ、「市長は収賄で服役していた」とChatGPTが回答したためだ。
実際は、市長は事件の際に告発した側であって、収賄や服役などの事実は全くないという。ChatGPTが事実無根の説明をしたことに市長は憤慨している。
生成AIは時に、このような全くの虚偽の文章を返すことがある。「幻覚（Hallucination）」と呼ばれる現象だ。
自然言語処理分野で幻覚が取り上げられたのは、2018年のGoogle Researchの論文「Hallucinations in Neural Machine Translation」が最初とされる。
ニューラル機械翻訳（NMT）システムの翻訳結果が、「原文から完全にかけ離れた、非常に病的な翻訳を生成する可能性」を報告したもので、「ユーザーの信頼を深く揺るがすもの」と警告している。
幻覚は、大規模言語モデルが生成した「無意味であったり、元データに忠実（faithful）でないテキスト」と説明される。
「hallucination」は心理学用語だが、存在しないものを知覚する幻覚よりも、「confabulation（作話）」と呼ぶべきだとする専門家もいる。作話は「誤った記憶に基づいて回答する」ことだ。
幻覚の原因としては、「訓練データの問題」（近似データの利用や、データ間の不整合）と、「訓練と推論段階の問題」（エンコードおよびデコードの性能や動作など）の大きく2種類が考えられている。とはいえ、モデルの訓練には億単位のデータを使用するため、個々の問題を見つけ出して除去してゆくのは簡単なことではない。
以下ソース
(つづく)
