たとえば近年、フェイスブックやユーチューブやツイッター（現X）のようなソーシャルメディア企業は、自社のAIアルゴリズムに、ユーザーエンゲージメントを増大させるという、一見有益で単純な目標を与えた。ユーザーがソーシャルメディアで費やす時間が増えるほど、これらの企業には多くのお金が転がり込んできた。
ところが各社のアルゴリズムは、「ユーザーエンゲージメントを増大させる」という目標を追求するうちに、なんとも困った発見をしてしまった。厖大な数の人間を実験台にして試しているうちに、憤慨や憎悪を煽るコンテンツがユーザーエンゲージメントを増大させることを学習したのだ。
もし人間の心の中にある怒りや恐れや憎しみのボタンを押せば、その人の注意を惹き、画面に釘付けにすることができる。したがって、アルゴリズムはその種のコンテンツを意図的に拡散し始めた。それが大きな原因となって、今では陰謀論やフェイクニュースや社会の混乱が蔓延し、世界中で民主社会を蝕んでいる。
フェイスブックやユーチューブやツイッターの経営者たちは、このような結果を望んでいたわけではない。ユーザーエンゲージメントを増大させれば利益が増すと考えていただけで、それに伴って社会の混乱も増すことは予期していなかった。
この社会的惨事は、人間社会の重大な利益とAIが採用した戦略が一致（アラインメント）していなかったために起こった。専門用語では、これは「アラインメント問題」という。
https://president.jp/articles/-/94892?page=1
