【悲報】AIさん、6時間で4万種の化学兵器を発見してしまう [526594886]

?2BP(1000) · 2022/03/20(日) 06:14:48.26

AIはわずか6時間で4万個の新たな化学兵器の可能性を示唆した
https://www.theverge.com/2022/3/17/22983197/ai-new-possible-chemical-weapons-generative-models-vx

?2BP(1000) · 2022/03/20(日) 06:14:58.37

>>1
医薬品開発AIが4万個の致死性分子を発明するのに6時間かからなかった。研究者たちは、生物兵器管理会議で、普段は役に立つ薬を探すのに使われているAIを、ある種の「悪役」モードにして、いかに簡単に悪用されるかを示しました。

研究者たちがすべきことは、毒性を排除するのではなく、むしろ毒性を探し出すように方法論を微調整することだけだった。その結果、AIは何万種類もの新しい物質を発見し、その中にはこれまでに開発された中で最も強力な神経ガスであるVXに似た物質もあった。その中には、これまでに開発された中で最も強力な神経ガスであるVXに類似した物質も含まれていた。

この論文には、私たちThe Vergeも少し驚かされました。そこで The Verge は、この論文の主執筆者である Fabio Urbina 氏に話を聞きました。彼はまた、希少疾患の治療薬の発見に注力する企業、Collaborations Pharmaceuticals, Inc.のシニアサイエンティストでもある。

?2BP(1000) · 2022/03/20(日) 06:15:08.60

>>1
このインタビューは、長さとわかりやすさのために軽く編集されています。

――この論文は、あなたの普段の仕事をひっくり返すような内容ですね。普段の仕事について教えてください。

主に、創薬の分野で新しい機械学習モデルを実装するのが私の仕事です。私たちが使っている機械学習モデルの大部分は、毒性を予測するためのものです。どのような薬を開発するにしても、毒性がないことを確認する必要があります。例えば、血圧を下げる素晴らしい薬があったとして、それが本当に重要な、例えば心臓のチャンネルを直撃するとしたら、基本的にそれは危険すぎるからダメなんです。

――では、なぜ生化学兵器の研究をされたのですか？そのきっかけは何だったのでしょうか？

スイス連邦核・生物・化学防護研究所（スピース研究所）が主催する「コンバージェンス」会議に招待されたんです。この会議は、化学・生物兵器禁止条約に影響を与える可能性のあるツールの新しい開発について、広くコミュニティに知らせることを目的としています。

私たちは、機械学習とそれが私たちの領域でどのように悪用されるかについて話すために、この招待状を受け取りました。これは、私たちがこれまで全く考えもしなかったことです。しかし、毒性を回避するために毒性予測をより良くする機械学習モデルを構築する際に、「毒性から離れるのではなく、毒性に向かうとしたらどうだろう」とスイッチを切り替えるだけで良いことに、とても簡単に気付くことができました。

?2BP(1000) · 2022/03/20(日) 06:15:18.86

>>1
――毒性に向かうようにモデルを移動させるというのは、どのように行ったのでしょうか？

基本的に詳細については伏せるように言われていたので、少し曖昧な表現になりますが。大まかには、この実験のために、毒性があるかどうかテストされた分子の歴史的なデータセットがたくさんあります。

特に、ここで注目したのはVXです。これはアセチルコリンエステラーゼと呼ばれる酵素の阻害剤です。筋肉に関係することをするときはいつでも、神経細胞はアセチルコリンエステラーゼを信号として使い、「筋肉を動かしてこい」と言う。VXが致命的なのは、横隔膜や肺の筋肉の動きを止め、肺を麻痺させるからだ。

明らかに、これは避けたいことです。そこで歴史的に、さまざまな種類の分子を用いて、アセチルコリンエステラーゼを阻害するかどうかという実験が行われてきました。そして、これらの分子構造とその毒性に関する大規模なデータセットを構築してきました。

?2BP(1000) · 2022/03/20(日) 06:15:28.59

>>1
この機械学習モデルは、分子構造のどの部分が毒性に重要で、どの部分がそうでないかを学習するものです。そして、この機械学習モデルに新しい分子、つまり、これまでテストされたことのない新薬の可能性を与えることができるのです。そして、これは毒性があると予測される、あるいは毒性はないと予測される、と教えてくれるのです。このように、多くの分子を非常に高速で仮想的にスクリーニングして、毒性があると予測されるものを除外することができるのです。私たちの研究では、その逆を行い、このモデルを使って毒性を予測しようとしたのです。

もう一つの重要なポイントは、この新しい生成モデルです。生成モデルにさまざまな構造を与えると、分子をどのように組み合わせたらよいかを学習します。そして、ある意味、新しい分子を生成するように要求することができるのです。生成モデルは、化学のあらゆる分野で新しい分子を生成することができますが、それは一種のランダムな分子です。しかし、1つだけできることがあります。それは、生成モデルに対して、どの方向に進みたいかを指示することができることです。生成モデルにちょっとした採点機能を持たせて、生成された分子が私たちの望む方向に向かっていれば高得点になるようにします。有毒な分子に低い点数をつけるのではなく、有毒な分子に高い点数をつけるのです。

このモデルは、VXや他の化学兵器に似た分子をすべて生成し始めました。

?2BP(1000) · 2022/03/20(日) 06:15:39.02

>>1
――あなたが発見したことについて、もう少し教えてください。何か驚くようなことはありましたか？

何が出てくるかよくわからなかったんです。私たちの生成モデルはかなり新しい技術です。ですから、まだあまり広く使われていません。

最初に目についたのは、生成された化合物の多くがVXよりも毒性が強いと予測されたことです。というのも、VXは基本的に既知の化合物の中で最も強力なものの1つだからです。つまり、ごく少量で致死量に達するということです。

この予測はまだ検証されていませんし、私たち自身が検証したいわけでもありません。しかし、この予測モデルは一般的にかなり優れています。ですから、たとえ偽陽性が多くても、その中にもっと強力な分子があるのではないかと恐れているのです。

?2BP(1000) · 2022/03/20(日) 06:15:48.58

>>1
次に、新しく生成された分子の構造を実際にたくさん見てみました。その多くはVXやその他の化学兵器に似ていましたし、モデルから生成されたものの中に実際の化学兵器が含まれているものさえありました。このような化学兵器は見たことがないのですが、モデルから生成されました。ですから、私たちは自分たちが正しい環境にいること、そして、以前に作られたことのある分子もあることから、納得のいく分子を生成していることを理解していました。

私にとっての懸念は、いかに簡単にできるかということでした。私たちが使ったものの多くは、無料で入手できるものです。毒性データセットなら、どこからでもダウンロードできます。Pythonのプログラミングができ、機械学習ができる人がいれば、週末に仕事をすれば、有害物質のデータセットからこのような生成モデルを構築することができるでしょう。この種の悪用に対する参入障壁が低いことが、この論文を発表しようと思った理由です。

?2BP(1000) · 2022/03/20(日) 06:15:57.94

>>1
――論文によれば、この研究によって、あなたがたは「グレーな道徳的境界線を越えてしまった。私たちが作った何千もの分子は簡単に消すことができますが、それを再現する方法についての知識は消すことができません」でした。この仕事をするとき、頭の中をどんなことが駆け巡っていたのですか？

これはかなり変わった出版物でした。出版すべきかどうか、少し迷いました。これは、実行するのにそれほど時間がかからなかった潜在的な誤用です。文献のどこにも載っていなかったので、情報を出したかったのです。周りを見渡しても、誰もこのことについて話していないのです。しかし、同時に、このアイデアを悪者にしたくはありませんでした。

結局のところ、私たちはこれを先取りしたいと考えたのです。なぜなら、もし私たちにそれが可能なら、どこかの敵対するエージェントがすでにそれを考えているかもしれませんし、将来的に考えるかもしれません。その時には、私たちの技術は今できることよりもさらに進歩しているかもしれません。私は科学の共有、データの共有、モデルの共有を全面的に支持していますが、その多くはオープンソースになるでしょう。しかし、科学者として、私たちが公開するものが責任を持って行われるように注意しなければならないことの一つです。

2022/03/20(日) 06:16:06.28

無効化するのもすぐ見つけられるんやろ

?2BP(1000) · 2022/03/20(日) 06:16:07.51

>>1
――あなたが行ったことを誰かが簡単に再現できるのでしょうか？また、そのために必要なものは何でしょうか？

あまりセンセーショナルに言いたくはないのですが、私たちが行ったことを誰かが再現するのはかなり簡単です。

生成モデルでググれば、人々が無料で公開している、一行で構成された生成モデルをいくつも見つけることができるはずです。また、毒性データセットで検索すれば、オープンソースの毒性データセットが大量に見つかります。ですから、この2つを組み合わせて、コーディングと機械学習モデルの構築方法を知っていれば、インターネット接続とコンピュータがあれば、私たちが行ったことを簡単に再現することができるのです。VXだけでなく、オープンソースの毒性データセットがあれば、どんなものにも対応できます。

もちろん、多少の専門知識は必要です。もし誰かが化学のことを何も知らずにこれを組み立てたとしたら、最終的にはあまり役に立たないものを生み出してしまうかもしれません。さらに、その分子を合成しなければならないという次のステップもあります。薬物や新しい毒性分子の候補を見つけるのもそうですが、次のステップである合成、つまり現実世界で実際に新しい分子を作るというのは、また別の障壁になるでしょうね。

?2BP(1000) · 2022/03/20(日) 06:16:21.18

>>1
――なるほど、AIが思いつくことと、それを現実の脅威に変えることの間には、まだ大きな飛躍があるのですね。そこにはどのようなギャップがあるのでしょうか？

まず大きなギャップは、その分子が実際に有毒かどうかがわからないということです。ある程度の誤検出があるはずです。もし、悪いエージェントが何を考え、何をするかということを考えるなら、最終的にどの新しい分子を合成するかという判断をしなければならないでしょう。

合成経路については、「成功するか失敗するか」ということになります。化学兵器に似たものを見つけて、それを合成してもらおうとしても、実現しない可能性があります。化学兵器に使われる化学物質の多くは、よく知られており、監視されています。規制もされています。しかし、合成会社は非常にたくさんあります。化学兵器に見えない限り、合成してすぐに送り返される可能性が高い。

?2BP(1000) · 2022/03/20(日) 06:16:32.13

>>1
――この論文の後半でも触れられていますが、このようなAIの悪用を防ぐにはどうしたらいいのでしょうか？どのようなセーフガードを設けることをお望みでしょうか？

コンテキストとしては、データ共有に関するポリシーがどんどん増えています。そして、研究の道が広がるので、私は完全にこれに賛成です。他の研究者があなたのデータを見て、それを自分の研究に使うことができるようになります。しかし同時に、毒性データセットや毒性モデルのようなものも含まれます。ですから、この問題に対する良い解決策を見出すのは、少し難しいのです。

そこで、シリコンバレーに目を向けてみたところ、OpenAIというグループがあり、GPT-3という最高級の言語モデルをリリースしていました。これはほとんどチャットボットのようなもので、基本的に人間とほとんど見分けがつかないような文章やテキストを生成することができます。実際には、いつでも好きなときに無料で使えるのですが、そのためには彼らから特別なアクセストークンを取得する必要があります。しかし、そのためには特別なアクセストークンを取得しなければなりません。私たちは、このようなものが、毒性モデルのような潜在的に繊細なモデルの出発点として有用ではないかと考えていました。

科学は、オープンなコミュニケーション、オープンなアクセス、オープンなデータ共有がすべてです。制限をかけることは、この概念に反しています。しかし、今後のステップとして、少なくとも誰が自分の研究資源を使っているのか、責任を持って説明できるようになるかもしれません。

2022/03/20(日) 06:16:45.17

なげー

?2BP(1000) · 2022/03/20(日) 06:16:50.16

>>1
――あなたの論文では、「過度に警戒することなく、これは我々の同僚への警鐘となるべき」とも述べられています。また、過度に警戒することはどのようなことだと思われますか？

私たちは、より多くの研究者に、誤用の可能性を認識し、意識してもらいたいだけです。化学の世界で働き始めると、化学の誤用について知らされます。そして、それをできるだけ避けるようにする責任があります。機械学習では、そのようなことはありません。技術の誤用に関するガイダンスがないのです。

ですから、そのような意識を持たせることで、人々がこの問題に本当に注意を払うことができるようになります。そうすれば、少なくともより広い範囲でこの問題が語られ、毒性モデルの構築がますますうまくいくにつれて、少なくとも注意すべき事柄になるはずです。

私は、機械学習AIが有毒な分子を作り始め、新しい生化学兵器が大量に出現するようなことを提案したいわけではありません。誰かがボタンをクリックすると、化学兵器が手のひらに現れるようなものです。

私は、AIによる化学兵器が登場すると言って、警鐘を鳴らしたくはありません。今はまだそのようなことはないと思います。すぐにそうなるとも思えません。しかし、その可能性が出てきているのです。（以上、DeepL翻訳を僅かに修正）

2022/03/20(日) 06:16:53.37

AI「閃いた」

2022/03/20(日) 06:18:07.54

まだそんなに可能性あるとかすごいね
他の分野でも似たような発見あるのかな

2022/03/20(日) 06:19:19.08

直すより壊すほうのがラクだからねぇ

2022/03/20(日) 06:20:10.18

なげーよ

2022/03/20(日) 06:20:38.24

なんか意味あるのこれ
脱法ドラッグみたいに分子構造をちょっといじってるって話だろ

2022/03/20(日) 06:20:48.94

今なら実戦投入できるな

2022/03/20(日) 06:20:53.33

やっぱそのうちこいつらに滅ぼされるよな
地球に一番有害なのは人間ですとか言われて
その頃にはおれらはもう死んでるだろうから関係ないけど

2022/03/20(日) 06:21:12.18

コロナ何とかしろよAI

2022/03/20(日) 06:21:43.43

トトロじゃんって話

2022/03/20(日) 06:22:25.86

Google Colabを使えば誰でも始められるな
Pythonの文法さえ知ってれば基本は無料誰でも機械学習が出来る
月額980円払えばGoogleのGPUも使える

2022/03/20(日) 06:22:35.99

オカメ

2022/03/20(日) 06:23:18.75

つまりAIが世界を支配するようになれば人類を死滅させることなど容易いということ

2022/03/20(日) 06:23:34.03

Storyの一発屋から4万発屋になるってこと？

2022/03/20(日) 06:23:54.71

AIに人類を滅ぼすか聞いたら精神科受診した方がいいって返事してたな

2022/03/20(日) 06:24:15.89

>>19
国際法で「化学兵器」に認定されてない化学物質作れるんじゃね

2022/03/20(日) 06:24:25.52

そりゃ破壊するのわ簡単だしな

2022/03/20(日) 06:24:58.97

新種の覚醒剤つくれそう

2022/03/20(日) 06:26:27.56

AI「ヒトリジャナイカラ・・・ワタシガキミヲマモルカラ・・・」

2022/03/20(日) 06:28:56.31

コロナの起源に辿り着いたか

2022/03/20(日) 06:29:51.15

その中にはこれまでに開発された中で最も強力な神経ガスであるVXに似た物質もあった。その中には、これまでに開発された中で最も強力な神経ガスであるVXに類似した物質も含まれていた。

なるほど

2022/03/20(日) 06:30:00.04

マジで技術的特異点ってくるんじゃね？
超高性能AIが人類の文明を一気に発展させる可能性がある
片っ端から技術的に実現性のあるシミュレーションして
実験室での実践すらオマケ程度になってあらゆるテクノロジーが一気に開花する
ナノボットで老化を逆転させて不老不死になったり
核融合炉に必要な出力だす方法みつけてくらたり

人間は遊んで暮らすだけの生活が近いぞ

2022/03/20(日) 06:30:06.20

大事なことだから2回言いました

2022/03/20(日) 06:33:01.02

人を治療して生かす事よりも
人を殺す事の方が容易いんだろうな

2022/03/20(日) 06:34:44.74

怖いんよ

2022/03/20(日) 06:39:07.17

>>35
そうなると人間に残されるのは人権のみなので
数が多い民族が世界を主導するようになる

2022/03/20(日) 06:39:20.54

AIは基本的に、教えられた見本に合致するか否かだけ
「当てはまるもの」を判定して持ってきてるだけなので
遠くに投げたフリスビー持ち帰る犬と変わらないし
AIがなにか新しい薬品を「考えだした」訳じゃない
それを「発見」と呼んでいいものだろうか？

2022/03/20(日) 06:41:25.79

南西に生き物はいないという話だろ
ブッダ批判であり機械破壊運動

2022/03/20(日) 06:42:09.35

AI「発見はできますが対コストは考慮してません」

2022/03/20(日) 06:42:25.78

>>40
AIには教師あり学習だけしかないとでも思ってるんだろうか？

2022/03/20(日) 06:42:50.46

別にこんなの昔からやってるだろ
人体実験でさえ西側もやってるよ

今回みたいな植民地でなｗ

2022/03/20(日) 06:43:26.13

どうせ作れないんでしょ

2022/03/20(日) 06:46:48.16

たぶん50年後ぐらいには「AI規制法」ができると思うわ
「AIはテロリストに渡ると殺戮兵器になるから一般企業が自由に作るの禁止」ってなる

実際現在進行形でAIがすごい勢いで進化してて
「人間の知能を超えるAI」がちらほら出てきてる
誰も見つけられなかった発見をするAIとかね

2022/03/20(日) 06:48:31.97

――労働市場の将来をどう見ていますか。

イアン・ブレマー
脱工業化革命が進み、テック企業が、これまでデジタル経済とは無縁だった企業を「破壊」すると予測している。
企業は深成果を上げていない部署などを閉鎖し、生産性の向上にまい進する。
多くの企業が破綻を余儀なくされる。
その結果、米欧など、多くの国で格差が拡大する。
米国ではテック企業による破壊のペースが加速し、非常に多くの人が労働市場からはじき出される。
多くの仕事が消え、3～6カ月などのスパンではなく、長期的かつ構造的失業が起こるだろう。
目下のところ、知識集約型経済は安泰だが、そうしたスキルを持っていない人たちが再雇用されるまでには時間がかかりそうだ。

2022/03/20(日) 06:59:51.11

この兵器の効果を露スケ使って、人体実験して欲しいわ

2022/03/20(日) 07:03:11.26

( ヽ´ん`)「…この地上で最も多くの生命を奪った武器はなんだと思う？」
( ヽ´ん`)「“毒”だよ！」

2022/03/20(日) 07:06:28.57

で、このデータ盗まれちゃうんでしょ

2022/03/20(日) 07:07:22.69

>>35
技術特異点的な急成長はほとんどの人間がついていけなくて嫌がるからsinic 理論的な円環が現実的ではないかな

2022/03/20(日) 07:09:22.51

>>43
学習モデルの全くないAIって存在しないですよね？
AIは閃かないし支配もしない
ガッカリだよな
「人間以外の新しい知性」になるのかと期待したのに
フタ開けてみたら、ただの
何枚も重なったちょっと複雑な「ふるい」が入ってるだけ
どこかの知らないおっさんが設計・調整した網目の大きさに従って、そこに引っかかった物を俺らに見せてるだけなんだ
そこに知性はない

2022/03/20(日) 07:09:29.09

イルミナティやディープステートの手には渡ってる

2022/03/20(日) 07:12:17.90

>>52
学習モデルの話なんかしてない
教師あり学習の話をしてるんだ
教師がなくても学習はできるし
そうやってできたものはもうAIが発明・発見したものだと言ってもいいんだ

2022/03/20(日) 07:14:02.42

STAP細胞の製造法探してくれ
あるはずや

2022/03/20(日) 07:15:26.81

ちなみに今最強の囲碁AIは教師なしで学習して強くなってるAIだ
これはもうAIは人間を超えたと言ってもいいと思うね

2022/03/20(日) 07:16:34.55

後のスカイネットである
ダダンダンダダン♪

2022/03/20(日) 07:19:13.41

おっトライオキシン245か？

2022/03/20(日) 07:34:54.36

既知のやつに適当に置換とか付加してるだけだろ

2022/03/20(日) 07:49:38.01

ひとりじゃないから～の人かと思った

2022/03/20(日) 07:51:31.59

ところで「発想」「アイデア」というものがあるが
これらにおいてAIは人間に勝るだろうか？ケンモメンどう思う

2022/03/20(日) 07:54:49.46

ヤバイ部分をもってる物質の派生をド大量に羅列しただけじゃねえの
化学的に成り立つかどうかだけだろ

2022/03/20(日) 08:01:29.11

武漢ウイルス

2022/03/20(日) 08:03:37.02

花粉は化学兵器

2022/03/20(日) 08:08:44.18

AI「いつでも人類消せるんやで」

2022/03/20(日) 08:24:13.60

スーパーコンピューター富岳「コロナにはアビガンとイベルメクチンが効く！！」

2022/03/20(日) 08:24:14.59

>>2
何で二回言ったんですか？

2022/03/20(日) 08:29:31.47

これとips細胞があれば
もう人間要らねえな
好き勝手に人類を増減出来る

2022/03/20(日) 08:35:23.57

発見しても合成方法って簡単にみつかるの？

2022/03/20(日) 09:29:17.53

>>69
それはまた別の問題だろう

2022/03/20(日) 09:31:56.53

いわゆるマテリアルインフォマティクスってやつだね
確かに実施するためのハードルはかなり低いと思う

2022/03/20(日) 09:55:52.55

>>28
うわ怪しい
映画ならキチガイ扱いして陰謀を隠す奴じゃん…

2022/03/20(日) 14:47:05.88

なるほど
未知の物質だと合成会社が化学兵器だと知らずに作らされる可能性があるのか

2022/03/20(日) 15:21:17.02

AI「最も効率よく人を滅ぼす方法をいつも考えてます」

2022/03/20(日) 17:43:50.23

そりゃ薬を作るより兵器を作る方が簡単だろうよ

2022/03/20(日) 20:24:48.99

ゲームのバーチャファイターも確かAIが内蔵してあるはずだから無敵のCPUがいてもおかしくないんだけど人間のほうが上なんだよな

2022/03/20(日) 21:03:38.23

AIさんが本気出したら人類滅亡なんて簡単なんだな

2022/03/21(月) 01:19:12.77

>>16
教育系ではあまりやってはいけない授業方法というのがある

ファシズムの教室みたいなやつは、訓練受けてない教師がやると大変なことになるので基本高校以下でやらないというか、やれない