X
【朗報】Stable Diffusionさん、ついに脳内で想像した画像までも生成してしまう [834699458]
■ このスレッドは過去ログ倉庫に格納されています
0001番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 11:29:15.95ID:mifkFioK0●?2BP(2500)

脳活動から視覚画像を再構成することは、脳データに関連するサンプルサイズが比較的小さいため難しい問題である。
近年では、GAN（Generative Adversarial Network）や自己教師あり学習などの深層学習モデルを使用して、この課題に取り組み良い結果を示してきているが、リアルな画像を生成できないのが現状だ。

　この課題に対し、今回はテキストプロンプトから画像を生成する潜在拡散モデルとfMRIによる脳活動記録を組み合わせて、脳活動から画像を生成するフレームワークを提案する。
具体的には、Text-to-Image拡散生成モデルで代表的な1つである「Stable Diffusion」を使用する。

　このフレームワークは、脳活動を用いた複雑な深層学習モデルの訓練を行わず、fMRIから潜在拡散モデルの潜在空間へのマッピングを必要とするだけのシンプルな仕様である。具体的には、脳活動から低次の視覚情報を読み取るデコーダーと、高次の意味情報を読み取るデコーダーをそれぞれ構築し、それらの出力をStable Diffusionの内部における画像とテキスト情報に対応した潜在変数として用いる。

　学習データセットには、高磁場強度（7T）で実施された大規模fMRIデータセット「Natura


https://i.imgur.com/p2v1rPt.jpg


https://news.yahoo.co.jp/articles/6a6ef9227d87662aeb814330f23618b32e0c6b0b
0002番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 11:30:26.73ID:mifkFioK0?2BP(1500)

学習データセットには、高磁場強度（7T）で実施された大規模fMRIデータセット「Natural Scenes Dataset」（NSD）を使用する。
NSDデータセットとは、参加者8人が30～40回のスキャンセッションを通じてさまざまな画像を見ながらfMRI測定を行ったものである。
今回、NSDデータセットから2万7750の試行を訓練用とテスト用に分けて活用した。

　具体的には、訓練用データを用いてデコーダーの構築・調整を行い、テスト用データを用いて脳活動（fMRI信号）からの画像生成の検証を行った。
なお検証用の画像生成の際にはテスト用の画像とテキスト情報は使われていない。

　上記の検証の結果、実験参加者に画像を見せた際のfMRI信号から、参加者に提示した画像と類似した高解像度画像（512×512）を生成（再構成）することに成功した。
この際、低次の視覚情報と高次の意味情報どちらか単独ではなく、両方を脳活動からデコーディングすることで、元画像の見た目と意味内容をバランス良く保ちつつ再構成できた。
0004番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 11:30:58.89ID:mifkFioK0?2BP(1500)

潜在拡散モデルは急速に発展しているものの、もともと人の脳にインスパイアされて作られたCNN（Convolutional Neural Network）などの他の深層学習モデルに比べて、その内部表現について理解が進んでいない。そこで、潜在拡散モデル内の各構成要素と脳活動との対応関係を探ることで、各構成要素がどのような情報を表現しているのかを探る解析も行った。

　特に、潜在拡散モデルは画像の潜在表現にノイズを加えることでさまざまな画像を生成できるが、ノイズを加える影響が潜在拡散モデルの内部情報表現のどのような変化と対応しているのかも検証した。

　その結果、ノイズが少ない状態では低次視覚野の活動と対応が強く、逆にノイズを強くするとより意味などの情報を表現する高次視覚野との対応が強くなる様子を、定量的に示すことに成功した。

　この論文は、6月に開催予定のComputer Visionの国際会議「CVPR 2023」（The IEEE / CVF Computer Vision and Pattern Recognition Conference 2023）に採択された研究である。
0005番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 11:34:09.97ID:mifkFioK0?2BP(1500)

個人的要約

従来よりfMRIで脳内画像イメージの解析自体は出来ていたけども
そのデータをStable Defutionさんに渡して
情報としての解像度を高めてもらったというお話
0007番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW e9a2-KScr)
垢版 |
2023/03/08(水) 11:35:38.46ID:BIzVyo2D0
俺の寝てる時に繋いでくれこないだもこないだも近所に人口衛星が墜落して駆けつけたら東京ドームみたいなコロシアムができてて中で戦いが始まってて同級生に声かけて人気ないプール行って水中水着ずらしハメハメしかけたとこで起きた
0008番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 11:36:24.43ID:mifkFioK0?2BP(1500)

夢の録画は認知科学にもフィードバックされそう
被曝の問題でまずは動物さんの夢の内容を録画
0009番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 138b-8Qoa)
垢版 |
2023/03/08(水) 11:37:08.86ID:6qjTLBW30
脳みそハックしないで🥺
0010番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 11:38:50.08ID:mifkFioK0?2BP(1500)

>>実験参加者に画像を見せた際のfMRI信号から、参加者に提示した画像と類似した高解像度画像（512×512）を生成（再構成）することに成功した。
この際、低次の視覚情報と高次の意味情報どちらか単独ではなく、両方を脳活動からデコーディングすることで、元画像の見た目と意味内容をバランス良く保ちつつ再構成できた。
0011番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 938b-3jVb)
垢版 |
2023/03/08(水) 11:38:55.51ID:NMM3t8IK0
まだこれ頭にすげえ数の線が付いたようなもん
付けなきゃならんかったりするんだろうから
ヘッドフォンぐらいのサイズになるまでは
需要ないだろうな
0012番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Sa1d-Vtw7)
垢版 |
2023/03/08(水) 11:39:54.58ID:Szxe9wmHa
https://i.imgur.com/s8XfLOl.jpg
0013番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 19a2-4Hx9)
垢版 |
2023/03/08(水) 11:42:38.06ID:H5BwFYcj0
この前もスレ立ってて論文の方軽くて読んだけど想像した画像を復元するなんてできてたっけ？
0015番組の途中ですがアフィサイトへの転載は禁止です (ｽﾌﾟﾌﾟ Sd33-i+cI)
垢版 |
2023/03/08(水) 11:45:02.20ID:zNrWme0Rd
ヤバすぎワロタ
もっと進化するともしかして記憶に残ってる何処か知らない場所とかも鮮明に画像出力してくれる様になるんかな？
夢の情景でも良い
0016番組の途中ですがアフィサイトへの転載は禁止です (ｽﾌﾟﾌﾟ Sd33-i+cI)
垢版 |
2023/03/08(水) 11:45:36.54ID:zNrWme0Rd
>>13
なんだ嘘かよ
0017番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 130d-5o8D)
垢版 |
2023/03/08(水) 11:45:46.36ID:IHhtzWkZ0
犯罪取り調べが捗るな
0018番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾃﾝﾃﾝﾃﾝ MMeb-U1u+)
垢版 |
2023/03/08(水) 11:46:52.75ID:ScfF7MUwM
よく分からんが知覚情報を読み取れるって事？
それじゃ記憶や想像したものを読み取るのは不可能じゃないの？
例えば安倍晋三を想像した時のニューロンの発火パターンは安倍晋三に関連する記憶に結びついてるはずだから人によって違う反応を示すんではないの
安倍晋三を想像しても実際に安倍晋三の顔が目の前に見える訳じゃないと思うんだ
0019番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Sa1d-xGZH)
垢版 |
2023/03/08(水) 11:47:47.77ID:to4aaes/a
自白と拷問が捗るな
健診センターも24時間稼働になるぞ
0020番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ e997-d0jg)
垢版 |
2023/03/08(水) 11:47:47.73ID:Hc58w2Ru0
>>13
想像をもとにマウスで描いたようなふにゃふにゃの絵を作って
あと「女性、青空、麦わら帽子」みたいなプロンプトも作って
そこからいつもの画像生成するだけのものだろ？
0021番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 8b8f-Ickm)
垢版 |
2023/03/08(水) 11:49:55.95ID:dL3dDKEm0
思考盗聴とかサトラレってやつか
統失の症状をどんどん実現していくな…
0022番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 71d2-i+cI)
垢版 |
2023/03/08(水) 12:06:10.00ID:02N9wTY+0
糖質が捗るな
0023番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 12:09:37.76ID:mifkFioK0?2BP(1500)

アルファベットレベルの荒い脳内画像ならfMRIで結構前から読み取れていた

その技術と今回のStable diffusionを合わせたら
こうなった


この手法は始まったばかり
https://imgur.com/p2v1rPt.jpg
0024番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0123-YeD6)
垢版 |
2023/03/08(水) 12:14:39.54ID:mifkFioK0?2BP(1500)

>>ノイズが少ない状態では低次視覚野の活動と対応が強く、逆にノイズを強くするとより意味などの情報を表現する高次視覚野との対応が強くなる様子を、定量的に示すことに成功した。
0026番組の途中ですがアフィサイトへの転載は禁止です (ｻｻｸｯﾃﾛﾗ Sp45-duZp)
垢版 |
2023/03/08(水) 12:24:30.42ID:NG/JTi5cp
ペンタブ→エロ絵
から
ヘッドギア→エロ絵
の時代に入った

素晴らしい
0028番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 537b-zAYj)
垢版 |
2023/03/08(水) 12:53:15.83ID:G09uuojg0
アルミホイル頭に巻く練習しとけよ
■ このスレッドは過去ログ倉庫に格納されています