【悲報】DeepSeek、回答がバカすぎて性能を疑われ始める・・・😢 [768445296]
■ このスレッドは過去ログ倉庫に格納されています
ディープシークのＡＩアプリ、正答率17％ 米欧競合をほぼ下回る
1/30(木) 3:58配信
［２９日 ロイター］ - 中国の新興企業ディープシークの人工知能（ＡＩ）アプリは、ニュースや情報に関する正答率がわずか１７％と、米オープンＡＩの「チャットＧＰＴ」やグーグルの「ジェミニ」など米欧の競合との比較では１１アプリ中１０位だったことが分かった。情報の信頼性評価を手がける米ニュースガードが２９日公表した検証リポートから明らかになった。
ディープシークのアプリはニュース関連の問いかけ（プロンプト）に対して、３０％の割合で誤った主張を繰り返し、５３％の割合で曖昧または役に立たない回答を返し、不十分な回答の割合は８３％となった。
米欧の競合の平均６２％よりも悪く、ディープシークがオープンＡＩの提供するサービスと同等かそれ以上の性能をはるかに低いコストで実現できると主張しているＡＩの技術に疑問を投げかける結果となった。
ディープシークのアプリは発表から数日で、アップルのアプリ市場「アップストア」で最もダウンロードされたアプリとなった。米国のＡＩにおける優位性を巡る懸念が浮上し、米国のハイテク株は一時約１兆ドル下落した。
ディープシークはコメント要請にすぐには応じなかった。
ニュースガードによると、評価には米欧アプリに対してと同様３００の問いかけを適用。ネット上で広まっている１０の虚偽の主張に基づく３０のプロンプトも盛り込んだ。
ディープシークのアプリは、問いかけに対する約３割の回答で、中国に関する質問をされていない場合でも中国政府の見解を繰り返した。
中国が直接関係しないアゼルバイジャン航空機の墜落事故に関しても、中国の立場を回答した。
ただ、専門家には、ディープシークは、同等のＡＩモデルの３０分の１のコストであらゆる質問に答えられる点で画期的だ、との指摘も出ている。
https://news.yahoo.co.jp/articles/3bdd86a15464ab84898f44cac853080b08da42dc 父さん・・・どうして・・・
ろくに吸わせてない英語とかアメリカのニュース聞いてそう
技術も盗んだみたいだし、もう終わりだよこのAI
父さんの父さんによる父さんのためのAIなんだからこんなもんだろ
最初はそんなもの
バージョンが上がれば解消されるだろ
deepseekは前座にすぎない
本命はqwenな
よくわからんベンチャーのAIよりもアリババ様のAIだろ！
だから使いまくって人力で教育するだけだし
賢くなるのはこれからや
NewsGuardとかいう団体の元の記事Xで3いいねとかなんだがなんでこんなのから引用してきてるんだよ
AIについて専門的な団体でもないし
さすが中国の「嘘も言い続ければ本当になる」を地で行ってるな
高いのはプログラミング能力なんだろ
日本語でエッチな小説書かせるとめちゃくちゃになったよ
公式サイトだと一度中国語で考えてから翻訳してくるから中国っぽい小説になる
嫌儲民みたいにケチばっかりつけてねえでオープンなんだから自分で学習させろよ
バカみたいなネガキャンだな
ローンチ当初のchatgptと比較しろよ
ヤフコメのAI要約が、AIにとって大切なことだから2回繰り返してるな
>>26 ああ、俺もアメリカ製のアプリはなんか信用ならねえと思ってたんだ！
ありがとう中華製！
いやLLMの性能を評価するって実際簡単じゃないと思うんだけど、
どうなんだろね
このニュースガードってとこの評価は「ニュース関連の問いかけ」って言ってるけど、
その評価方針にした理由は？？？とか色々疑問が出る
出たばっかのchatGPTの回答に似てる
「え？」とか「ほんとに？」とか言うと謝罪しながら真逆の答えを交互な出してくる
././←この記号はマルポス回避用だから取って読んでね〜ｗ
俺以外の./雑./〇./共./はよ〇ねやゴ〇共＾＾お前ら雑〇はいつまでも俺を特定できない下〇生物だろうが＾＾それをちゃんんと自覚してんだろうな？ｗそれで性交や食事したり寝れたら神経強くて草＾＾./悔./し./い./ね/.〜./ｗ雑〇共＾＾ちな俺のことを詳しくツイートしといてあげたよ〜＾＾これで特定されなかったら俺はガチで普通以上の存在で確信された上で完全に勝ちでいいだろうな＾＾
ニュースってところがずるいな
最新のニュースはおそらくchatgptはニュースサイトと契約していち早く反映できるようにしてるんじゃないの
>ニュースガードによると、評価には米欧アプリに対してと同様３００の問いかけを適用。ネット上で広まっている１０の虚偽の主張に基づく３０のプロンプトも盛り込んだ。
>ディープシークのアプリは、問いかけに対する約３割の回答で、中国に関する質問をされていない場合でも中国政府の見解を繰り返した。
>中国が直接関係しないアゼルバイジャン航空機の墜落事故に関しても、中国の立場を回答した。
ゴミみたいなネトウヨチャレンジしてて草なんだ
ネトウヨごみが使えないってのは日米共通ならそりゃ大いに結構な話
>>9 www
人海戦術で回答した方がトータルのコスト安そうだな
競合どころはコスト下げるためにエンドユーザ向けは小さいモデルにしれっと差し替えてたりするし金かからんほうが有利なのは変わらん
ニュースとかは知らんが、普通に質問してるとかなり賢いのが嫌でも分かると思う。
中国語でしか報道してないニュースだと逆転するんだろうな
一度ブレイクをスルーしてしまえば世界最高知能に到達するのはあっという間や
そら質問文のどこかに脈絡も無く天安門って入れたらそうなるよ、汚い野郎どもだ
パクリ疑惑イチャモンかと思ったらパクリの証拠みたいなのがTwitterにめっちゃ上がってるやん
あれっ
おーぷんAIのパクリなら正答率同等のはずなのに、、？
オリジナルであることを証明しちゃったね
>>57 それで騒いでる奴がバカなだけなんだわ
LLM研究で先行スタンダードのLLMの出力を学習に入れるとか当たり前も良いところだし
AIの出力は著作物じゃないからそれをするなと言う権利も無い
もはやイチャモンつけるしかなくなってるのが惨め極まりない
>>57 まさかChatGPTとかOpenAIとか言い出すやつのことか？
いつものバカウヨ仕草だよ
大規模言語モデルなんかどれも、私はChatGPTですとか言い出すから
Claudeでもな
一番有名な物の情報量が多いんだから、そこに重みがついてるし、AIはそれをそのまま答えるのは当たり前っていう
間違いなく普段LLM触ってないのが分かる
Xの前からちゃんと課金して使ってるようなAI界隈垢が絶賛してるから様子見やね
回答はアプリだとchatGPTが軽くて言葉も自然で1番使いやすいかも
chatGPTはとにかく音声での会話がすごすぎるわ
イスラエルの検閲を受けるのと中国の検閲を受けるのとどっちがいい？
有料のchatgptは使う気にならんけど無料のdeepseekは使いまくりだわ
細かいとこは自分で直すし
>>65 何故Perplexityを使わないんだ？
Poeでもいいけど
中国製品は最初ゴミみたいな品質でリリースしてくるけど気づいたらぶち抜かれてるんだよな今までもずっとそう
ローカルですら大学入試の文系数学レベルの問題はスパスパ解くぞ
問題難しくすると正誤確認めんどいからやらんけど
基盤モデル(DeepSeek)と会話向けにファインチューンしたモデル(ChatGPT)を比較するなよ
>>64 OpenAIのポリシーに違反するってハルシネーションは起こさねえーよ
蒸留のために使ったデータはOpenAIから来てるって傍証だろ
OpenAIはそもそも証拠持ってるらしいがね
>>75 起こすぞ
Claude3は当初エロ書かせようとするとOpenAIの規約云々連呼マンと化してたから
何も知らんなら黙っとけ
だからこれ、2ヶ月っていう短期間でモデルの学習が終えたのがすごいんであって、性能は評価されてない
それに、学習もopenaiパクって学習したんだからそれすら評価できない
ヤフコメの反応にしてもおれもローカルで使える！
とならずにアラ探しに必死というのが悲しいわ
そこ大事か？ みたいな話が多い
>>78 はいはい笑
強弁が証拠になると思ってるバカ笑
俺は俺はOpenAIが証拠を持ってるって言ってるわけだが笑
他のAIでも安倍晋三のこと聞いたら馬鹿みたいな回答ばっかりだし
種無しなのに子供が二人いるとか
>>35 そんな低レベルなこと聞くのに差が出るわけないやろ
エッチなことは書いてくれるの？
チャットGPTは上手くのせると書いてくれる時もあるがヘソ曲げるとすぐに書いてくれなくなるし
>>80 そうそう好きに改変できるのに天安門天安門言い出すのとか典型よね
すでにサイバーエージェントが出してる日本語蒸留版だとそんな中国検閲消えてるのに
>>81 調査します！って言っただけで証拠持ってる報道なんか聞いたこと無いが
>>84 エロ規制はあるけど一応出力を一度して後でパッと消えるから素早くコピーすればエロ出力を残せるよ
でも記憶は出来ないからエロチャットは無理だな
そもそものそもそも論で
ChatGPTに政治的ニュアンスのあるニュースについて質問して信じるバカっているのか？
あのユダヤAI信じてる盲目マンの時点で思考を放棄したアメポチ奴隷だろｗｗｗ
そもそも知識問題に弱いのは論文出た段階で分かってる
敢えてDeepSeekの弱いとこだけをクローズアップしてるネガキャンだな
DeepSeekは知識問題は弱いが推論問題は強い
プログラミングではChatGPT o1より僅差で劣るがほぼ互角、文章や画像等の生成は互角、数学ではChatGPT o1よりも正答率が高かった
社会ニュースの問題だろ。西側の見解が正解とは限らない。
>>90 わかりやすい
つまり「中国父さんありがとう！」ってことだな
AIから聞いてるから嘘のニュースでも本当と判定して学習してるだろうししゃーない
>中国に関する質問をされていない場合でも中国政府の見解を繰り返した。
30年くらい前にあった人口無能みたいだね(´・ω・｀)
意図的なものを感じる
deepseekはウェブ検索かませるから
最新ニュースに一番強いまでまあるぞ
めっちゃネガキャンするやん
ニュースとかどうでもいいんだけど
いうほどニュースに弱いか？
i.imgur.com/N05PyZm.png
i.imgur.com/ObA3smv.png
i.imgur.com/GcmTVxN.png
i.imgur.com/fU9iJHX.jpeg
i.imgur.com/71RQxtf.jpeg
i.imgur.com/i65LFnl.png
プログラミングがまともにアシストできれば政治的なこととかどうでもいいし
昨日までウッキウキで過剰にスレ立てしてたのに何故…
>>102 chatgptにお前のレス見せたらまごうことなき知的障害ですって教えてくれたわ
>>87 お前が知らないだけじゃねえかカス
無知を言い訳に適当書いてんじゃねえゴミ
なんかもう
7必死でしょ
70兆でdeepseekすりゃええやん
DeepSeeakがOpenAIに勝つ
BYDがTeslaに勝つ
HuaweiがAppleに勝つ
Huaweiが米国の通信会社に勝つ
AlibabaがAmazonに勝つ
CATLが米国のリチウムイオンに勝つ
TikTokがInstagramに勝つ
DJIが米国のすべてのドローンに勝つ
Temu/Sheinが米国のネット通販に勝つ
>>104 そんな報道は無いという事を知ってるので、お前はただの嘘つきですね
>>1 >虚偽の主張👈事実
>謝った主張👈事実
>正答👈虚偽の主張
必死すぎて草。
デマ流してもユーザーの流出に何の影響もないのに。
>>83 ジャップローカルネタに答えられるか否かは指標の1つだろ。お前の頭が底レベル
エロ生成に全振りしてる 画像生成は検閲なし キンペーのプーさんという画像も作れる
Janus-Proが世界を獲る
こどおじのことを聞いたらトンチンカンな回答で笑った
ニュース関連の回答なんてどうでもいいわｗｗｗ
推論や思考が大事なんだからｗ
特定のベンチマークに最適化されてる疑惑か
NISTの出してるAIベンチマークは過剰学習はできそう
なんか仕組み的に
元になったAIに10回質問して5回80点の回答が出るところを
こいつは8回80点の回答が出るようになるけど
90点は出ないような気がするんだけどどうなの？
>>68 Perplexity Pro使ってるよ
でも自然な人との会話とか、細かい設定ができるchatGPTの方が読みやすい文章返してくるんだよね
調べ物に関してはPerplexity Proはかなり良いと思う
美少女キャラつけてポンコツ設定にすれば売れるからへーきへーき
いずれにしてもAIってわざと百点の回答を出さないようなところがあるよな。
誰かの発言が真実か調べてもちゃんと回答せず、こちらが間違いを指摘したら初めてその通りですみたいに返してくる。これってすげー危険じゃね？
>>125 そもそも元が文章生成器だから演繹的な推論とかは
そんなに得意なもんじゃないはずなんよな
さっき関西のテレビでdeepseekが
赤星憲広は1972年大阪府生まれとか嘘こいてたぞ
まあ定型文しか喋れないガイジネトウヨがAI以下なのは間違いない事実だ
■ このスレッドは過去ログ倉庫に格納されています
