DeepL、ゴミだった。翻訳精度でGPTにボロ負け [611712225]
■ このスレッドは過去ログ倉庫に格納されています
日英翻訳ツールで最も優れているAIツールが決定！DeepLを上回ったのはどれか？
TEXAL / by masapoco / July 20, 2023 at 06:11AM
The Japan Timesが、日本語を英語に翻訳する事が出来るAI支援ツールをテストし、どれが優れた結果を示してくれるか検証している。用いられたツールは、OpenAIのChatGPT（GPT-4）、Microsoft Bing AIチャットボット、Google Bard、そしてAI翻訳ツールとして有名なDeepLだ。Japan Timesの上級バイリンガル編集者のKanako Takahara氏が結果を評価している。
テストでは、以下の日本語テキストが用いられた。
文学：ノーベル賞受賞者川端康成著『雪国』の冒頭の一節
歌詞：日本の国歌「君が代」
スピーチ：日本のスーパースター、大谷翔平が3月のワールド・ベースボール・クラシック決勝の対アメリカ戦直前にチームメイトに向けたスピーチ
これらを、それぞれのツールに入力し、英語に変換してもらい、正確さ、英語の自然な表現、翻訳が文脈に則しているかに基づき5段階で評価を下している。
GPT-4は、文学部門で苦戦したものの、全体的に最も高いスコアを獲得し、僅差でBardとBingが続いた。驚くべき事に、AI翻訳の先駆けであったDeepLは常に最下位だった。
ただし、AIチャットボットは、デバイス、タイミング、指示の言い回しなどの様々な要因によって異なる結果を出す可能性があるため、ユーザーの得る結果が常にJapan Timesと同様になるわけではない。ただし、東京大学の言語専門家Tom Gally氏によれば、ChatGPT-4は一貫して最高の品質を提供しているという。
ただし、ChatGPTはそもそもが日本語でのデータ学習量が少ないため、日本語の生成については英語に劣る。Bardも現段階ではまだ劣っているが、Googleが所持するデータ量を考えれば、この分野においては大きな可能性が見込まれると、Gally氏は指摘している。
そして今回のテストで明らかになった意外であり、大きな意味を持つことは、AIチャットボットの翻訳がDeepLの翻訳よりもはるかに優れていたと言う事だ。とはいえ、注目すべきは、どのテキストも100％の正確さで翻訳されていないことである。
https://texal.jp/2023/07/20/the-best-ai-tool-for-japanese-english-translation-has-been-determined-which-one-outperformed-deepl/ 【⚡速報：Appleも生成AIに本格参戦】
AppleがOpenAIに対抗して「Apple GPT」を開発
■概要
・LLM開発に向け独自フレームワーク「Ajax」を構築
・Apple GPTというチャットボットを開発
https://twitter.com/masahirochaen/status/1681718225023950849?s=20
https://twitter.com/5chan_nel (5ch newer account) GPTは主語が抜けた日本語でも的確に返してくるからまじすげぇ
音声認識が完璧ならもう通訳いらねぇな DeepLって初期の方が賢かったような気がする
ユーザー増えて余計な学習が増えたのかな それじゃDeeplをあれだけ信じてたオタクさん達がバカみたいじゃん deepl君単語丸々消去して翻訳しましたってことあるからな
結構なゴミだわ ケンモメンはGPTで次の日本語を英語に翻訳して！みたいな使い方してそう。 出てきた頃から流暢に訳せない部分は丸ごと無視するって言われてたな おまえらは
画期的サービスを
アニメキャラみたいに
使い捨てるんだね deeplはお前らがべた褒めするから海外の論文試しに掛けてみたけどまじでごみだったわ そろそろIBMはHAL2000出せよ
対抗してALEX7000も欲しい DeepLはGoogle翻訳よりあやしいことが多い
最近はめっきり使わなくなったな マジでゴミなんか…
ブラウザに翻訳アドオン入れてるけど >>38
そうだよお前はまごうことなき馬鹿なんだよ受け入れろ 文学：川端康成
歌詞︰国歌
スピーチ︰大谷翔平
俺がオチに使われてて草なんだが こういう検証面白いね
帰国子女ガチホモの俺あとで試してみよっと >>47
ようわからんけど純文学だの数学の論文だのを訳させようとするとゴミってことじゃね？
軽いビジネス英語の補助ならほぼ問題なく使えるし writeの方めっちゃ愛用してるんだけど英→英の精度はどうなんだろう
てか
>とはいえ、注目すべきは、どのテキストも100％の正確さで翻訳されていない
こっちのが衝撃 >>56
GPT4による君が代の英訳
May your reign
Continue for a thousand, eight thousand generations,
Until the pebbles
Grow into boulders
Lush with moss. 普通のニュース記事とかの翻訳精度が知りたいのに、
こんな文ばかり翻訳させてもね・・・ 複数の翻訳ツール並行して使ったり逆翻訳したりすると良いぞ ChatGPTはネット検索での翻訳？
だったら小説とかはネットで上手に翻訳されてる既存のものを持ってきてるだけじゃ無いのか？ DeepLは1行丸ごと飛ばしたり普通にやるからなぁ chatgptには文意だけ伝えて例文作ってもらってる
日→英は翻訳よりこっちのがマシだわ >>65
君が代とかの翻訳は、
その可能性が高そう スラング含んだ日常会話レベルの英語には強いイメージあったdeepl deepLくんは当たり前のように1段落飛ばしたりするから
よく確認しないと大変な事になるゾ 俺たちはdeepLのいい加減さに薄々気がついてたよな
整った文章出すからバカがごまかされてたけど 原理的にも完全上位互換品だしな
シチュエーションやキャラクターまで考慮できる
企業用秘匿サービスも開始でそこへんの日本の翻訳ベンチャーとかも終わり chatgptだと訳し方の指定とか出来るからその辺含めてこっちのが上手く訳してくれるよね GPTは文章の内容理解して状況整理しながら読んでるから当然 人力評価かよ
論文ベースの評価だとGPT-4よりもDeeplの方が精度が上だったよ Deeplほどじゃないけど
GPTも翻訳すっ飛ばすことあるで
逆にGoogle翻訳の直訳がむしろ役立つ場合があるな
あ、あとGPTは内容次第だと「その文は暴力的だから訳しません」みたいな事を言ってくるのがイラつくｗ グーグル翻訳がゴミだったからそれよりはマシなDeepLが持て囃されてただけだろ >>78
なんか、GPTなどが上位に来るよう意図された記事のような気がする
そういう文章を選んだというか DeepLより精度低いGoogle翻訳が最も使われてるのは使いやすいから
GPT翻訳ってさらに使いにくいじゃん 「投げ銭」を英訳すると「スローイングマネー」って直訳されるんだが、これって正しいのか？
ちなみにchatGPTだと「Tip」と英訳される GPTは文脈を読む力が異常に高いからdeeplでは相手にならない
まあ論文みたいに論理が厳密で文章に曖昧さがなければdeeplでも善戦できるかもしれないけど 翻訳ツールに世代交代くるかね
まあ進化し続けてるけど明らかに完成してないしGoogle翻訳が沈んだようにいつトップが入れ替わってもおかしくない界隈だけど GPTといってもGPT4だからな
そら敵うわけない deeplは昔からこいつ信用ならんやつだなぁと思ってたよ パワポの短い文章ならDeeplでもいい
一段落くらいの量になるとchatGPTのほうがいい気がする
Deeplって前後の文脈見てないような Google翻訳のいいところはカメラを使って翻訳できるからなあ
ChatGPT使った高機能翻訳アプリがあれば駆逐されそう 昔はプライバシー万全です！ってのがうたい文句で他と差を出していたのに
しれっと規約変えて収集するようになったからな
ちょろめで翻訳おかしい時に使うか、短文程度に留めておくといい
あんまり個人情報絡むようなのは翻訳してはダメ、これは他の翻訳サイトでも同じだが 仕事で論文訳してるけどDeepLが一番だな
曖昧な文書は苦手なイメージがある 前からまともに翻訳されたことないから使ってなかった >>83
そのうちbing翻訳でサクサク使えるようになるんじゃ無い？
googleはブラウザシェア落としたからそのうち逆転する 中卒の俺でも明確におかしいってわかるもんdeepL
ひでえよこれ DeepLは多少内容が変わっても自然な文章にこだわる >>36
アンケ求められて褒めたとたんにコレだからなあ NTTのCOTOHA Translatorと比べたらどうなんだ？
うちの会社はCOTOHA TranslatorとChatGPT-4しか使えない セリフと地の文が混ざった文章の翻訳しようとしたらセリフ部分だけ丸々カットとかしてくるのは何故よ chatGPTが登場してきた瞬間に機械翻訳の歴史は終わったと思ったわ
海外のサイト翻訳してもらってさらにわかりやすく説明してくれって注文出したときの回答は素晴らしかったからな 英語を日本語に訳そうとするからおかしくなる
英語⇔ドイツ語とかだとなかなかの精度 >>102
そりゃそうだろ、文法似てるんだから
何当たり前のこと言ってんの 自然言語処理って何だったんだろうな
すべて駆逐されたよな bingは時々自信満々にウソつくから、鵜呑みにするな。時々ウソなのがタチ悪い。 >>1
>とはいえ、注目すべきは、どのテキストも100％の正確さで翻訳されていないことである。
はい、使えない、解散！ LLM自体が従来のディープラーニング系の翻訳手法を拡張したようなものだから順当な結果とはいえる deepLは短い文章は強いので、主語述語のきれいな原文からは扱いやすい。
ただ前後の関係がクソなので、GPTの校正させてる。ついでに文法もチェックしてくれる。
おおよそこれで問題ない 登場の時期からしてDeeplはRNNなのでは？
単語の位置違ったり単語数長くなるとアホアホになってしまうやつ 英語はGoogle翻訳で覚えた
deeplだと言い回しが変な時があるからね GPT4だけ有料プランだから不公平な検証だな。ただCHAT-GPTが他の機械翻訳と大きく違うのは文章の前後を記憶するのと訳し方に注文つけられること
細切れに一文だけ訳したい時にとても便利。他の機械翻訳は「この一文」の翻訳のために段落ごと選択しないとコンテキスト把握しないけどCHAT-GPTはコンテキスト記憶しつつ訳す
そしてDeeplはコンテキスト把握させて「この一文」だけ翻訳させるのが難しい。長文になると省略するから 下位互換だろうな
あれもしょぼめのAI使ってたようなもんだろ
何について語ってるか把握できてる方が勝つ gptver4もすぐに上限に到達する
これだけをどうにかしてほしい
有料なんだしもっと使わせろ ChatGPTだとギリシャ語とかの比較的マイナーな言語も翻訳出来るからな
ツールとしてはめっちゃ優秀だと思う deepLは何ゆえに省略したがるのか
改行とか工夫したら省略したところ復活するのも謎 DeepLは一見まともっぽい文章にするために飛ばして文意変えちゃうのホントゴミ
訳せませんでしたって露骨に変なままにしてくれりゃそこは自力で読めばすむのに deeplはそもそも省略したり意図しない意味に翻訳したりどんどん精度が落ちてる気がする
chatgptは有料でブラウジングする機能が解放されるから無料の変わらないデータベースの中の翻訳はGoogleの機械翻訳と変わらん更新されない点でGoogle以下 chat GPTの翻訳すごいよな
こんな日本語じゃ翻訳無理だよなってのでも普通に意訳する
今までのとはレベル違うわ >>118
有料だけどOpenAIは赤字らしいぞ
本来は料金何倍も取らないと採算とれない スピーチ：日本のスーパースター、大谷翔平が3月のワールド・ベースボール・クラシック決勝の対アメリカ戦直前にチームメイトに向けたスピーチ
これらを、それぞれのツールに入力し、英語に変換してもらい、正確さ、英語の自然な表現、翻訳が文脈に則しているかに基づき5段階で評価を下している。
もう止めてやれよ・・・ ■ このスレッドは過去ログ倉庫に格納されています
