楽天グループが大規模言語モデルを公開 Mistralベースの70億パラメータ 商用利用も可能
楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。
インストラクションチューニング（ファインチューニングの一種）済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。
どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、アノテーション機能を駆使し品質を向上させたとしている。他にも、日本語に最適化した「形態素解析器」（文章をトークンという単位に分割するプログラム）を使い、テキスト処理の効率性を上げた点も特徴に挙げている。
https://news.yahoo.co.jp/articles/53c2844d02126f7a750dc70ba5501deaaea6e401 0002安倍晋三 (ﾜｯﾁｮｲW b1d2-jr/m)2024/03/21(木) 16:17:44.16ID:87kUXcct0
株価対策
0003安倍晋三🏺 ◆.abeshinZo (JPW 0H63-i567)2024/03/21(木) 16:17:58.11ID:MHPGHu2jH
ローカルで動くんか？
0005安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲ 8189-7lhN)2024/03/21(木) 16:19:02.09ID:sZXsmg9w0
無意味
Microsoftの1強時代が長く続くだろう
0006安倍晋三🏺 ◆C3g6ph46co (ﾜｯﾁｮｲW 13ad-QfON)2024/03/21(木) 16:20:48.89ID:pM6PnJN40
楽天
これが名前に付くだけでもう駄目な印象
モバイルで取り返しつかんやろ
楽天Gにとてもそんな技術力があると思えないよ
どうせどっかから安くかっぱらってきただけで使い方もわからんのだろ？
これオープンAI終わったなw
楽天AIだと多分楽天ポイント付くからめちゃくちゃ広がるぞ
なななななななな7Bw
700億パラメータでギリギリ会話が成り立つレベルなのにおもちゃだろこんなもん
>>9
Mistral-7B-v0.1を日本語で学習させたモデルなんで楽天でやったのは学習とチューニングだけだよ
日本語の場合はデータセットがダメダメってのが課題だね 0013番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 9987-QkyX)2024/03/21(木) 16:26:32.99ID:h+EDXpep0
ミストラルはオープンソースの生成aiモデルなんで、それをフォークして作るのはそんな難しくない
とは言え、よくあるazureのopenai serviceにragを追加したものに比べれば技術難易度は高いけど
0014安倍晋三🏺 ◆C3g6ph46co (ﾜｯﾁｮｲW fbde-7nWC)2024/03/21(木) 16:27:30.39ID:IUJAxuG70
マジで大言壮語モデルと空目した
0015番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 9987-QkyX)2024/03/21(木) 16:28:37.45ID:h+EDXpep0
実際問題ミストラルは日本語に難があるんで、楽天のコレは結構有用だと思う
問題は、ミストラルってmsと提携したんで、今後はクローズドになるから、オープンソースじゃなくなりそうなんだよな
0016安倍晋三🏺 (ｵｯﾍﾟｹ Sr85-elP7)2024/03/21(木) 16:29:38.76ID:OG68arPdr
>>7
ソフバンと楽天はそういう会社だろ
社長が文系だし 0017番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 5934-0rOl)2024/03/21(木) 16:30:18.94ID:ZJAhHsLh0
他のをコピペした程度のモデルだろ
0018安倍晋三🏺 (ｱｳｳｨﾌW FF5d-8/Mv)2024/03/21(木) 16:30:42.51ID:xbuBwK4eF
楽天ポイントが付くとかそんな感じか？
東工大のswallowですら7bどころか14b,70bあるのに天下の楽天が7bなの笑う
0020安倍晋三🏺 (ｵｯﾍﾟｹ Sr85-elP7)2024/03/21(木) 16:32:07.87ID:OG68arPdr
ていうかAFAMも基本的にはそれだよ
最初期に社長がコード書いたことは有るかもしれないけどそんなのタラコやホリエですらやってる
0022安倍晋三🏺 (ﾜｯﾁｮｲW a93d-pWG2)2024/03/21(木) 16:34:36.06ID:rSlaiXNA0
すげぇな
どんな心境でこんなゴミ出したんだろうか
知らんけどさ、薄給のエンジニアが作ったんだろ？
凄いわけ無いだろ
0025天才 (ｱｳｱｳｳｰT Sa5d-I+fG)2024/03/21(木) 17:40:26.08ID:vIXL+3G5a
反AIは楽天も使えなくなるのか
かわいそう・・・
0027番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ d9af-8PTu)2024/03/21(木) 17:49:59.74ID:6hch1Mpb0
「AIさん、あなたの会社の出してる「楽天カードマン！」のウザイ広告どう思うか本音聞かせて？」
なにかと楽天に誘導することを言うんだろうなぁ
その手があったか
