楽天、大規模言語モデル「Rakuten AI 7B」などを公開 [256556981]
■ このスレッドは過去ログ倉庫に格納されています
楽天グループが大規模言語モデルを公開 Mistralベースの70億パラメータ 商用利用も可能
楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。
インストラクションチューニング（ファインチューニングの一種）済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。
どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、アノテーション機能を駆使し品質を向上させたとしている。他にも、日本語に最適化した「形態素解析器」（文章をトークンという単位に分割するプログラム）を使い、テキスト処理の効率性を上げた点も特徴に挙げている。
https://news.yahoo.co.jp/articles/53c2844d02126f7a750dc70ba5501deaaea6e401 無意味
Microsoftの1強時代が長く続くだろう 楽天
これが名前に付くだけでもう駄目な印象
モバイルで取り返しつかんやろ 楽天Gにとてもそんな技術力があると思えないよ
どうせどっかから安くかっぱらってきただけで使い方もわからんのだろ？ これオープンAI終わったなw
楽天AIだと多分楽天ポイント付くからめちゃくちゃ広がるぞ なななななななな7Bw
700億パラメータでギリギリ会話が成り立つレベルなのにおもちゃだろこんなもん >>9
Mistral-7B-v0.1を日本語で学習させたモデルなんで楽天でやったのは学習とチューニングだけだよ
日本語の場合はデータセットがダメダメってのが課題だね ミストラルはオープンソースの生成aiモデルなんで、それをフォークして作るのはそんな難しくない
とは言え、よくあるazureのopenai serviceにragを追加したものに比べれば技術難易度は高いけど 実際問題ミストラルは日本語に難があるんで、楽天のコレは結構有用だと思う
問題は、ミストラルってmsと提携したんで、今後はクローズドになるから、オープンソースじゃなくなりそうなんだよな >>7
ソフバンと楽天はそういう会社だろ
社長が文系だし 東工大のswallowですら7bどころか14b,70bあるのに天下の楽天が7bなの笑う ていうかAFAMも基本的にはそれだよ
最初期に社長がコード書いたことは有るかもしれないけどそんなのタラコやホリエですらやってる 知らんけどさ、薄給のエンジニアが作ったんだろ？
凄いわけ無いだろ 「AIさん、あなたの会社の出してる「楽天カードマン！」のウザイ広告どう思うか本音聞かせて？」 なにかと楽天に誘導することを言うんだろうなぁ
その手があったか ■ このスレッドは過去ログ倉庫に格納されています
