githubで公開されている音声自動生成AI、日本のアニメキャラ2890名分の音声を学習素材に超速度で進化中★2 [386780362]

■ このスレッドは過去ログ倉庫に格納されています
0001ケ 晟鉉 (ワッチョイ b14e-dYLF)2022/11/05(土) 21:32:41.32ID:+zL4IBxk0●?2BP(2000)

githubで公開されている音声自動生成AI、日本のアニメキャラ2890名分の音声を学習素材に超速度で進化中
https://www.youtube.com/watch?v=aoq97CT0MUs

各キャラごとの声質に寄せつつ、日本語以外にも英語中国語韓国語で音声を生成することも可能なようだ

https://i.imgur.com/xvOmV0y.png
https://i.imgur.com/1nHgIjd.png
https://i.imgur.com/yvYkW6E.png
https://i.imgur.com/S9FjVrm.png
https://i.imgur.com/KgZo70z.png
https://i.imgur.com/kINKEVU.png

包含2890名动画角色的VITS语音合成模型
https://www.bilibili.com/video/BV1P8411Y7v5/

前スレ
githubで公開されている音声自動生成AI、日本のアニメキャラ2890名分の音声を学習素材に超速度で進化中
https://greta.5ch.net/test/read.cgi/poverty/1667389094/

0359番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイW 62e6-Rwwb)2022/11/08(火) 05:44:41.45ID:j25sLY5t0
ずっと2千人の方でやっていてクオリティ低いなぁと思ってたけど、知らないエロゲ絵の少人数の方でやったら滅茶苦茶クオリティ高くてビビった
なんで学習素材の多いはずの有名声優の方が精度低いんだ

0360ケ 晟鉉 (ワッチョイ b14e-KQvO)2022/11/08(火) 06:10:36.06ID:qHP9XlcE0
ウマ娘も少人数のデータセットのほうがクオリティ高いみたいね

0361番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 06:51:57.03ID:aEGz+ZJ00
ルフィやクロコダイルもクオリティ高かった

0362番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイW 694c-zSzK)2022/11/08(火) 07:29:59.31ID:gShUlvj00
流石に声優の声再現するのは
個人の趣味以外だと問題出てくるのでは

0363ケ 晟鉉 (オッペケ Sr79-c32/)2022/11/08(火) 08:12:53.68ID:027tl+MBr
感情のパラメータ指定できるね

nene-emotion
https://huggingface.co/spaces/innnky/nene-emotion



「使用情感样本id作为情感参数」→「情感样本ID」

0364番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ ad8f-YZoV)2022/11/08(火) 08:55:40.24ID:FmAp5fui0
このスレのおかげでmoegoe導入できたわサンクス
イントネーションの調整ってどうしてる?矢印で変化はするけど思ったようになかなかならん

0365番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ 51d2-pSqO)2022/11/08(火) 08:56:55.79ID:RDMY9evy0
でもこれまたオタクがファビョーンして動画なんかじゃ使いづらくするんだろ?
どんな用途があるん?

誰が演じているのかを重視する人間が一定数いるからな
機械音声1とするのではなく、バーチャル声優として絵と名前と人格を与えてアイドル売りするのがいい

綾波レイの声ある?

0368番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 09:28:49.36ID:aEGz+ZJ00
あるよ

>>359
そりゃゲームのほうが音声素材が多いからだろう
2000人以上のモデルの奴もベースがソシャゲで、それのメイン級に出番あるようなキャラだと結構いい感じになるよ
ゲームもなにも出てないからアニメから切り取ったような声しかないのはそれ相応でやっぱりノイズも出る

プリコネは3人以外出てないんか。残念

0371番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ ad8f-YZoV)2022/11/08(火) 10:49:35.40ID:FmAp5fui0
同じゲームのキャラでも使えるやつと使えないやつの差が激しいね

2800人のやつ、ちょいちょいターゲット設定して音声作ろうとするとまた話し相手を選んでくださいってjsonファイル再指定させられて作れないな。
これはjsonファイルの記述ミスなのかなあ

0373番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ 194e-8gy9)2022/11/08(火) 12:27:17.27ID:990gfmGj0
結局これってVITSを使ってるんだよな?
VITSなら一年前からシャニマスで全員分やってるやついたし驚くの遅くね?

全盛期若本規夫ボイスとかも生成できるのかな
もう80近いおじいちゃんだからコーチみたいなイケボまた聞きたい

0375ケ 晟鉉 (オッペケ Sr79-c32/)2022/11/08(火) 14:31:21.27ID:027tl+MBr
>>372
具体的にどれって抽出できますか?

まともなかないみかと榊原良子のやつが欲しいぞ…

>>373
AI絵で完全にモラル吹っ飛んだんだなって方が驚きかな。技術自体はその通りで昔から出来た訳だし

で、そのシャニマスのモデルは

>>373
日本の音声合成界隈はVITSが出た辺りからモラル気にしてそういうの表に出さないように慎重になってたからな
実際それやってたの日本人もいたけど海外の人間がやってたイメージがある
データ集めるの大変でプログラム動かす敷居も高くて一般には手が届かなかったけどモデルばら撒き始めたから騒がれてるのかな

>>87
息継ぎなんか大してすごくないよ
吸気音をそれっぽく差し込むだけだし

0381番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 16:15:59.42ID:aEGz+ZJ00

HuBERT-VITSのsoftVC声の相性が良ければ綺麗に聞こえるけどなかなか上手く行かんね


2800のモデル微妙に更新入ったようだが中華の発音修正だけかな

0385番組の途中ですがアフィサイトへの転載は禁止です (ワンミングク MM62-z5Q3)2022/11/08(火) 17:31:17.60ID:QX9ri0RCM
>>383
凄いねえ…

0386番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 17:54:26.31ID:aEGz+ZJ00
>>384
エポック数が増えたみたい

>>375
ブレンドSのキャラとか選ぶと何回も出てくる
でも今さっきもう一度選び直したら作れたわ
何が原因なんだろう

0388番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ 9215-Ssk3)2022/11/08(火) 18:38:25.24ID:Pz/TYllk0
単語の変なところで変な間が開く時ってそこに「-」付けても何もかわらんよな?
結局関係ない場所に記号つけ足して繋げて発音されまで探って行く感じになるわ

機械音声っぽい違和感はいつまで経っても消えないのな

0390ケ 晟鉉 (オッペケ Sr79-c32/)2022/11/08(火) 18:55:23.19ID:027tl+MBr
moegoe開発者グループと連絡付くので
バグの詳しい内容抽出してリストや画像とかにしてくれたらメッセージ送れます

0391番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 18:58:53.56ID:aEGz+ZJ00
とりあえずGUI
・中国語・韓国語がうまく再生できない
・音声変換ができない
・保存前にプレビュー再生できるように
こんなところかな

いちいち同人声優を雇いたくない同人エロゲ製作者の強い武器になるかな

0393番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 19:14:12.45ID:aEGz+ZJ00
>>391
あとは、テキスト欄に入力しなくてもチェックを入れるだけで言語を選べるようにして欲しい

0394番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ 9ec7-pSqO)2022/11/08(火) 19:18:35.25ID:TBf1QljJ0
>>392
同人声優に金払う方が時間もコストもかからんぞ多分

>>392
権利的にもアレだしガチャ外れたら調整がめんどくさすぎる
普通に商用利用できるフリーのTTSでも使った方が全然マシ

催眠音声とかの同人音声
台本.txtも同梱してくれてる場合あるけどあれ使えば好きな声優の声で聞けるのか

>>390
自分も確かに話相手選んでてもバグってこうなることはちょいちょいあるので一応報告しとく、一度この状態になるとモデルから選び直してもキャラ切り替えてたらまた再発したりする
一旦ソフト再起動すると直るみたいだけど…キャラ切り替え頻繁にやるのが処理追いついてないとかかなあとは思ってる、まあ参考までに
ちなみにファイルパス隠してるが日本語フォルダにはなってない、画像は以前の改造版だけど通常版でも同じことになったのは確認した
https://i.imgur.com/xVy4PD2.jpg

0398番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 20:01:47.57ID:aEGz+ZJ00
キャラ選んだ際にエンター押してない?

>>398
あ、たまに押してたかも…それがあかんかったのか

更新版やったけど
データ量少なすぎて酷い出来になってるキャラがいるなあ
まあ更新されると思うけど

Enter押さないようにしたら起こらなくなったわ、失礼した

0402ケ 晟鉉 (ワッチョイ b14e-KQvO)2022/11/08(火) 20:12:29.82ID:qHP9XlcE0
[JA]保守[JA]

0403番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ 51d2-zlm6)2022/11/08(火) 20:36:49.31ID:7gQrBogG0
誰かが(多分ここ)で改造してくれたGUI使って(3.0)
これで2800人?を試しているのだが、
右側の画面に処理結果が表示されるわけだけれどなにも表示されない
当然ファイルも保存されない
普通にJAいれてこんにちは入れて、話してきめて、保存しただけなのに
これはどうしてなの?
ルイズだけとかまどマギだけとかウマとかこれらまとまったやつはすんなり右側の画面にも処理結果表示されるのに
PCの処理速度というかグラボ(AIはグラボによってスピード変わるよね)によって変わるのかね?
でもそれだったら例えばルイズだけのセットを使ってすんなり処理完了するのはおかしいのよな
単純にJSONファイルも大きいしエポックのファイル容量は少ないだろうけれど、
数が多すぎるからそれで時間かかってるって認識でいいのだろうか

結局ローカルでは何も動かん
動かんというより右の画面に表示されない
同じような症状の人おるか?
ちなみにクリーンアップはやってない。調整の時に使うものだと思ってるから

ええ方法教えてクレメンス

0404番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 20:37:39.95ID:aEGz+ZJ00
俺は右には何も出ないけど保存はできるよ

ちなみにだけど改造されていないGUIでも右側表示は一向に表示されない
右側表示ってのは処理のやつね、最後サクセスってでるやつ
フォルダ名とか長くなるとこまるから
短いフォルダ名にしてpthとjsonいれてる(この2つは改名してない)
やはりPC処理速度で表示が遅かったりするのかな

だとすると2800人だかのファイルを
うまいこと分割というかお気に入りのキャラだけを抜き出すことってできないのだろうか
だったら動きそうな予感がするのだが
ワイの環境では他は動いているわけだし

>>404
ええっ、右にサクセス表示でて
それで作成されると思ってた
で、そのあと保存のパスいれる↓にある再生とかで試して聞いてる
ずっと確かめてて何が原因かわからないんだよな
他のファイルセットで問題なくサクセスなってるのにさ
やはりファイル?データ量が多すぎてついていけてないのかなぁ
だとするとやはり2800人のファイルを分割できればいいのだが、
そんなことできるのかどうか

俺もログ表示されないけどちゃんと出力できてる
キャラ多すぎて見づらいから分割したいよな

0408番組の途中ですがアフィサイトへの転載は禁止です (ワッチョイ d234-N0ij)2022/11/08(火) 20:45:55.49ID:aEGz+ZJ00
逆に右側の表示はいらねェ

追記 自分で自作の学習というかpthとjson
を作るのにいい解説サイトないだろうか
有識者いたら教えてください

■ このスレッドは過去ログ倉庫に格納されています