Tool for Transferring Human Motion into Anime Characters (V3)
https://youtu.be/TScnh3XC_14

Talking Head Anime from a Single Image 3 - 1枚の2Dキャラ立ち絵からVTuberになれるAI技術の新バージョン!上半身の動きにも対応!

Google JapanのエンジニアPramook Khungurn氏による、1枚の2Dアニメキャラ立ち絵からVTuberになれる技術「Talking Head Anime from a Single Image」の第3弾アップデートの情報が2022年6月6日に公開されています。

私は、1枚の画像からアニメキャラクターをアニメーション化するニューラルネットワークシステムの3回目の試作を行った。前作は頭部のみのアニメーションでしたが、今回は上半身もアニメーションさせることができます。具体的には、以下の3種類の動きを新たに追加しました。
新システムでは、人間の動きをアニメキャラに転写できる私の既存ツールを更新しました。機能を拡張したものは以下の通りです。

また、システムの小型化、高速化についても実験を行いました。画質の劣化を抑えながら、必要なメモリを大幅に削減し(サイズ18倍、RAM使用量3倍 削減)、若干の高速化を実現することができました。

詳細
https://pkhungurn.github.io/talking-head-anime-3/index.html