【スクラッチ(Scratch)】VTuberはどうやって動くの？口パクするキャラを作ろう

YouTubeで人気にんきの VTuber。

「どうしてキャラクターが本当ほんとうにしゃべっているみたいに動うごくの？」

と思おもったことはありませんか？

実じつはVTuberは、人ひとの動うごきを読よみ取とって、キャラクターを動うごかしています。

今回こんかいは、Scratchを使つかって「声こえに反応はんのうして口くちが動うごくVTuber風ふうアバター」を作つくってみましょう！

 

Scratchはインターネットにつながるパソコンから無料むりょうで利用りようできます。

Scratch公式こうしきサイト：https://scratch.mit.edu/

Scratchのアカウントの作つくり方かたと基本的きほんてきな使つかい方かたは、下したの記事きじで紹介しょうかいしています。

VTuberのキャラクターはどうやって動いているの？

「人ひとの動うごきを読よみ取とって、キャラクターにまねさせている」

これが VTuberの 基本きほんのしくみです。

VTuberは、次つぎのような流ながれで動うごいています。

この人ひとの動うごきを読よみ取とって追おいかける技術ぎじゅつを、トラッキングと言いいます。

それぞれ、くわしく見みてみましょう！

 

カメラで「中の人」の動きを読み取る

まずは、カメラやセンサーを使つかって キャラクターを演えんじている人ひとの 顔かおや 体からだの 動うごきを 1秒間びょうかんに 何なに十回かいもチェックします。

人ひとの動うごきをコンピューターで読よみ取とることを モーションキャプチャと言いいます。

 

トラッキングソフトが動きを判断する

次つぎに、カメラが読よみ取とった動うごきを トラッキングソフトが すばやく判断はんだんします。

たとえば、

• 今いま、目めを閉とじた！
• 口くちが開あいた！
• 右みぎを向むいた！

といった感かんじです。

トラッキングソフトとは、人ひとの動うごきを読よみ取とってキャラクターを動うごかすためのソフトです。

 

アバターが同じように動く

VTuberのイラストは、実じつは1枚まいの絵えではありません。

• 目め
• 口ぐち
• かみの毛け
• 顔かお

などが、バラバラのパーツに分わかれています。

トラッキングソフトは、それぞれのパーツを 福笑ふくわらいみたいに 動うごかして、キャラクターをアニメのように動うごかしているのです。

だから、笑わらったり、しゃべったり、本当ほんとうに生いきているみたいに見みえるんですね。

 

ScratchでVTuber風アバターを作ろう！

Scratchで VTuber風ふうアバターを 作つくってみましょう。

本物ほんものは AIや 特別とくべつなソフトを 使つかいますが、今回こんかいは、

• 声こえを出だしたら口くちが動うごく
• ときどき まばたきする

という「かんたん版ばん VTuber」を作つくります。

しくみを シンプルにすることで、VTuberが どうやって動うごいているのか 分わかりやすく 体験たいけんできますよ。

 

完成プログラム

完成かんせいした作品さくひんです。

緑みどりのハタをおして、パソコンに向むかって 何なにか話はなしてみてください。

マイク付つきのパソコンで試ためしてくださいね。

 

完成かんせいしたコードは下したの通とおりです。

口ぐちと目めのスプライトを別々べつべつに作つくり、それぞれにプログラムを書かいて動うごかします。

口のスプライト

目のスプライト

ネコの体のスプライト

 

プログラミングの手順

口：声に合わせてパクパクさせる

コスチューム

最初さいしょに、ネコのスプライト(Sprite1)を好すきな大おおきさにして、位置いちを決きめましょう。

 

次つぎに、口くちのパーツを作つくります。

ネコのスプライトをコピーして、スプライトの名前なまえをつけます。

たとえば、

• Sprite1 → Cat
• Sprite2 → mouth

のようにすると分わかりやすいですよ。

口ぐちのスプライトは、体からだと同おなじ位置いちに置おきましょう。

X座標ざひょうとY座標ざひょうを同おなじにすればOKです。

 

体からだのスプライトを選えらんで、口くちを消けします。

1. 顔かおをクリック
2. グループ解除かいじょ
3. 顔かお以外いがいの場所ばしょをクリック
4. 口ぐちを選えらんでdeleteキー

 

口くちのスプライトは、口くちだけを残のこして他ほかを消けしましょう。

 

次つぎに、閉とじた口くちのコスチュームを作つくります。

1.元々もともとある コスチューム2を 消けす
2.コスチューム1を コピーし、新あたらしいコスチューム2を作つくる

 

閉とじた口くちを描かきます。

3.「直線ちょくせんツール」で 線せんを引ひく
4.「形かたちを変かえるツール」で 線せんを曲まげる。
  真まん中なかをクリック → 真まん中なかの点てんを少すこし下したに引ひっ張ぱる
5.口ぐちのあった部分ぶぶんに動うごかして、元々もともとの口くちを消けす

 

口くちのコスチュームが かくれてしまっている場合ばあいは、見みた目めカテゴリにある「最前面さいぜんめんへ移動いどうする」ブロックを クリックすれば出でてきます。

 

コード

1.イベントカテゴリから「ハタが押おされたとき」ブロックを出だす

2.制御せいぎょカテゴリから「ずっと」ブロックを「ハタが押おされたとき」の下したに置おく

「ずっと」ブロックを使つかうことで、常つねに 声こえをチェックできます。

 

3.制御せいぎょカテゴリから「もし ( ) なら でなければ」ブロックを出だし、「ずっと」ブロックの中なかに入いれる

4.演算えんざんカテゴリから「( ) > ( )」ブロックを出だし、左側ひだりがわに調しらべるカテゴリの「音量おんりょう」ブロックを入いれ、右側みぎがわに 30 を入力にゅうりょくする

5.「（音量おんりょう）> ( 30 )」ブロックを「もし ( ) なら でなければ」ブロックの( )の中なかに入いれる

この判定はんていで、声こえを出だしているかいないか判断はんだんしています。

 

「もし（音量おんりょう） > 30 」の中なかには、声こえを出だしている時ときに口くちをパクパクさせる処理しょりを入いれます。

6.見みた目めカテゴリから「次つぎのコスチュームにする」ブロックを入いれる

7.制御せいぎょカテゴリから「( 1 ) 秒びょう待まつ」ブロックを入いれ、1 を 0.25 に変かえる

 

「でなければ」の中なかには、声こえを出だしていない場合ばあいは口くちを閉とじる処理しょりを入いれます。

8.見みた目めカテゴリから「コスチュームを( Costume2 )にする」ブロックを入いれる
　Costume2は、口くちを閉とじたコスチュームを指定していしましょう。

 

緑みどりのハタをおして 動うごかしてみましょう。

パソコンに向むかって話はなしてみてください。声こえに合あわせて口くちをパクパクしたらOKです。

音量おんりょうの条件じょうけんの30や、待まつ時間じかん0.25は 好このみの数字すうじに 調整ちょうせいしてみてくださいね。

 

目：まばたきさせる

口くちが動うごくだけでも VTuberっぽいですが、さらに「まばたき」を追加ついかしてみましょう！

まばたきがあると、キャラクターが もっと生いきているみたいに 見みえます。

コスチューム

ネコの体からだのスプライト(Cat)をコピーします。

スプライト名めいを「eye」などに変かえ、位置いちを体からだと同おなじにしましょう。

 

体からだのスプライトを選えらんで、目めを消けします。

 

口くちを作つくった時ときと同おなじように、開ひらいた目めと 閉とじた目めの コスチュームを作つくります。

コスチューム1は、目めだけを残のこして他ほかを消けします。

コスチューム2は、閉とじた目めを描かきます。

1. 元々もともとあった、コスチューム2を消けす
2. コスチューム1をコピーする
3. コスチューム2の黒目くろめを消けして、閉とじた目めにする

目めのコスチュームが かくれてしまっている場合ばあいは、「最前面さいぜんめんへ移動いどうする」ブロックを クリックして出だしましょう。

 

コード

1.イベントカテゴリから「ハタが押おされたとき」ブロックを出だす

2.制御せいぎょカテゴリから「ずっと」ブロックを「ハタが押おされたとき」の下したに置おく

 

3.制御せいぎょカテゴリから「( 1 ) 秒びょう待まつ」ブロックを出だして、「ずっと」ブロックの中なかに入いれる

4.演算えんざんカテゴリから「( 1 ) から ( 10 ) までの乱数らんすう」ブロックを出だし、「( 3.0 ) から ( 5.0 ) までの乱数らんすう」に変かえる

まばたきのタイミングが 一定いっていにならないように 乱数らんすうを使つかっています。

 

5.見みた目めカテゴリから「コスチュームを( Costume2 )にする」ブロックを入いれる

6.制御せいぎょカテゴリから「( 1 ) 秒びょう待まつ」ブロックを出だして、「( 0.25 ) 秒びょう待まつ」にする

7.見みた目めカテゴリから「コスチュームを( Costume1 )にする」ブロックを入いれる

まばたきの間かんかくは 好このみの数字すうじに 変かえてみてください。

 

最後さいごに、背景はいけいをつけて できあがりです！

 

もっと本物っぽく改造してみよう

さらに改造かいぞうしてみましょう！

例たとえば、

• 体からだを上下じょうげにゆらす
• キーをおすと表情ひょうじょうが変かわる
• コメントが流ながれる

などを追加ついかすると、もっとVTuberっぽくなります。

自分じぶんでオリジナルのキャラクターを描かいてみるのも楽たのしいですよ！

 

まとめ

VTuberは、「人ひとの動うごきをキャラクターに変かえる」ことで動うごいています。

本物ほんもののVTuberは、

• カメラやセンサー
• トラッキングソフト（動うごきを分析ぶんせきして キャラクターを動うごかす）
• 2D・3Dモデル

などを使つかい、細こまかい表情ひょうじょうや動うごきを読よみ取とって アバターを動うごかしています。

今回こんかい作つくったScratch版ばんは、そのしくみをシンプルにして VTuberっぽい動うごきを 再現さいげんしたものです。

ぜひ、自分じぶんだけの アバターを作つくって 遊あそんでみてくださいね！