トマシープが学ぶ

Unity/VR/AR/デザイン好きのミーハー 記事内容は自分用のメモです

Meta HumanでFaceTracking【UE5】

 

去年の4月にアーリーアクセスに申し込んでからずっと待っているMeta Human

なんかメッシュをメタヒューマンに変換できる~とか言ってみんなやってるから、UE5になって誰でも使えるようになったのかなと思ったら、まだ早期アクセスだった。

www.unrealengine.com

えっ私来てないけど・・・

Meta Huuman Creator

と思ったけどこっちのページに沿ってMeta Huuman Creatorにアクセスしたら普通に使えた

docs.metahuman.unrealengine.com

ブラウザで動くんだね~

1体選んで

キャラメイク。肌とか゚ヤバすぎ

うぎーーー

ライティングも変えれた

UE5にMetaHumanを入れる

Bridge

これからデータをエクスポートするっぽい

quixel.com

と思ったらUE5にはこのBridgeが組み込まれてるからダウンロードしなくていいっぽい

UE5を入れる

まずUE4も5もPCに入ってないので入れる。

ゲームもインストールできるEpicランチャーをインストールしてそこからUE5入れる

www.unrealengine.com

めっちゃ時間かかりそう。10分ぐらいたっても4%なんだけど

 

Unreal engine触るの3年ぶりかもしれない。UE5のUI実装とか゚興味あるからまたMeta Human以外でも触ってみよう

bibinbaleo.hatenablog.com

4時間後に家に帰ったらダウンロード終わってた。

起動しようとしたらGeForceが古いと出た

GeForceをアップデートしようとしたらgeforce Experienceが開かない

ここから新しいGeforce Experienceソフトを入れたら無事起動してアップデートできた

www.nvidia.com

無事Editor起動まで行けた

アバターを入れる

公式の資料はこれかな?

docs.unrealengine.com

この記事を参考にやっていく

mohumohu-tech.com

zenn.dev

UnrealEngineで空のProjectを作って、プラグインを入れて、Bridgeを開いてログインして作ったMetaHumanをダウンロード。HighQualityにした。

ここもすっごい時間がかかる

ダウンロードが終わったらAddして、3つぐらいのダイアログの一番左の選択肢を押して、再起動

コンテンツブラウザのMetaHumanの中のキャラクター名の中にキャラがいる。BP_キャラ名がプレハブみたいなものなのかな?

これをシーンにドラッグする。右下のシェーダーの準備が終わらないとプレビューが表示されないっぽい。またもやめっちゃ時間かかる

1時間ぐらいかかった

フェイシャルキャプチャ

Live Link FaceというアプリをiPhoneに入れる。iPhone12Pro

Live Link Face

Live Link Face

  • Unreal Engine
  • グラフィック/デザイン
  • 無料

apps.apple.com

ipアドレスでスマホとUE5を接続。すぐできた!

顔が映ってるときは緑で、はずれてるときは黄色になるので、ちゃんと連動していることが確認できる

 

UE5でキャラを選んで、InspectorみたいなところのDefaultのLLinkFaceでiPhoneの名前を選ぶ

そして実行すると動いた!

カメラの操作は、ビューでいい感じにした後、PlayerStartを右クリックしてオブジェクトをビューにスナップを選べば見たままになる

動画

www.youtube.com

なんか顔の半分だけマヒしてるみたい。口を大きく開けただけなのに変な形になる

まあいいや。なんかおもしろかった。

 

次はMesh to Metahumanやるか?スキャンした自分の3Dデータはあったけど、それをMehaHumanに変換したところで自分の顔をさらすわけにもいかないし~

docs.metahuman.unrealengine.com

UI実装がいいかな。というかまず基礎が知りたい

 

UE5の本ってないんだね。UE4の本すらあんまりなさそう。

この本は大学の時借りたけど、あんまりちゃんと触らなかった気がする