トマシープが学ぶ

Unity/VR/AR/デザイン好きのミーハー 記事内容は自分用のメモです

DlibFaceLandmarkDetectorで顔認識【Unity】

DlibFaceLandmarkDetector

40ドル

assetstore.unity.com

顔のパーツを機械学習で検出してくれる。OpenCVよりも精度がいいって

qiita.com

 

基本OpenCV for Unityと一緒に使うといろいろできる(95ドル)

写真の人物の顔のパーツを変形したり、二人の人物の顔を交換するなどの高度な写真加工アプリ等の作成が可能になる

UnityでDlibFaceLandmarkDetectorを利用した顔器官検出アプリ事始め - Qiita

assetstore.unity.com

 

VRMモデルを動かすにはこちらのアセットも一緒に使うと良い?

assetstore.unity.com

qiita.com

上のアセット、特にエラーなく動いた。

サンプル動かす

Readme.pdfにセットアップ方法が書いてある

f:id:bibinbaleo:20201215133543p:plain

Tools>SetPluginImportSettingsをする

f:id:bibinbaleo:20201215114720p:plain

DlibFaceLandmarkDetectorフォルダの下にあったStreamingAssetsAssets直下に置く

f:id:bibinbaleo:20201215133620p:plain

そしてExample下に置いてあるサンプルシーンをBuildSettingsに置く

f:id:bibinbaleo:20201215142801p:plain

その状態でDlibFaceLandmarkDetectorExampleを起動する

f:id:bibinbaleo:20201215142808p:plain

OpenCVなしで動くサンプルが4つ(さっきBuildSettingsに入れたやつ)

f:id:bibinbaleo:20201215130658p:plain

猫や人間の写真でパーツを把握

f:id:bibinbaleo:20201215130651p:plain

WebCameraから自分の顔も認識してくれた

最後に

そのままのデータだとピクプクするから、フィルターをかけた方が良さそう。

VMagicMirrorもDlibを使っているらしいけど、滑らかに少し遅れて顔が動くのでフィルター使ってそう。