トマシープが学ぶ

Unity/VR/AR/デザイン好きのミーハー 記事内容は自分用のメモです

【Hololens開発】使い方を教えてくれるMR

twitterで回ってきた、Hololens開発の2dayインターンに参加してきました。


www.wantedly.com

ちょうどVR系の短期インターンを探していた時だったのと、研究部門がどんな感じなのか気になっていたので飛びつきました。

f:id:bibinbaleo:20180201230359p:plain

作ったもの

Hololensのジェスチャーのやり方を聞いたら、ユニティちゃんが実際にやって教えてくれるというものです。

f:id:bibinbaleo:20180201221232p:plain

「How to Tap?」とユーザーが聞くと、「Airtap OK! follow me」と言ってやってくれます。

Animated GIF - Find & Share on GIPHYwww.giphy.com

「How to Bloom?」と聞くと「Bloom OK! follow me」と言ってやってくれます。

Animated GIF - Find & Share on GIPHYwww.giphy.com

このアニメーションはメンターの方がその場でMMDで作ってくださいました。ありがとうございました!

 

こちらのハンズオンを最初にやって、ユニティちゃんと会話できる状態にして開発を始めました。

www.slideshare.net

会話の仕組み

qiita.com

音声認識はUnityのデフォルトのAPI

docs.unity3d.com

よくわかっていないがwindowsの機能を使っているっぽくて、hololensはwindowsのOSが英語のみなのでHololensでは英語でしかできない。

ただgoogle Cloud Speech recなどの別の音声認識サービスを使えばHololensでも日本語認識ができる。

bibinbaleo.hatenablog.com

 

対話の自然言語処理はdialogflow。googleのサービス。日本語もできる

これで入力された質問に対する返答をある程度決めておくといい感じに処理してくれる。「How to tap?」とちゃんと言えなくても推測してくれる。

dialogflow.com

qiita.com

似たようなサービスにwatosonのConversation機能がある。

bibinbaleo.hatenablog.com

 

帰ってきた返事を喋らせるのはHolokitの中にTextToSpeechManagerという音声合成機能があるのでそれを使っている。すごい。

ここをvoiceloidに変えたらずん子ちゃんとかに喋らせることができる。

qiita.com

アニメーションの遷移 by script

スクリプトでアニメーションを遷移するにはanimatorのtriggerを設定し、スクリプト

animator.SetTrigger("名前");

でそのtriggerが実行されます。

gametukurikata.com

アニメーションの途中で関数を実行する時は、Animationウィンドでeventsを設定して関数を設定したら特定の場所で関数を呼び出せます。

docs.unity3d.com

タップで大きさ変更

おまけ機能としてユニティちゃんの身長を変えられるようにしました。

Animated GIF - Find & Share on GIPHYwww.giphy.com

この発想は日テレのMR動画から得ました。

youtu.be

憧れの人の身長を感じたいですよね。

f:id:bibinbaleo:20180201223404p:plain

頑張って一からコード書きました。

gist.github.com

初めて関数というものをちゃんと作りました。すごい便利ですね・・・

今まで同じ処理を何回も書いていたのが馬鹿みたいです。

git

初めてgitでUnityのプロジェクト丸ごとアップロード?できました。

コマンドプロンプトからやったのですが、想像していたよりは簡単というかわかりやすかったです。

今までsoueceTreeで何回かトライして、毎回失敗してたので感動しました。

bibinbaleo.hatenablog.com

UI

f:id:bibinbaleo:20180201212448p:plain

 今回のコンセプトが「平面UIに頼らず、キャラクターが教えてくれるのがXRでのUXの正しい在り方なのでは」というものだったので、上の画像のようにUIだらけなのはクールじゃないなと思いましたが、音声認識がうまくいかないとき用にやはりボタンは必要でした。

 

感想

ずっとメンターの方がそばにいてくださるのでいつでも質問でき、少人数で和気あいあいとした雰囲気で最高でした。

パソコンも用意してくださっていました。

f:id:bibinbaleo:20180201230733p:plain

会社がある建物がかっこいい。新宿やばい。

f:id:bibinbaleo:20180201230731p:plain

f:id:bibinbaleo:20180201230828p:plain

あとブログぜひ書いてくださいっておっしゃってたのが意外でした。ペッパー開発のインターンの時は「社名出さないで」的な感じだったので

bibinbaleo.hatenablog.com

 

Hololensは触ったのが2回、開発2回と計4回も触ってて縁を感じますね・・・

bibinbaleo.hatenablog.com

bibinbaleo.hatenablog.com 

最初は、視野角狭いし、表示が薄いしで、正直そんなに未来を感じていなかったのですがtwitterとかでの開発の盛り上がりを見ると楽しそうだな〜と思えてきました。

視野角広くなって安くなったら欲しいです。