トマシープが学ぶ

Unity/VR/AR/デザイン好きのミーハー 記事内容は自分用のメモです

iPhoneでQuestプレイをMR撮影【RealityMixer】

RealityMixer

おおー! やってみたい!

www.moguravr.com

やってみた動画

youtu.be

手順

公式はここ

github.com

でも上の通りにしても繋がらなかった。こちらの記事でできた

boznews.net

アプリ準備

iPhoneにこのアプリを入れる

Reality Mixer

Reality Mixer

  • Fabio de Albuquerque Dela Antonio.
  • Photo & Video
  • Free

apps.apple.com

 

QuestにはこのOculus純正のアプリを入れる。

www.oculus.com

これはもともとグリーンバックとPCとカメラを使って合成映像を作るために発表されてたやつ!

www.moguravr.com

Questの映像をどうやって取得するんだろう〜と思ったけど、これを使うのか

 

あと遊ぶアプリはMixed Reality Capture(MRC)に対応しているものでないといけない。ここに載っている。精度とかアプリごとの設定方法もメモされてる!

https://github.com/fabio914/RealityMixer/blob/main/Compatibility.md

こちらは公式。上の表はSideQuestのも含まれている。

Oculus Creators Portal | Mixed Reality Content Tool

確かMixed Reality Captureに対応するにはアプリに仕込んでおかないといけないんだよね。

 

BeatSaberだとアプリ内でMRCをオンにしないといけない

f:id:bibinbaleo:20210213182705p:plain

他のアプリについては後ろの方に書いた。

接続・キャリブレーション

Questとスマホは同じwifiにつなぐ。5Gがいいって

 

スマホアプリでStartCalibration

f:id:bibinbaleo:20210213181033p:plain

QuestのMixedRealityCaptureに出ているIPを入れる。

Connectを押す

f:id:bibinbaleo:20210213181046p:plain

OK!

f:id:bibinbaleo:20210213181043p:plain

 

キャリブレーション。

スマホを撮影場所において、Questの右コントローラーをスマホカメラにめっちゃ近づけてAボタン

f:id:bibinbaleo:20210213181036p:plain

そのままコントローラー両方持ってヘッドセットかぶって、1.5mほど下がる。全身が映る感じ?

そしてまたAボタン

 

そしてスマホを見ると全身が写った時の写真が出ている。

青丸を右手コントローラーに合わせるようにすると、ヘッドセットとコントローラーのイラストが出て来るので合わせる。

 

そしてNextボタン。この時Quest側ではConnectedになってる

f:id:bibinbaleo:20210213181914p:plain

Save to Headsetを押したらOKは押さずにQuestでMixedアプリを閉じて遊びたいアプリを開く!!!

そのあとOK。

f:id:bibinbaleo:20210213181019p:plain

ーーー

このタイミングはよくわからないけど、Questで何にもせずにOK押したら次のMixedRealityでErrorが出て繋がらない

f:id:bibinbaleo:20210213181026p:plain

もしかしたらこれはビートセーバーのMRCモードをオンにしてなかったせいかもしれないけど・・・

f:id:bibinbaleo:20210213182705p:plain

StartMixedReality

アプリでStartMixedRealityしてConnect

f:id:bibinbaleo:20210213181030p:plain

これで始まる!

f:id:bibinbaleo:20210213182309p:plain

カメラはちゃんとQuest内の空間と現実空間に対応した場所?にある。(それはそう)

 

f:id:bibinbaleo:20210213182312p:plain

人間の切り抜きは綺麗!

カメラは動かしても仮想空間の映像は変わらない。カメラは固定のみ。

キャリブレーションした時からスマホの位置がズレたら仮想空間と現実の位置もズレる

アプリ

他のアプリも試してみる。ここに載っていて無料のやつ.

https://github.com/fabio914/RealityMixer/blob/main/Compatibility.md

GravitySketch

最近無料になったGravitySketch!これも対応してるんだ!!!

www.oculus.com

すんなりできた!設定とかいらない

f:id:bibinbaleo:20210213225601p:plain

Hand Physics Lab

これはSideQuestにあるハンドトラッキングのアプリ

sidequestvr.com

できた!

f:id:bibinbaleo:20210213222338p:plain

手を焼ける。

f:id:bibinbaleo:20210213222354p:plain

ってあれ?これどうなってるんだ?仮想背景<実写<仮想!!

 

内容も普通に面白い!

f:id:bibinbaleo:20210213222735p:plain

UIも手のひらから出てくるやつ。MRTKみたい

f:id:bibinbaleo:20210213222738p:plain

 

最初Errorでたけど、キャリブレーションからやり直したらできた。

f:id:bibinbaleo:20210213181026p:plain

アプリを変えるときってStartMixedRealityをやり直すだけじゃダメなのかな〜

その他 

ジェットコースター。なんかできなかったけど、キャリブレーションからやり直したらできたのかな〜?

www.oculus.com

 

これもできなかった。設定とかなさそう。あとアプリがマルチプレイなので緊張する 

www.oculus.com

f:id:bibinbaleo:20210213222648p:plain

Tilt Brushもあるけど有料。オープンソースの方にはQuestビルドとかMRCの設定は入ってるのかな〜

ーーー

SideQuestのアプリは無料じゃないのもあるのかな?値段の見方がよく分からなかったけど、他にも3つぐらいあった。

ーーー

無料じゃないけど、シンプルで面白そうなやつ。

立体パズル

www.oculus.com

ピタゴラスイッチを作れる。こんな日本のゲームあったんだ〜知らなかった

www.oculus.com

(おまけ)PCにスマホ画面映す

BeatSaberやったけど、画角が上すぎて飛んでくるものがほとんど映ってなかった。

スマホの画面見れないと不便なので、iPhoneをMacにミラーリングした

sma-otasuketai.jp

USBケーブルで繋げる範囲ならQuickPlayerを使えばいい

ケーブルで繋いでからQuickPlayerでファイル>新規ムービー収録

f:id:bibinbaleo:20210213222948p:plain

カメラにiPhoneを選んだらすんなりできた!

f:id:bibinbaleo:20210213223104p:plain

これで見え方をPCで確認できるので少し楽!録画もPCでできるし!

最後に

面白かった〜