トマシープが学ぶ

Unity/VR/AR/デザイン好きのミーハー 記事内容は自分用のメモです

OculusのHandTrackingの動画を見る

 こちらのOculusのHandTrackingの動画を見てメモします。英語なので1割ぐらいしか理解してない

www.youtube.com

HandModelについて

手はUnconstrained=制約なし

f:id:bibinbaleo:20191216093420p:plain

いろいろなハンドモデルを試した

f:id:bibinbaleo:20191216093423p:plain

non humanの手はToolのように感じられてしまう。

リアルな手はuncanny valley=不気味の谷

f:id:bibinbaleo:20191216093821p:plain

クリーチャーの手も試した

f:id:bibinbaleo:20191216094712p:plainf:id:bibinbaleo:20191216094714p:plainf:id:bibinbaleo:20191216094709p:plain

結局少し透明な普通の手にした。

ラッキング範囲外から消えるときの表現もいろいろ試した。

パーティクルや

f:id:bibinbaleo:20191216094706p:plain

こんな感じ

f:id:bibinbaleo:20191216094703p:plain

グリッドの表示?

f:id:bibinbaleo:20191216095028p:plain

結局シンプルに透明にしていくようにした。

 

物をつかんで両手で向きを変えて、指定の場所に置く

f:id:bibinbaleo:20191216095558p:plain

赤と青のブロックを分けた

f:id:bibinbaleo:20191216095602p:plain

ボタン押したり、スライダーを動かしたりした

f:id:bibinbaleo:20191216095605p:plain

数ある中からいいものを選んだ

f:id:bibinbaleo:20191216095608p:plain

DESIGNING HAND INPUT

awkward arm position=ぎこちない腕の位置

f:id:bibinbaleo:20191217093147p:plain

上の図の角度から、矢印の方向に行くと腕がきつくなってしまう。

(実際に試したら確かにってなった!)

自然なポジションは↓

f:id:bibinbaleo:20191217093929p:plain

架空のボタン押すときに届く範囲?近いほうがいいのかな?

f:id:bibinbaleo:20191217093926p:plain

constrains of computer vision=コンピュータビジョンの制約

f:id:bibinbaleo:20191217094323p:plain

よくわからないけど、HMDについているカメラのトラッキングの範囲を示している?

 

手のメニューデザインについて

手のメニュー表示についていろいろプロトタイプを作って実験した

f:id:bibinbaleo:20191217094320p:plain

CVはコンバージョンのことかな

Webサイトを見たユーザーが、Webサイト運営側の意図した行動を起こしてくれること

CV(コンバージョン)を意識したUI/UXとは?

左手首に表示されて右手で選ぶものは難しかった(?)

f:id:bibinbaleo:20191217094953p:plain

片手で選ぶものの案を考えた(?)

f:id:bibinbaleo:20191217094950p:plain

片手で選ぶもの

f:id:bibinbaleo:20191217094946p:plain

遠くのUIを選ぶ動作について(たぶん)

f:id:bibinbaleo:20191217095223p:plain

2点で支えると安定する?

f:id:bibinbaleo:20191217095514p:plain

fragile=もろい

 

いろいろな組み合わせでものを選択するという動作をした

f:id:bibinbaleo:20191217095801p:plain

Palm=手のひら

Pinch=つまむ

Wrist=手首

Aは目で見て手で直接選ぶ

f:id:bibinbaleo:20191217100052p:plain

Bは手のひらからレーザーが出てる

f:id:bibinbaleo:20191217100049p:plain

Dは手首からレーザーが出てる。

f:id:bibinbaleo:20191217100047p:plain

(Pinchがどこからレーザー出るのかよくわからない。あと肩とかおしりからの角度ってどうやってとっているのか?よくわからない)

結局頭の向きによってレーザーを出す方向を変えた(たぶん)

f:id:bibinbaleo:20191217100614p:plain

上を見ているときはおしりから出して、下を見ているときは肩から出す。

左右も同じく

f:id:bibinbaleo:20191218101705p:plain

ーーーーーーーーーーーーーーーーーーーーーーーーーーー

Questで確認した。

下を見た状態で手を出すとカーソルが下に向いてて、

f:id:bibinbaleo:20191218103547p:plain

上を見た状態で手を出すとカーソルが上に出る・・・気がする

f:id:bibinbaleo:20191218103708p:plain

左右はよくわからなかった。いまいちどの角度から出てるのか分からない。

f:id:bibinbaleo:20191218103550p:plain

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

片手で空間のものを複数選ぶUI

f:id:bibinbaleo:20191217100958p:plain

両手を使った場合の話

f:id:bibinbaleo:20191217100954p:plain

両手を使って3次元のインタラクションしたら分かりやすい。

f:id:bibinbaleo:20191217101141p:plain

手元でのインタラクションを遠く(手を伸ばさない範囲)のUIに反映する話

f:id:bibinbaleo:20191217101218p:plain

 

f:id:bibinbaleo:20191217102308p:plain

手元でどれくらい動かしたときに、UI側のポインタをどれくらい動かすか。スピードや加速度を調整

f:id:bibinbaleo:20191217102311p:plain

f:id:bibinbaleo:20191217102537p:plain

位置、回転、スケールをそれぞれどのくらいのパラメーターで動かすか

f:id:bibinbaleo:20191217102659p:plain

マッピングは複雑さと経済的負担(economic strain)を減らす?

ハンドトラッキングでのフィードバックについて

ハンドトラッキングでのフィードバックは、

自分(自分の指同士が触れた場合)、視覚聴覚

f:id:bibinbaleo:20191217103109p:plain

ピンチ(つまむ)動作はポテンシャルがある

メニュー選択

f:id:bibinbaleo:20191217103443p:plain

色選択

f:id:bibinbaleo:20191217103439p:plain

3次元の色選択

f:id:bibinbaleo:20191217103806p:plain

音量ボリュームもコンパクトに!

f:id:bibinbaleo:20191217103803p:plain

絵文字

f:id:bibinbaleo:20191217103759p:plain

間接的なインタラクション

選択、決定

f:id:bibinbaleo:20191218084316p:plain

f:id:bibinbaleo:20191218084320p:plain

Creating Building Blocks

f:id:bibinbaleo:20191218085613p:plain

インプットの方法はいっぱいある?

f:id:bibinbaleo:20191218085713p:plain

(ITK COREってなんだ?)

上のほうで出た肩やおしりからのレーザー切り替えができるプロトタイプ

f:id:bibinbaleo:20191218090218p:plain

椅子に座ってデザインしたら自分にピッタリなデザインはできる。

でも人間の手はみんなちがう。

f:id:bibinbaleo:20191218090622p:plain

ボタンを押したときのボタンの変化によるフィードバックはどれがいいか(アフォーダンス

f:id:bibinbaleo:20191218091036p:plain

ボタンを押すテスト

ダイレクトとインダイレクト

f:id:bibinbaleo:20191218101026p:plain f:id:bibinbaleo:20191218100014p:plain

次のボタンを押すスピードとか゚正確率もとっている?

Questのホーム画面の形でもテストしてる

f:id:bibinbaleo:20191218100017p:plain

ガイドラインを発行するよ

f:id:bibinbaleo:20191218100210p:plain

いっぱい研究したけどまだすべては分かってない

f:id:bibinbaleo:20191218100206p:plain

コメント欄

この動画のコメント欄に書いてあったこと

"Every person is an expert in using their own hand." Got you.

・(コントローラーの)バッテリーがいらなくなる!

・指が欠損している人はどう表示されるの?

親戚も指がないからどうなるか気になる。義手でも反応するのかとか。

www.youtube.com