トマシープが学ぶ

Unity/VR/AR/デザイン好きのミーハー 記事内容は自分用のメモです

LumaAIのGausingSplatting

旅先でよく使ってるけど、ちゃんと記事に書いてなかった。

lumalabs.ai

以前はLumaAIといえばNeRF技術のイメージだったけど、今はもう中身がGausingSplattingになってるのかな?

bibinbaleo.hatenablog.com

撮影

アプリで無料で撮影できる

+マークから

SCENEモードで動画を撮るように周りを見回すと、自動でなんかいい感じのタイミングで撮影される

右上のFinishの文字の色合いで十分かが分かる

終わったらFinishを押すとことを忘れないようにする!!

旅先で撮影したけど、Finishを押し忘れてレンダリングできなかったことある;;

あとある程度ちゃんといっぱい撮影しないとうまくいかない。

急いでホテルの部屋を適当に撮影したら全然ダメだったことある。

 

シェア

とったデータはリンクでシェアできる

lumalabs.ai

lumalabs.ai

基本はPrivateモードなので知らない人に見られることはなさそう

Publicにするか選べる

Privateでもリンクシェアできる。

データを見る

Webサイトからデータをダウンロードできる

360

360度画像ダウンロードできたw 5760x2880

知らなかった

Object

ObjectとSceneの違いはよく分からない

objデータのmediumをダウンロードしてUnityで表示してみた。立方体に切り取られてる

ぽりぽり

Scene(PLY)

plyはpoint cloudとmeshの2種類あった

point cloudのデータはUnityでもアセットを入れたら見れる・・・と思ったら「off」という形式にしか対応してなかった

assetstore.unity.com

meshlabで変換するしかないのか?

VFX使って表示している例もあった

qiita.com

昔失敗したんだよな~

bibinbaleo.hatenablog.com

UnrealEngine

UnrealEngineは公式のプラグインがあって、GausingSplattingのちゃんとしたデータも見れる。

lumaai.notion.site

GausingSplat形式のほうが新しいのでお勧めらしい

UE5.3をインストール

サンプルファイルを開く

開いた

LumaAIのスキャンからダウンロードしたzipのplyデータを、コンテンツブラウザに入れる。

シーン名を日本語にしているとダウンロードファイルにそのシーン名は入らない。

4種類のブループリントクラスが入る(plyファイルを入れただけでこんな風に変換されるの・・・?どうなってるんだ)

Bakedをシーンにドラッグしたら表示された。ヒエラルキーだと表示されなかった

ダイナミックデータを使うと、シーンのライティングが反映されるのでおしゃれにできる

360度動画から作る

LumaAIのページで動画をUpしてそこからCreateもできた。

そのときCameraTypeでEquirectangularも選べた

でもできたものは、GausingSplatting形式じゃなかった。

lumalabs.ai

Upgrade

Upgradeボタンを押したら「最高の Luma キャプチャを、新しいインタラクティブで普遍的に共有可能なインタラクティブ シーンにアップグレードします。」って出た。

「新しいインタラクティブで普遍的に共有可能なインタラクティブ シーン」がGausingSplattingのことか?

Interactive Scenes powered by Gaussian Splatting (.ply)ってUE5のプラグインのページに書いてたから多分そう。

Retrainを押したら、Equirectangularからはまだできないって出た

たぶんこれは昔のLumaAI(NeRF?)で撮影したものを、GausingSplattingにアップグレードするためのもの。

昔スキャンしたものをUpgradeしてみる

1時間ぐらいたってできた

良くなったのか?