marigold
画像に奥行きを付けれるコード？が商用利用可能になったらしい
Wow Marigold 🌼 depth estimation works extremely well! 🤯
— Alex Carlier (@alexcarliera) 2023年12月23日
And the best thing is that the checkpoints and code are fully available for commercial use!
Try it out yourself! ⬇️⬇️ pic.twitter.com/H5eV6C680t
Apache License, Version 2.0.
以前360度画像に奥行きをつけたかったがいいツールが見当たらなくてあきらめたのでこれで試そう！
ここからすぐ動かせる
パラメーターがある
割とすぐできた。
このふたつの画像がダウンロードできる
instaVerse
これをこのサイトで読み込んで凸凹させたい
元画像と白黒画像を読み込ませた
パラメーターも調整してみたがなんかうまくいっていない。気がする。よくわからないけど、もっとわかりやすい画像で試したほうがよさそう
別の室内画像でやったらまあまあ
LookingGlassで表示(微妙)
普通の２D画像に奥行つけたとしてどうやって遊ぼうかな？
めっちゃいい写真あった
LookingGlassで表示したら楽しいのかな。
というかルキグラは自前でこのシステム持ってる気がする。今度出る新しいやつ買ったらそのシステムも使えるのか？
買わなくても有料でサービスやってるらしい。
久々にルキグラポートレートを引っ張り出してきた
bridgeとStudioのソフトを入れる
そしてLookingGlassStudioで取り込もうとしたが、通常画像＋デプス画像で取り込む選択肢はなかった。
どうやったら一つのRGB-D画像に変換できるんだろう？
ステレオフォトメーカー
そんな機能がありそうなステレオフォトメーカー
2D+デプスマップからLKG画像作成ってあった！
あったが、よくわからない。
左側を2D画像、右側をデプスマップ・・・？
分かった。
1枚から作る時はこういう画像を作って読み込めばできた
もしくは最初に読み込むときに左右画像から読み込むにすると、１枚目２枚目と二つ写真を読み込むモードになるので、通常画像とデプス画像を読み込む。
そしてさっきのメニューにするとちょっとUI変わって作成ができる
画像縦横比を保持するにチェック入れておく。
できた
でもこれはRGB-D画像ではなくレンチキュラー画像。
レンチキュラー画像をステレオフォトメーカーからルキグラに表示したが、うまく表示されない。レンチキュラー画像を作る前にキャリブレーションする必要がある。
ルキグラの設定ファイルを読み込んで多分キャリブレーションされてから、もう一度作り直して、表示したけど、前よりはよくなったがきれいな3Dではない・・・
というか私はRGB-D画像を作りたい。RGB-D画像の形式って何なんだ？
Stable Diffusion WebUI（できなかった）
こちらの記事で紹介されているツールだとStable Diffusionで生成した画像からRGB-D画像を作れるっぽいのでやってみる。
と思ったけど自分で環境用意しないといけないのか・・・
Githubみたらreleaseにあるsd.webui.zipから簡単にインストールできる
run.batからインストールと書いてあるからやったが、それだけだとページ開かなかった。
githubのトップにupdate.batを実行してrun.batを実行と書いてあったので、その順にやったら、いつの間にかchromeにこの画面が出てた
そしてnoteの通りに、depth mapのスクリプトを入れようとしたがない・・・
これか？
これを入れて再起動したが、次は生成画面にOpen for Clip Aesthetic!がない。スクリプトえらうところはあったけど、そこにも入ってなさそう
とりあえず画像生成してみたが、クオリティ低い・・・まあそれはいいけど
その他（表示）
UE5で奥行つけて表示できるんだー
Marigold🌼で、手持ちの写真の奥行を推定してUE5のNanite Tessellationで描画してみた。
— 麻場 健司／MocapFor(Streamer|All)開発 (@KenjiASABA) 2023年12月8日
これまで試した単眼深度推定モデルの中でも群を抜いてきれいな気がする。
近景はほとんど破綻がない一方で、遠景メインの風景はあまり学習対象になっていないのかも。 https://t.co/FPoHAVEyh8 pic.twitter.com/kx6lfgL6tn
Unityではできないのかな？
LDM3d
Twitterをさまよってたらなんか見つけた
プロンプトから360度画像を生成できる「LDM3d」
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) 2023年8月15日
WebUIでシンプルな操作で360度画像を生成できます。
ポジティブプロンプト以外にもネガティブプロンプト、Guidance Scale、seedを入力可能です。
続く >> #360度画像 #画像生成AI #AIpic.twitter.com/hMIu3kAW8J
でもよく考えたらinstaverseでもプロンプトからデプスも作れるか
すぐ使えた。でも境目が変・・・360度画像生成なのに～
奥行実験のモデルとしてはかなりいい感じ。
instaverseでもちゃんと期待通りの動きをする
せっかくだから3Dモデルダウンロードしようと思ったら、さすがにお金？かかるようになってたっぽい？どこからお金払うかよくわからなかった。
この画像をmarigoldで奥行き付けしたら、まったく逆のデプスになっちゃった
最後に
関係ないけど、結構内容が散らかったのでタイトルどうしようかなと思って、初めてはてなブログのタイトルAI生成機能を使ってみた。
微妙だな～
