Unity Muse
Unity用のAI機能
今5機能


https://muse.unity.com/en-us/explore
Proライセンスだったら無料で使えるのかと思ったら、1月30ドルで別途購入しないといけなかった。
15日間は無料トライアルができる

XRKaigiで聞いた感じアニメーション作成とかはまだできないのかと思ったが、プレリリース機能へアクセスってあるから使えるのか。
やってる人いる!
テキストからモーションが生成できるUnity Muse Animate、さっそくやってみた。
— うんもろじー (@unmology) 2023年12月5日
「後ろに歩きながらクルッと回る」みたいな少し複雑な動きもちゃんと認識してくれた。すご。
3Dゲームにそこまで興味なかったボクでさえ作りたくなってきたレベル。かなり捗りそう、、、 pic.twitter.com/ztUnHz50ii
チャットはWebでやるのか?これはお試しなのか?Unityバージョン選んでから聞ける

フリートライアルして!って言われてできなかった

各機能の使い方のページ
やってみる
フリートライアル
日をあけてサブスクボタン押したら、前は出たこの画面が出ずヌルっとフリートライアル始まった

15日間終わったら自動で有料になったりしないのか?どこでその管理ができるのかわからない・・・

UnityIDのページを見てもUnityMuseのサブスク情報ないから解約とかしなくても大丈夫ということなのかな?クレカ情報消しておいた

更新してしまっても言ったら返金処理されたらしい
Unity Museの体験版 試用後、意図せずサブスク更新=$33 自動引き落としされてしまった人は、悪徳商法に幻滅する前に サポートへ返金を依頼すべし(結果の保証は出来ないけれど)。善意の下の訴えには誠実に応じてくれると思う。自分はそれで返金処理された。
— Teruco MURAI (@utc00) 2024年1月10日
本来はポイント制だが、4/1までの早期アクセスだとポイントを消費しない!これはフリートライアルでも有料版でも変わらないのかな?


まあ始めるのにぎりぎりいいタイミングだったね
Chat
Webで動かす。Unityに関することを教えてくれる。例題に出ていた質問を押したら画像付きで答えてくれたw

VRMとかUnity公式じゃないものも一応答えてくれる。でも正しくはなさそう

あと最初英語だったからGoogle翻訳で日本語にしてて気づかなかったけど、日本語で質問したら日本語で返信してくれてた。
あと普通にUIも日本語選べた

copilotはプログラミングに関すること以外は答えてくれないらしいけど、Museは今日の朝食についても答えてくれた。でも本来はポイント制だからこんな蔵だない質問をしている場合ではない

Texture
UnityPackageを入れる。2022.3以降

最近アップデートしてもっといい感じになったらしい
Unity Museのテクスチャ生成機能のAIモデルがアップデート。石畳や木材がより精細に、奥行きも表現 https://t.co/zPgempBSus
— ゲームメーカーズ (@GameMakersJP) 2024年3月9日
生成AIモデルがPhoto-Real-Unity-Texture-1からPhoto-Real-Unity-Texture-2にアップデート。
春までの早期アクセス期間はサブスクリプション契約者は無制限で利用できる pic.twitter.com/tuiZFn3WRD
Museメニューからテクスチャを作る
プロンプト入れると4種類できた

その中から一つ選ぶと微妙にモードが変わる

そのままだと512x512のサイズだったけど、メニューからUpscaleしたら2048x2048で生成できた


マテリアルビューに切り替えるとDiffusemapとかが生成される


形やライティングも変えれる。

ShaderGraphで作ったことになってるんだ

黒い部分以外透明にしたりとかは難しいのかな~?
マテリアルじゃなくてテクスチャ生成したほうをPlaneに貼ってちょっと透明にした

生成するときShapeとか色とか参考イラストとかを指定できる


バージョン2が指定できないなと思ったら、PackageManagerでアップデートしないといけなかった。pre19にする。公式リンクから行くと18になってた

けどできなかった。

ChangeLog見たら個のアップデートは時期的に関係なさそう。
バージョン2は内部的なものなのかな・・・?
あとやっぱり無料トライアルだとポイント制限あるのか・・・?

不安になってきたので次
Sprite
Unity Museのスプライト生成機能使ってみた
— のりつね (@noritsunetsune) 2023年12月2日
- 4枚で20秒くらい
- 2Dゲームの静的オブジェクトに向いてそう
- 背景画像みたいな画像素材を作るのはプロンプトの工夫が必要そう
- 日本語だと思ったものにならないがち pic.twitter.com/TOfj7AVpIC
Unitypackage入れたのに選べない><

Unity再起動したら選べた
同じようにプロント入力

もっとシンプルな白黒アイコン風のを作ってほしかったから、InputImageにそういう画像を入れたがあんまりうまく認識してくれなかった。Stypeを選べる項目もあるがDefaultしか今はない。

1枚選ぶとそれに対して範囲指定して追加のプロンプトなどを打てる

テントウムシみたいなのできた・・・

あと今更気づいたけど、Generateを押した時点でファイルがAssets直下に生成されてた。

これを押すと生成画面に移動できる。なのでずっと同じ画面でいろいろなものを生成するのではなく、別の物体を生成するときは、Muse>New XX Generaterから生成するといい。
猫を新しく作ったが、クオリティ低い・・・

作ったものは512x512。Textureと違って大きくはできなさそうだった。

スタイルのデータが見れた。happy Harverstがデフォルトの中身なのかな

Unity公式のゲームなのか
Style Trainerというのを選ぶと以下のような画面になった。これはいったい・・・・

Animate
人間のモーションを作れる。UE5のプラグインでもやったことある
Editorで使えるようになるのは4月初旬

でもWebではできるはず・・・だったが今うまく動かないらしい

ドキュメント見たらMuseサブスクライブしたからと言って利用できるわけではない。ホーム送信したら優先的に登録されると書いてあった。でもこれは関係ないよね・・・

午後アクセスしたら見れた! 今このページからできるのはAnimateだけだけど、今後Sprite作成もここでできるようになるのか?

使い方日本語化できなくてよくわかってない

まず、UR5のプラグインでも試したswiming。綴り間違ってるせいかうまくいかなかった。でもswimmingでも立ったままだった

UE5でも書いたA person is walking forward hastilyで生成すると前に歩いた。ちなみに文字のコピペができないので、自分で記入しないといけない。

cheers(乾杯)はちょっとそれっぽい

ちゃんと指示したら使えるものできるのかな?
テキストからモーションが生成できるUnity Muse Animate、さっそくやってみた。
— うんもろじー (@unmology) 2023年12月5日
「後ろに歩きながらクルッと回る」みたいな少し複雑な動きもちゃんと認識してくれた。すご。
3Dゲームにそこまで興味なかったボクでさえ作りたくなってきたレベル。かなり捗りそう、、、 pic.twitter.com/ztUnHz50ii
同じこと書いたら同じようなものできた。walking backward and spinning

Make Editableを押して、sampling optionsでConvertすると

モーションが分割されて、それぞれのコマで手などの位置や角度を編集できるようになった

Look Atもある

影響範囲?結構いろいろ編集できる

スピードも変えれる

Webのエディターの情報は更新したら消えてしまうので、いいので来たらすぐにExportしたほうがよさそう。

fbxで出力された、

このモデルもついてくる

移植できた。

どうでもいいけどこのモデルの構造面白い

behavior
スクリプト書いてくれる
これはPackageを入れたらCreate>MuseBehaviorから作る

ファイルができる。open

ノードベース;;

選んだりできる

Actionでなんか適当に打ち込んだら、それぞれの単語がGemaObjectなのかboolなのかとか洗濯できる


Generative AIを押すとこんな画面

csスクリプトが生成される

中身が書いてある。でもコメントみたいなのをコメントアウトされてないから赤線出てる。あとChange Materialで想像してたものではない

いまいちノードだとやる気でないな・・・このノードってほかでも使われてるのかな?
AIならスクリプトベースのほうがやりやすいのでは?
チュートリアルプロジェクトがあるので触ってみる。
【新着無料アセット】
— AssetSaleLove @汗人柱 (@AssetLove) 2023年11月21日
Unity純正の新機能ノードベースAI「Muse Behavior」の使用方法がわかるチュートリアルプロジェクト
C#コードで独自のカスタムノードの作成、さらにはChatGPTでノードロジックやツリー構造の生成も!!
『Muse Behavior Tutorial Project』(無料)https://t.co/Gntt9od6wY… pic.twitter.com/VKPrGE3iiF
PackageじゃなくてProjectだから空のプロジェクトとに入れたほうがよかったかもしれない。

Unity再起動したりいろいろ時間かかったが、何とか読み込めた。キャラクターが移動する

肝心のノードがどこにあるのかわからない。AIフォルダの下にあるノードを開いても何も出てこない

ここに自分で書いていって空間にいる敵?に個性を追加させていくのかな

この動画と連動しているらしい
Muse Sketch
近日公開されるらしい

Unity AI updates | Join the mailing list
このツイートの画像によると3Dのシーンを作れるって書いてる。木とか岩とか生成してくれるんだろうか?一次情報が見つけられない・・・
UnityのAI機能『Unity Muse』が早期アクセス開始したので試してみます!
— 株式会社D.Sharp l ゲーム開発スクール『Game Creator Studio』 (@D_Sharp_Co_Ltd) 2023年12月11日
現在は6つの機能のうち、5つが使用できる模様。
・Chat(文章で質問に答えてくれる)
・Texture(3Dにも対応したテクスチャを生成)
・Sprite(2Dの画像を生成)
・Animate(キャラクターのモーションを生成)… pic.twitter.com/GYjgEKxunK