久しぶりにAI触る
翻訳音声映像
XRKaigiでパルマーがやっていたように、自分が喋っている映像を別の言語に自分の声のまま音声だけ差し替えられるやつやりたい。
Youtubeでも一部実装されてる
captions
これかな？captions
これはiPhoneでのみ使える。３日間無料
ちなみにちゃんとAppleの設定からサブスク解除しないと、3日後に1450円取られると思われる
Ai吹き替えを選ぶ
どっちにもチェック
Englighへ
これを読んだ自分の動画を変換した。背景にカフェBGMを流した
1分ぐらいで生成された！
結構自分の声に近い！！背景のカフェBGMも綺麗に聞こえる。
英語があっているかは馬鹿だからわからない・・・
キャプションも入る。それがメインのアプリだしね
キャプションの色合いもAIで変更
これは口元とかは変わらない。音声が流れていない時に口パクすることもある。
あとカメラ目線に変更できる。顔が真っ直ぐじゃないと結構気持ち悪いことになった。
その他色々調整できる
ナレーションを後から任意の声で追加する機能もあった
Your AI voiceで自分の声を学習させて、自分の声でテキストからナレーション追加もできる
なんか英語っぽい発音だった
HeyGen
最初に見たのはせきぐちあいみさんの動画かな？
AIによって英語で喋る私…!
— Aimi Sekiguchi🌐ايمي (@sekiguchiaimi) 2023年9月13日
I'm speaking English with the help of AI!
なーんか口元に違和感あるなと思ったら、これ音声だけじゃ無くリップシンクするよう口の動きも合わせてくれるんですね😳
違和感といっても多分本人だからわかるレベルですね…!!@from2001vr @HeyGen_Official… pic.twitter.com/SO0ECYPuiB
これはHeyGenというサービスでやっているらしい
これはWebで使える。声も真似て口元も翻訳後に合わせてくれる
無料だと１クレジット
ログインして左側にVideoTranslateがあるのでクリック
ここに動画をUp
Your Accent!? 日本語英語で翻訳してくれるの？
1creditで作れる！
10分ぐらいかな？終わったらメールで通知が来た。
動画載せないけどめっちゃリアル！！声も口元もあんまり違和感ない！！
英語は流暢かわからん
他の人の例
HeyGenで自分のAIアバター作って、テキスト原稿つっこんだら超流暢に多言語で話す自分の動画が生成できた笑
— KAJI | 梶谷健人 (@kajikent) 2023年10月27日
1つ目が英語版、2つ目が同じ原稿の日本語版。
想像以上に自分の声でビックリ。
処理速度がリアルタイムになって、スマホの次のウェアラブルデバイス時代になったらリアル翻訳こんにゃく。 pic.twitter.com/DWGOQrKME6
日本語→英語より外国人が日本語喋っている動画が面白いな
HeyGenというツールで翻訳された動画だそうですが，凄いですね🫢右の動画だけを見たら日本語が上手な方だな〜と思ってしまいます．口の動きまでピッタリで全然違和感がないです．翻訳の対象はもう言葉だけではないんですね…． https://t.co/UcW6rZ9jPw
— 早稲田大学 早水桃子研究室 (@hayamizu_lab) 2023年10月23日
このツイートの人はスレッドで全部の言語の翻訳をしてくれている
A thread including videos for each @HeyGen_Official language option. Let me know if your language is translated well
— Jon Finger (@mrjonfinger) 2023年10月7日
1)American English
2)Your Accent English
3)Spanish
4)French
5)Hindi
6)Italian
7)German
8)Polish
9)Portuguese
10)Mandarin
11)Japanese
12)Dutch
13)Turkish
14)Korean pic.twitter.com/lhDbMN7fGF
日本語は最初の方変化なと思ったが後半流暢なところあっておもろい
11)Japanese pic.twitter.com/45pWyyPI4J
— Jon Finger (@mrjonfinger) 2023年10月7日
スケッチイラスト化 Vizcom
【スケッチから動画生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) 2023年12月27日
スケッチから高品質な動画を生成するワークフロー。
・スケッチを書く
↓
・Vizcom AI（ @Vizcom_ai ）でスケッチから画像生成
↓
・Leonardo AI（ @LeonardoAi_ ）の新しいモーション機能を利用して動画生成
その他の作例は続きから>>pic.twitter.com/HKCbcsTLgE
スケッチをもとにイラスト生成
トマシープちゃん
スタイル選べる
お札が飛んでいく絵を描いたのに思ったように生成されない・・・プロンプトも書いてるのに〜
artflow
めっちゃ手軽にLoRA（狙った顔での画像生成）とControlNet（狙った姿勢や構図での画像生成）を使える「artflow」というサービスを見つけた。
— KAJI | 梶谷健人 (@kajikent) 2024年1月5日
LoRAとContolNetを一般の人が使うのは結構ハードル高いので、こういう良い感じのUIで提供してくれるサービスは周りにオススメしやすくて助かる。 pic.twitter.com/IfQ3AH700X
CreateImageで、DirectorModeをオンにすると人間モデルが出てくる
方向と位置を変えれる。細かい姿勢は変えれなかった
isn't it so cool that shot-type control and consistent characters can happen at the same time? 🤩 pic.twitter.com/HNs9CeqTKC
— Tim Zhang (@ExperiencerTim) 2024年1月5日
プロンプトで様子を指定。スタイルも選べる
あと事前に自分のキャラクターを作ってそれを適用できる。自分で作らなくてもいくつかアセットがあるのでそれを選べた
↑でsaveしないと保存されないことを知らず消しちゃったので、元から用意されているもので作った
和服を着て日本刀を持って遠くを見ている。背景には富士山と桜
She is dressed in kimono and holding a Japanese sword, looking into the distance. Fuji and cherry blossoms in the background.
storybookスタイル。なんかいる
98クレジット付与されてて、生成には１か２しか使わないからかなり作れそう
でもダウンロードは有料プランに入らないとできない
動画も作れる。口がぱくぱくするっぽい
顔が認識されたらしゃべらせれるのかな？声を選んでセリフを書く
セリフ作ってもらった
これで生成したけど口が動いてなかった；；
しかもクレジットが40ぐらい減ってる；；
もう一度よく見たら顔の部分を押さないといけなかったっぽい
クレジットは文字数に応じて増減するっぽい
作成されたもの。動いた。
今度は動画全体の動きをつけるのを忘れた
Artflow pic.twitter.com/rNAaF8G8ej
— トマシープ (@tomasheep) 2024年1月13日
Effectsでつけれる
