今から２年ほど前、2022/8に初めて画像生成AIに触れた時の衝撃は今でも忘れられません。
それから僅か半年後の2023/3には、画像生成AIはすでに写真と区別がつかないレベルまで一気に進化しました。
その後、画像生成AIはかなり行き着くところまで進化し、最近では動画生成AIの競争に入っています。動画生成AIは、アップロードした画像をベースに動画化する方法(Image to Video)と、文章（プロンプト）を与えてゼロから動画を生成させる方法(Text to Video)があります。
今回は数ある動画生成AIでも最近発表されてそのクオリティの高さが話題になっているKLING AIとHailuo AIをご紹介します。どちらも中国発のスタートアップです。
Image to Video
アイドルA
まずは、お約束のAIアイドル。はじめに画像生成AIのImageFXで架空のアイドル画像を生成しました。プロンプトは、”Japanese idol woman dancing in concert, long hair, blue dress, make a heart sign”です。
もはや実在するアイドルのようなクオリティ。
この画像をベースに”Dancing”というプロンプトのみを与えてHailuoで動画生成してみた結果はこちら。顔の一貫性をほぼ保ちつつ、髪の毛のダイナミックな動きなど、なかなか自然な動画が生成できました。
アイドルB
Aのプロンプトで服装の色だけを白に変えて生成した画像をもとにKLINGで動画生成したのがこちら。突然、マイクが現れたりするあたりは現時点の動画生成AIではまだよく見られます。
Hailuoはもう少し自然な感じの動画になりました。ハートに引きずられたまま、なんだかフラっぽいですが。
女優A
続いて、ImageFXで女優さんを生成。プロンプトは、”Elegant Japanese woman with very short brunette hair, small face, angled pose, dressed in bright white clothing, captured in a sunny outdoor setting, using Canon EOS 6D Mark II, focusing on her vibrant smile and the brightness of the scene”です。
プロのカメラマンが撮影したスナップショットのよう。これをベースにHailuoで”Dancing”というプロンプトで生成した動画がこちら。顔の一貫性やポージング、逆光でワンピースが透ける感じなど、自然な仕上がりにビックリしました。
更に、KLINGでは２枚の写真をアップロードして、１枚目の写真からスタートして２枚目の写真で終わる動画を生成できます。女優AからアイドルAに返信する動画を生成してみました。
60年ほど前の母の写真
続いて、AI画像ではなく、実際の写真をベースに動画化してみた事例。
20代の頃の母の写真をスマホで撮影し、AIで動かしてみました。「女性が立ち上がる」というプロンプトで何度か試しましたが、KLINGでは立ってくれませんでした。
一方で、後発のHailuoは、KLINGよりもプロンプトに忠実な動画生成がされる印象です。１枚の写真をもとに、立ち上がる動画を生成してくれました。画質も少し良い印象。
よく見るとちゃんと影まで対応して動いています。実在しない海も自然な感じです。
母が亡くなってから15年が経ちますが、60年の時を経てデジタルで蘇った若き日の母の姿をみて父も驚き、喜んでいました。
自宅の車庫から出ていくクラウンスポーツ
最後に、自宅の車庫に停まっているクラウンスポーツを撮影した写真から動画生成してみたのがこちら。上がKLING、下がHailuoの作例です。
実際には見えていないはずの後ろ半分をAIが想像でデザインしているのが面白いですが、違和感がないのが凄いです。また、車が出ていった後のガレージに見覚えのない物体が色々と置かれているのも面白いなぁ。
Text to Video
車庫から出ていく電気自動車
今度は、文章から動画生成を試してみました。最初に、上で紹介した動画のベースとなった写真からプロンプトを作成し、Hailuoで動画生成した例です。
それなりにプロンプトに忠実に動画生成しているのが伝わってきます。
Front view of a white electric vehicle parked partially in a garage of a modern, compact residential building with a beige brick exterior. The driveway is well-maintained with plants. The car has gone out of the garage.
花々の間を歩く可愛いネコ
あたかも実在するかのような動画が生成できました。
Cute cat walking among flowers, backlit
大学のキャンパスの門と桜並木
上から、以前に作成したStable Diffusionが生成した画像をStable Videoで動画にしたもの、KLINGによる動画、Hailuoによる動画の作例です。
こうして比較すると、Stable Diffusionの作例はまだCGっぽさが残り、KLINGの動画はより自然な感じがします。一方で、Hailuoの動画の門はいかにも中国なテイストになっており、それぞれの生成AIの特徴がよくわかります。
The entrance of a springtime college campus in Tokyo, with an ornate gate flanked by blossoming cherry trees (sakura). The path is lined with fresh green grass and the air is filled with a gentle, floral scent, enhancing the serene and inviting atmosphere of the campus.
