自宅の本棚を整理していたときに、懐かしいムック「月刊ASCII別冊 PC6000 NOTE」（1983年）が出てきました。中でも目玉特集の１つになっていたのが、「世界初!! PC-6001によるコンピュータ・コミックス」Play Olion with youです。
今から40年以上前の時代、当時のパソコンのスペックは256×192ドット、白黒２色のグラフィックが標準で、これでも高精細だと感じていました。TVに繋いだ時の発色の滲みを活用してオレンジ色と青色を表現して４色に見せるという裏技を駆使して作成されたのがこちらの３ページ。
小学５年生だった僕はこのPC-6001を持っていたので、初めてこの漫画を見たときは「パソコンで漫画が作れるのか！」と感動したのを覚えています。
そこで、ふと生成AIを活用してこのストーリーを再現してみようと思い立ち、週末にノートPCでミュージック・ビデオを３種類作ってみました。特に、音楽生成AIで最強と言われていたSUNOを上回るという噂を耳にして、今回始めてUdioを使ってみたところ、その圧倒的なクオリティの高さに驚愕したのでまずは聴いてみてください。
追記：このMVを作るきっかけになった出来事はこちら。
生成AIを駆使したミュージック・ビデオ
Play Olion with youのストーリーをベースにして、Chat GPT 4.0で24シーンのコマ割り作成および作詞、Stable Diffusionで静止画像作成、PikaとStable Videoで動画生成、Udioで楽曲作成することにより製作したミュージック・ビデオがこちらです。
歌詞と画像・動画は全て同じですが、楽曲は曲調を変えた３曲を作ってみました。
Sakura Promise
しっとりとした女性ボーカルによるバラード。ピアノとストリングスによる伴奏により静かにスタートし、Aメロ、Bメロに続いてサビ、そしてアウトロで一気に盛り上がりながら、最後はまたしっとりとクロージング。
Petals in the Wind
続いて、こちらも女性ボーカルによるバラード。ピアノのシンプルな伴奏から始まり、サビからアウトロにかけてストリングスが加わり、重厚かつ切なく歌い上げます。最後はまたピアノの静かなメロディで締めるかと思いきや、泣きのギターソロが熱い。
Harukaze Memories
３曲目は趣向を変えて、坂道系アイドル女性グループな感じのJ-POPに仕上げてみました。
特に要所でのハモリがいかにもありそうな雰囲気で、ポップに盛り上がった後のアウトロではまたピアノの静かな伴奏に戻ってゆっくりと締めくくります。
追記：同じ歌詞で、ジャズ、ボサノバ、ヘヴィメタ、K-pop、ロック等のアレンジをしてみました。
Udioによる楽曲生成
初めて初音ミクを聞いたときは驚きましたが、今回のUdioの楽曲はその時の衝撃を遥かに上回るものでした。
一度に作れるのは30秒程度の短いパートのみですので、歌詞は4-5行程度が妥当です。まず最初に１セッションを作ってみて、気に入ったらイントロを追加したり、その後のパートやアウトロを追加できます。
基本的な機能やUIは先行するSUNOに似ているため、直感的に操作できました。SUNOに比べるとまず音質がかなり良くなっているほか、ボーカルのレベルが数段アップしており、もはや一気にプロの歌手レベルにまで行き着いた感じです。また、バックのピアノや弦楽器、ドラム等の演奏も相当に幅広く対応できます。
そして、何より驚いたのは、楽曲そのものの出来栄え。同じイントロでも、その後に続くメロディは無限に作ることができます。しかも、現在の生成AIではいわゆるガチャ要素がまだ高く、試行錯誤が基本ですが、Udioはそれなりの高いレベルで様々なアレンジを短時間で提案してきてくれるのが凄い。
なお、日本語の歌詞にも対応していますが、時々読み方を間違えることがあるため、ローマ字で指定しました。また、例えば「会おう」はAouだとそのまま発音しますが、Aooの方が口語に近いので変える等のちょっとした工夫でより自然な楽曲に仕上げることができます。
AIで画像生成はできても、音楽、特に人間らしいボーカルの再現はまだ難しいだろうと思っていましたが、Udioの登場で早くも相当なレベルにまで到達してしまったようです。
参考までにSUNOで制作した楽曲を紹介しておきます。
Chat GPT 4.0による作詞とコマ割り
作詞
まず、原作のPlay Olion with youのエッセンスをなるべく忠実に要約してChat GPTに教えて、歌詞を提案してもらいました。
以下のストーリーをもとに、恋する女子高生の気持ちを歌詞にしてください。
女子高生が大学のキャンパスを歩いていると、校舎の部屋からゲームの音が聴こえてきた。彼女は好奇心から部屋を覗いてみると、イケメン大学生が１人でパソコンのキーボードを操作しながらスター・ウォーズのドッグファイトのようなゲームをしていた。
思わず見入っていると、ゲームを終えて一息ついた彼が彼女に声をかけて一緒にゲームをしようと誘った。彼女はそのゲームの迫力に圧倒された。 気がつくと１時間も２人でゲームをプレイしていた。
彼は明日も来るように誘った。彼女は驚きながらも「はい！」と返事をした。彼女は普段はおとなしい性格だったので、自分の大胆さに驚きながらも、また彼に会いたい気持ちで明日が待ち遠しかった。 キャンパスを歩く彼女の後ろ姿で物語は終わる。
Play Olion with you
はじめは「星空の下で」というタイトルで作詞してきましたが、舞台を春のキャンパスに変えてリトライ。２度目で出てきた歌詞をそのまま即採用しました。
タイトル：春風のキャンパス
（サビ） 春風にのせ、キャンパスで出逢った 君との時間が、心を躍らせる 桜の下、舞う花びらのように 二人で過ごす、この瞬間（とき）を抱きしめて
（Aメロ） 新緑の息吹、歩いた道 校舎の角から、聞こえた未来への誘い 好奇心が私を突き動かす 窓越しに見つけた、君の笑顔
（Bメロ） 「一緒に遊ぼう？」君の一言 初めての挑戦、手を取り合った瞬間 恐れずに前へ進んだ 勇気が私を新しい私に変える
（サビ） 春風にのせ、キャンパスで出逢った 君との時間が、心を躍らせる 桜の下、舞う花びらのように 二人で過ごす、この瞬間（とき）を抱きしめて
（ブリッジ） 「また明日も」と君が微笑む その一言が、春の日差しよりも暖かい おとなしい私でも、君がいれば どんな未来も一緒に歩ける
（サビ） 春風にのせ、キャンパスで出逢った 君と手を取り、新しい季節へ 桜の下、舞う花びらのように 君となら、どんな日も特別に変わる
（アウトロ） キャンパスの空、桜色に染まる 明日が来るのが、待ち遠しい 花びらが散る、この道で誓う 君とまた、笑顔で会おう
この歌詞では、春のキャンパスを背景に、新しい出会いや始まりのワクワクを桜の花びらとともに描いています。君との出逢いが、女子高生に新たな勇気を与え、二人の未来に花を咲かせる様子を表現しています。
コマ割りと作画
続いて、この歌詞をもとに、24のシーンのコマ割りを考えてもらい、そのプロンプトをベースにStable Diffusionで作画しました。
例えば、シーン１は「春のキャンパスの入口、桜の木が並んでいる門を描く」で、そこから作成してもらったプロンプトがこちら。
The entrance of a springtime college campus in Tokyo, with an ornate gate flanked by blossoming cherry trees (sakura). The path is lined with fresh green grass and the air is filled with a gentle, floral scent, enhancing the serene and inviting atmosphere of the campus.
このプロンプトからStable Diffusionで作画したのが次の画像で、これを動画に変換すると３秒程度のショートムービーができます。あとはこれをひたすら繰り返して完成。
動画生成は最初にStable Videoを使いましたが、特に人間の表情の一貫性が保持しづらく試行錯誤が続きました。そこで、Pikaを試してみたところ、ガチャ要素はそれなりにあるものの、そこそこの動画が作れたため、今回はシーン１の桜並木以外はすべてPikaで作成しました。
Stable Videoは画質が高いまま動画化できるのが良いのですが、ファイルサイズがかなり大きいです。一方でPikaはそこそこの画質ですが生成速度が早く、ファイルサイズもStable Videoの10分の1程度とコンパクト。
例えば以下のオリジナル画像は896×896ピクセルで1.57MB（PNG形式）、SV動画は4.15MB、Pika動画は577KBです。
ちなみに、Stable Diffusionはなかなかプロンプト通りに画像を作ってくれないため、今回はヒロインと彼氏は白のシャツを着ていることだけを縛って、ほかは自由にしています。そのため、画像によってはネクタイをしていたり、スカートの色がベージュ系だったりとバラエティ豊かに展開されるのは御愛嬌。
何ならヒロインはnagatsuki_mix (v2.0)モデルの利用である程度の一貫性は保てていますが、彼氏はイケメン縛りだけで毎回取っ替え引っ替えです。それが気になってしまうとせっかくの楽曲がアレなので流してくださいね。
