メディア学部 菊池 司教授

　コンピュータグラフィックス（CG）技術の中でも特に表現が難しい自然現象のビジュアルシミュレーションなどを研究している菊池先生。今回は、最近の研究成果についてお聞きしました。
前回の掲載はこちら→ https://www.teu.ac.jp/topics/2015.html?id=135

■最近の研究室での取り組みについてお聞かせください。

　私の研究室では、プロシージャルアニメーションとコンテンツデザインサイエンスを軸に研究しています。前回の取材でもお話ししましたが、プロシージャルアニメーションとは、簡単に言えばCGによるビジュアルシミュレーションのことで、研究室では特に雲や雷といった自然現象のCG表現を扱っています。
　例えば、積乱雲がもくもくと出来上がっていくといった流体シミュレーションは、最終的にどういう形になるのか、シミュレーションしてみないとわかりません。シミュレーションの仕組みをコンピュータに実装して、パラメーターを入力して、だいたいこういうアルゴリズムならうまくいくだろうと見当はつけられても、最終的な雲の形をコントロールすることはできないのです。しかし、例えば映像コンテンツをつくるときに、監督やディレクターから「もう少し雲の形をこうしてほしい」と要望が出てきた場合、形をコントロールできないつくり方では困りますよね。そこで私たちは、自然現象のビジュアルシミュレーションを思った通りの形につくることができる技術の研究をしています。
　今年の研究例ですと、稲妻の形をコントロールする研究があります。三次元の空間の中に点をばらまいて、その中からどういう経路をたどって光らせると稲妻が走るように見えるかということを数式で出して、三次元空間にばらまかれた点を探しながらラインが走るというビジュアルシミュレーションをつくりました。そこから発展させて、アルファベットの形で稲妻を走らせるというビジュアルシミュレーションも実現しました。例えば、アルファベットのCの形に稲妻を光らせるというゴールを設定して、Cの中に点をばらまいて稲妻を走らせると、それっぽい形に光らせることができるというものです。
　今はまだアルファベットしか試していないので、今後はさらに複雑な形状でできるのか試すつもりです。また、このアルゴリズムを使うと、樹木状にラインが走っていくので、稲妻だけでなく樹木のモデリングにも使えるだろうと考えています。樹木の根の表現がCGでできれば、例えばその樹木がどのくらいの風に耐えられるかというシミュレーションができるので、台風のような強風が吹く中、樹木の根が耐えられなくて倒木するというシーンも自動でつくれるはずです。根のデータを入力することで、どのくらい地面に張り付いていられるかが計算できますから。
　そのほか同じアルゴリズムで、人間のキャラクターの血管が浮き上がるというシーンも表現できるはずです。例えばアニメでキャラクターが怒ったり、力を入れたりすると血管がピキピキッと浮き上がるシーンがありますが、それも根のデータを使えばつくりやすくなると思います。今は、そういう応用も考えています

■では、コンテンツデザインサイエンスの研究例ではどのようなものがありますか？

　代表的なものに、映画の予告編を編集する研究があります。テレビCMや映画館で流れる映画の予告編について調べてみると、公開直前から公開中に映画館で公開されるもの、公開直前に流す応援用、公開1年ほど前から流す特報用、スポット用、YouTube用など、色々なバリエーションがあり、長さもテレビCMは15秒版と30秒版がありますが、それ以外は特に決まりはないそうです。またテレビ用の場合は、流れる時間帯によって視聴者層が異なるため、それに合わせて編集し直すということもあるそうです。
　さらに広告としての側面があるので、予告編で満足させてはダメで、その映画を観たいと思わせなければなりません。それは、結構難しいことですよね。そのうえ、用途に合わせて何本もつくらないといけないということで、制作サイドの負担は大きいと思います。
　そこでこの研究室では、予告編を編集するとき、ある指針をもとに抽出したシーンをつないだら、どうなるかという研究をしました。既存のセマンティックスコアという映画の構造分析をする方法を用いて、そのスコアの高いシーンだけをつないで予告編にしたのです。使用した作品は『マレフィセント』です。まずは、映画のシーンをストーリーの意味の単位で区切っていきます。次にそれぞれのシーンで、そこから物語が複雑化しているのか、解決に向かっているのかということを5段階で評価します。そして、その数値をもとに、セマンティックグラフというものをつくります。
　ここからが私たちの研究のオリジナルな部分なのですが、セマンティックグラフの数値の上下の落差がプラスマイナス４以上ある、変化率が大きいシーンを抽出してつなぎ、自分たちで予告編をつくりました。また、それを実際に公開されたプロの手による予告編と比較してみたのです。結論から言うと、これらに大きな差は見られませんでした。つまり、プロは経験から自然とセマンティックスコアのピークのシーンを選んで使っているとわかったのです。それと同時に、研究室でつくった予告編が、ずば抜けて良いということもありませんでした。
　この結果を受け、今後はAIを使って、映画の本編からシーン分割を自動で行い、セマンティックグラフのピークをサムネールで表示するようなシステムがつくれたらと思っています。あとはプロがその中から選んでつないでいくだけなので、楽に色々なバリエーションの予告編がつくれるはずです。現状の課題は、シーン分割やセマンティックスコアをつける部分を人間の手で行わなければならないという点です。ですから、そこにAIを絡めれば、プロの予告編制作をサポートするシステムが実現できるのではないかと思います。
　このようにコンテンツデザインサイエンスのプロジェクトでは、経験のあるクリエーターがこれまでの技術や暗黙知でモノづくりをすることに対して、それを形式知化し、学生や専門職についたばかりの新人など経験のない人でも指針があれば、それなりのクオリティのモノをつくれるようにすることを目指しています。
　

■先生の研究室は、今年、メディア学部の佐々木和郎教授が中心となって進める「ユーミン・プロジェクト」にも参加されたそうですが、具体的にはどのようなことをされたのですか？

　360°カメラを使って、ユーミン（松任谷由実）のライブ映像をリアルタイムで配信するという取り組みでした。毎年、ユーミンが苗場で行うコンサート「Surf &Snow in Naeba」のネット配信は、佐々木先生の研究室と学内のインターネット放送局「インテブロ」が手がけていて、今回はそこで何か新しいことをしたいと私に打診いただいたのです。
　もともと私の研究室では、360°カメラを使った研究をしていて。360°カメラが発売される以前は、GoProのカメラを6台、キューブ上に組み合わせて撮っていました。GoProは広角レンズなので6台組み合わせると、360°撮ることができるのです。学生がそれを使って撮影し、編集した動画作品「Crossing Tokyo」は、第20回文化庁メディア芸術祭に選出されました。
　ただ、ユーミン・プロジェクトではリアルタイム配信なので、当然、映像をつなぎ合わせたり編集したりする時間はありません。そこで一気に360°撮影ができ、編集もカメラ内でしてくれる「Insta360Pro」（ハコスコ）という機材を用いました。また、360°映るということは、ステージだけでなく客席も映ることになります。お客さんの顔が映っては困りますから、「TouchDesigner」というノードベースのプログラミングツールを使って、事前に客席が映らない工夫もしました。
　今回の経験は非常に面白かったので、今後も360°カメラがどんなふうに使えるか研究をしていきたいです。また、今回は360°カメラを1台しか使いませんでしたが、複数台使って動きのあるコンサートを撮影してみると面白そうだなと思っています。

■受験生・高校生へのメッセージをお願いします。

　高校生の時点で、将来就きたい職業や具体的な夢を持っている人は、それほど多くないだろうと思います。でも大学には、「こんなことが学問になるの？」と思うほど多種多様な研究をしている先生がたくさんいますから、きっと学びたいことや将来の仕事につながる夢が見つかるはずです。そして、それは突然見つかることが多いです。ですからそれまでにしっかり勉強して下地をつくっておくと、夢や目標が見つかったときに、素早く取り組むことができます。いざ、やりたいことが見つかったものの、この勉強が必要だった、これも学ばなければ…となると大変ですからね。
　もし今、「こんな勉強、何の役に立つの？」と思うようなことがあっても、どうか目の前の勉強を大切にしてください。長い歴史の中で学問として残っているものは、やはり必要だから残っているのです。今、勉強していることは必ず世の中のどこかで役立っていて、使われているものです。そう思って、がんばってください！