プロジェクションマッピングの技術を社会にどう役立て、実装するかを考えるプロジェクトが始動！
デザイン学部 工業デザイン専攻 空間演出デザインコース 田村吾郎 准教授
東京工科大学では、革新的かつ実践的な教育活動の一環として、今年4月より各学部・学環における「戦略的教育プログラム」（第二期目）が始まっています。今回はデザイン学部での取り組みについて、田村先生にお聞きしました。
■先生が取り組んでいるデザイン学部の戦略的教育プログラムについてお聞かせください。
第1期の戦略的教育プログラム（2017年度～2020年度）で取り組んだ「プロジェクションマッピングを用いる実践的教育プログラム」では、演習や講義でプロジェクションマッピングの概念や技術といった基礎的な要素に触れ、それを専門演習や卒業研究に結び付けてもらうという試みでした。一方、2期目となる今回は「プロジェクションマッピングを応用した『新しい生活様式』の提案と社会実装のための教育プログラム」というプログラム名ですが、第1期での“プロジェクションマッピング”とは少し意味が違います。
そもそもプロジェクションマッピングとは、凸凹した壁面や立体物に映像を照射して表現する技術です。それらの目的の多くは一種のエンターテインメントショーであり、空間を使った表現そのものだと言えます。ですが今期、私たちが取り組もうとしていることは、そうした表現ではなく、もっと実用的な応用です。つまりプロジェクションマッピングの技術を表現以外にどう使うかということです。例えば、私が研究開発を手掛けてきた半球状スクリーン「Sphere」というものがあります。これは巨大な半球状スクリーンに超高解像度の映像を映し出すことで、その場にいるような臨場感が体験できるというものです。それを今は、テレコミュニケーションの精度を上げる目的で応用しています。例えば、被災現場の様子を広角カメラで撮影したデータを5Gで送信して、東京にいる人たちがその映像を半球状スクリーンで見ることにより、現場にいるような臨場感で空間をシェアするという概念です。プロジェクションマッピングのコア技術は、フラットな壁面ではなく、凸凹していたり歪んでいたり、曲がっていたりするようなところに絵を映し込むというものですから、この半球状スクリーンに投影することも一種のプロジェクションマッピングだと言えます。
このような方向性で、例えば自動車の自動運転において、遠隔操作を挟むためにプロジェクションマッピングの技術を用いるといったことに取り組もうと考えています。ですから同じプロジェクションマッピングの技術でも、前回の自己表現的なものへの使用から、社会に役立つ実用的な部分への使用へと目的がシフトしたわけです。
■第一期の取り組みでは、どんな成果がありましたか？
プロジェクションマッピングには専用の機材などが必要ですから、なかなか個人でできることではありません。ですから、教育機関で体験できれば望ましいと思うのですが、大学でプロジェクションマッピングを扱っているところはあまりないようです。しかし、本学の学生たちは、3年次に第一期の戦略的教育プログラムでこの技術を体験することができました。それを機にプロジェクションマッピングに興味を持ち、将来はそういう方向に進みたいという人もいるかもしれませんし、学生自身の表現の幅を広げることができれば、価値があるだろうという思いで取り組んできたのです。
その結果、4年生の卒業研究においては、毎年必ず、プロジェクションマッピングの技術やそれを応用したものを使う学生が数名はいます。空間演出デザインコースの10％くらいの学生が、何かしらの形で研究テーマにプロジェクションマッピングを取り入れていますから、教育効果はあったと言えます。今年の4年生でも、プロジェクションマッピングなどの映像技術を使ったアフターコロナの舞台演出について研究している学生がいますよ。
■では、今期の取り組みで、具体的に何か進んでいることはありますか？
学生は、講義などでプロジェクションマッピングの概念をある程度は学びます。ですが、それはデザインという大きな括りの中で扱っているものなので、今回のプロジェクトのような応用版にいきなり取り組めるものではありません。そこで空間演出デザインコースの3年生45名を対象に、11月11日、12日、18日、19日の4日間でプロジェクションマッピングの特別演習を実施しました。
改めてプロジェクションマッピングの基礎技術についての講義をし、さらに外部から専門家を招いてプロジェクションマッピングの具体的なオペレーションについて解説してもらったのです。そのうえで、学生はグループに分かれて、実際に自分の手でプロジェクションマッピング専用のソフトウェア「MadMapper」を動かしてみるということに取り組みました。
この4日間で、学生は基礎的なプロジェクションマッピングの技術の習得や実際につくってみるという体験ができたので、今度はこの技術を社会に対してどういう価値として定義できるか、考えてみたいという学生がいれば、戦略的教育プログラムのプロジェクトに参加してくださいという形で参加者を募る予定です。実際にどのくらいの学生が集まるかはわかりませんが、5～10人くらいの規模でプロジェクトを進めたいと思っています。
実習の様子
■今後の展開・計画について教えてください。
有志の学生が集まったら、まずは簡単なところから進めようと考えています。例えば、自動車やショベルカーの遠隔操作を学内でしてみるつもりです。あるいは、もっと簡単にラジコンみたいなものでもよいかもしれません。例えば、プロジェクションマッピングの技術を応用した部屋やデバイスを自分たちでつくり、別の階にあるラジコンの周辺の様子をプロジェクションマッピングでリアルタイムに投影します。それを見ながら、別の階にあるラジコンを遠隔操作するといったイメージです。学生にはチームに分かれて取り組んでもらい、どのチームの空間表現が最も現場の状況をわかりやすく伝えるものだったかという競い合いをしても面白いだろうと思っています。
また、現実に存在している空間の情報を集めて、デジタル空間にリアルな空間を再現するデジタルツインという技術を使った取り組みをしてみようと考えているところです。デジタルツインの“ツイン”とは“双子”の意味で、要はデジタルとリアルの双子の空間ということです。例えば、月面にあるローバーを遠隔操作で走らせることは技術的には可能です。でも、実際にロケットを飛ばして、遠隔操作で月面にあるローバーを動かして映像を見るには、非常に大変ですよね。それよりもデジタル上に月の3Dモデルをつくって、そこで色々な物理計算をする方が早いわけです。あるいは、工場内の生産性を上げるにはどうすればよいか、どういう街をつくれば災害時に人が助かる確率を上げられるかといったことは、実際の空間で検証することができません。そこでデジタル空間上にリアルとまったく同じものを再現して検証しようという技術がデジタルツインなのです。
とはいえ、せっかくリアルな空間を再現しても、それをパソコンのモニターで見ていては、人間はそれを3D空間としてではなく、2Dで認知していることになります。そこでデジタル空間を立体で再現し、そのまま立体として人に認知してもらうために、例えばプロジェクションマッピングの技術を応用して、室内などに映像空間をつくるとよいのではないかと考えています。そうすることで、デジタルツインの価値も上がりますからね。今、私はそうした研究を手掛けていますし、そういう形であれば、今回の戦略的教育プログラムでもできるのではないかと思います。デジタルツインなどを用いながら、学生には仮説的でもよいので、プロジェクションマッピングの技術をどう活かすか、そこにデザインがどう介入するかという価値の提案と実装の方法について考えてもらうつもりです。
■では、先生の最近のご研究について教えてください。
先述した半球状スクリーン「Sphere」は、サイズも5.2、それより小さい2.9、横長のシリンドリカルの3種類に増えていますし、すでに実社会で展開しています。例えば国の機関や、宇宙ベンチャー企業などと協力しながら、先ほど話した月のデジタルツインの研究を実際に進めていたり、モータースポーツ関連での応用にも実装レベルで取り組んだりしているところです。
例えば、レーシングチームと一緒に、「Sphere 5.2」を使ったレーシングシミュレーターの開発をしています。今、これをまさにデジタルツイン化させようとしているところです。そうなれば自動車の開発にも利用できますし、レース用車のセットアップ（車両の調整要素を決めること）もできます。さらに人と人とのつながりをつくることも可能です。例えば、サーキットは山中や僻地にあることが多いです。でもこの装置はどこにでも置くことができるので、山の中のサーキットで行われているレースに、デジタル上で都内から参加することもできるのです。実際のレースの車両の位置情報をこのデジタル空間の中に転送して再現すれば、サーキット場でリアルに走っている車と同時に、都内でもそのレースに参加して走ることができます。また、このようなデジタルを通じた参加は、フィジカルなダメージがないので、交通事故が起きることはありません。ですから子供でも参加できますし、操作系を変えれば、足に障害がある方でも操縦することができ、かなりバリアフリーだと言えます。
これまでモータースポーツに参加できる人は、非常に限られていました。資金があり、子供の頃から乗ってきた経験があり、ある程度の身体的能力もあるという人でないと、レーシングカーに乗ることはできません。フォーミュラーカーに乗れる人は、日本でも数百人くらいでしょう。そこをデジタルツインや半球状スクリーンの装置などを使うことで、誰でも体験できるようにし、人と人をつなぎ、これまで関われなかった分野に関わる体験ができるようにしたいのです。また、デジタルとリアルのレースがつながることで、新しい分野が生まれるとも言えます。
その他、今回の新型コロナウイルス感染症の影響で社会が大きく変化したことを受け、それに対応する様々なことに取り組んでいます。例えば、私が文化プログラムのディレクターを担当している横浜市から、このコロナ禍で開催できなくなったクラシックの演奏会をテクノロジーとアイデアで解決して欲しいという依頼を受けました。そこで昨年からデジタルを使った音楽祭「横浜WEBステージ」を実施しています。例えば8Kの超高解像度技術を使って演奏を収録したり、それを5Gでリアルタイムに配信したり、ステージを3D化して、WEB上でどこからでも見られるようにしたりと、あらゆる最先端技術を投入して、WEB上に動画コンテンツを展開したり、実際にイベントを開いたりしています。
その一環で、昨年12月には無人オーケストラコンサートを実施しました。会場には演奏者の数だけスピーカーを置いて、そこから事前に各演奏者の演奏を録音したものを流すのです。このときは、オーケストラの演奏者一人ひとりの音を録音して、69チャンネルの音源ができました。この音源をミックスしてLRのスピーカーから流せば、私たちが普段聞いている音楽に近くはなりますが、音源がミックスされているため、リアルなオーケストラの演奏とは異なります。というのも、オーケストラは前の席と後ろの席、左の席、右の席と座る場所によって聞こえ方が変わるからです。オーケストラの演奏者が実際に演奏する際は、そういうことを考慮して、演奏のタイミングをずらすなど、色々なことをしています。それを全て再現したら面白いのではないかと思い、実際の演奏者の位置にスピーカーを置いて、各演奏者の音を出して無人のオーケストラを実現しました。ホールに演奏者はいませんし、観客は平常時の10分の1以下にすることができ、感染症予防に配慮した形で音楽を楽しめるのです。
この無人オーケストラコンサートのもうひとつの魅力は、会場の好きな場所で聞くことができるという点です。真ん中の席で聞いてもよいし、演奏中に2階席へ移動して聞くこともできます。さらには、ステージの上に登っても構いません。そんなふうに自由に場所を移動しながら聞くと、オーケストラの音の仕組みやホールの音の仕組みがよくわかります。こうした経験は、リアルな演奏会では絶対にできないことで、そこにデジタルならではの価値を生み出せるわけです。
■最後に受験生・高校生へのメッセージをお願いします。
新型コロナウイルス感染症の流行で、社会は大きな変化を余儀なくされました。しかし考えてみれば、そもそも社会はずっと変わり続けているものですよね。働き方、社会の構造、都市の在り方、移動の仕方、時間の使い方、コミュニケーションの仕方といったことは、デジタル技術などの発展ですべて変わっていくものです。その速度が今回の新型コロナウイルス感染症の流行で微妙に早まったのだと、私自身は捉えています。
これほどダイナミックに社会が変わるなかで、デザインが果たすべき役割は、かなり大きいはずです。世の中を大きく変えられるタイミングにいる今、デザイナーやデザインに関わる人間としていられたら、つまり世の中の今後の変化を見越して、その前段でシステムやモノづくりに関われたなら、ものすごく楽しいと思います。ぜひデザイン学部で、その第一歩を踏み出しましょう。
