大学の学びはこんなに面白い

大学の学びはこんなに面白い

研究・教育紹介

東京工科大学 HOME> 大学の学びはこんなに面白い> 音楽の構造や音の質感を映像化することで、音楽への理解を深めると同時に視覚的な面白さを追究しています

音楽の構造や音の質感を映像化することで、音楽への理解を深めると同時に視覚的な面白さを追究しています

2020年11月13日掲出

デザイン学部 大西景太 講師

デザイン学部 大西景太 講師

  音や音楽を視覚化することで、よりその理解を深めようと取り組んでいる大西先生。今回は、ここ数年で制作された作品の話やオンライン授業での工夫についてお聞きしました。

■最近、取り組まれたご研究についてお聞かせください。

  “映像と音楽が共存する表現のあり方”というテーマで、音楽の構造や音の質感をアニメーションなどの映像で表現したインスタレーションやミュージックビデオを制作しています。最近のものでは、『Forest and Trees AR』という作品があります。これは、2019年度のメディア芸術クリエイター育成支援事業・国内クリエイター創作支援プログラムに採択されたものです。もともと映像と音楽のリンクについて研究していたので、それを発展させるにはどうすればよいかを考える中で、音を目の前で見られる状態をつくってみようと、この作品ではAR(Augmented Reality:拡張現実)を使いました。
  作品の概要としては、音の質感を視覚化した3Dアニメーションを、その音が鳴っている位置でAR表示するというものです。具体的には、多チャンネルのスピーカーを内蔵した8つの台を並べ、それぞれの台で異なる音が鳴っている状態にします。個別に音が鳴ってはいますが、全体としてはひとつの音楽を奏でているように聞こえています。そのうちの1台にiPadをかざすと、その音を表す3DアニメーションがARで表示され、音色やリズムが視覚化されるわけです。1台ごとに音のアニメーションを見ることもできますし、iPadのカメラで全体を引いて捉えれば、8つの音すべてのアニメーションを表示することもできます。ですから鑑賞者は、全体の音と個別の音を行き来しながら音を“見る・聞く”という体験ができるのです。
  音を視覚化する試みはこれまでも取り組んできたことで、今回も音の質感を動きと形に置き換えることをしました。私が作品で音をつくるときは、基本的に“触覚的な音”を大事にしています。音の質感、触り加減みたいなものです。例えば、ボヨンとしている(柔らかい)とか、カタカタしている(硬い)とか、質感に違いのある音が色々なバリエーションで揃うようにしました。また、音楽的にメロディのようなところと、リズムのようなところの担当を分けています。そういうさまざまな表現の音を、形や速さに置き換えて3Dアニメーションで表現しています。
  今回、それをARで表示したという点は、新しい試みでした。その分、難しかったこともあって、例えばARで認識できるフィールドの制約だったり、iPadをかざして台に近づいていくうちに認識の位置がずれて、本来、表示させるべき位置から少しずれて表示されたりということがありました。そういう課題は解消できなかったので、次回に向けて改良したいところです。

Forest and Trees AR

Forest and Trees AR


  他には、2018年に21_21 DESIGN SIGHTで開催された「AUDIO ARCHITECTURE:音のアーキテクチャ展」に出展した『Cocktail Party in the Audio Architecture』という映像作品があります。これは、ミュージシャンの小山田圭吾さん(Cornelius)がこの展覧会のために作った楽曲「Audio Architecture」に対して、7人の映像作家がそれぞれ映像をつくるという企画でした。私の作品のつくり方は、音ひとつひとつを視覚化して意識させるというものですが、この展覧会のテーマが音のアーキテクチャ、つまり音が建築的につくられているという「音楽のデザイン性」を表すものだったこともあり、Corneliusの楽曲はそれが非常にやりやすい、構造的なつくりになっていました。ベースとバスドラムが同時に鳴らないようにできていたり、リズムをうまくずらして個別に聞こえるようにデザインされていたりと、色々な音が重ならないようにできていたのです。全部の音が聞き分けやすく、私の作風にすごく合っていたと思います。また、それぞれの音を映像化することで、Corneliusの持っている音の要素を認識しやすくできたと思います。
  この作品で苦労したところは、映像を流す画面が20メートル超と非常に大きかったので、見る人の体感レベルで考えないといけないという点です。これまではモニターで見せる前提でつくったものばかりだったので、人が大きな画面を前に映像を見たとき、どう感じるのか想定しながらつくることは初めてでした。例えば、ゆっくり横に物体が移動するシーンでは、見ている人も自分が移動しているような気になるとか、平衡感覚がずれるような感じが出せないかとか、自分が画面の中に入ったみたいに感じられないかといったことをイメージしながらつくっていきました。
  また、この展覧会では、他のアーティストが私とは全く違うアプローチで作品をつくっていた点も刺激になりましたね。人それぞれの音楽観がわかるというか、音楽への意識の持ち方が映像によって変わってくるという点で面白い経験ができたと思います。

『Cocktail Party in the Audio Architecture』のYouTube動画
https://www.youtube.com/watch?v=RvNpY-gF_LE

  音楽の構造を表す映像作品としては、NHK「名曲アルバム+(プラス)」という番組用に制作した「パッヘルベルのカノン」の映像もあります。これは依頼の時点で、楽曲の構造がわかるようなものをということだったので、まずは楽曲分析をし、バイオリンの音に合わせて、赤、緑、青の3つの立方体が動くことで、「パッヘルベルのカノン」の旋律をたどるビジュアルになっています。楽曲を10種類のステージにわけて、そこを3つの立方体が動いていきます。あるステージでは、階段状のブロックを音階に合わせて登ったり下りたりしますし、最も有名なフレーズで、最も音の動きが多いところは、3つの立方体が線を辿りながら飛び跳ねるビジュアルにしています。
  実は、カノンとは同じメロディが少しずつ、ずれて重なる輪唱のような構造の楽曲様式のことだそうで、「パッヘルベルのカノン」もそういう構造になっていることを私自身、今回の制作を通じて初めて知りました。多くの人がよく知っている曲でも、そういう特徴的な構造があることはあまり知られていないと思うので、それが目で見てわかるようなものにできたという点は良かったと思っています。

パッヘルベルのカノン

パッヘルベルのカノン

■今後の展望をお聞かせください。

  ARを使ったインスタレーションは、まだ課題があるので、研究を続けていきたいですね。また、今回はARで作品を完成させましたが、当初はMicrosoftの「HoloLens2(ホロレンズ2)」というMR(複合現実)デバイスを装着する形で企画を考えていました。それが日本ではまだ入手できなかったのでARにしましたが、今後はHoloLens2を使って作品化することも考えにあります。また、こうした研究で得たものを教育に応用できないかと考えているところです。
  音楽の構造をビジュアル化するシリーズでは、現代音楽や古典音楽の中に、まだまだ構造的なものがあるだろうと思っています。そういうものが見つかれば、埋もれているけど、実は面白い構造の楽曲をビジュアライズすることができるかもしれません。それによって音楽への理解を深め、ビジュアルの面白さも追究できればと考えています。

■本学では、新型コロナウイルス感染症の影響で、この春からオンライン授業が行われていますが、授業を進めるうえで何か工夫していることはありますか?

  オンライン授業では、ZoomやGoogle Classroomをよく使っていますが、それにプラスして「mmhmm」というアプリも併用しています。英語で相槌を打つときの音で、「ンーフー」と読みます。例えば、Zoomで授業をしていて、資料を画面共有すると、画面には資料だけが映され、話していた教員の映像は映らなくなります。ですが「mmhmm」を使うと、話している人(教員)の姿がポインターのようになって、説明したい箇所を指し示すことができたり、小さくあるいは大きく画面上に表示したり、薄く表示したりできます。どうしても単調になりがちなオンライン授業の、ちょっとした遊びの要素として使っていますが、学生からも「わかりやすい」「面白い」と好評です。

「mmhmm」を使用したオンライン授業中の画像

「mmhmm」を使用したオンライン授業中の様子

  また1年生の「色彩概論」という講義は、約230人と多人数の学生がオンラインで受講しています。その多人数の利点とオンラインの利点を活かした課題も色々と考えています。例えば、この講義では通常、濃淡や明度の異なるさまざまな種類の色が収録された、色彩の知識を学ぶために使う配色カードを用いています。今年度は、各学生宅にこれを郵送しました。従来であれば、これを紙に貼り付けたりして学んでいくのですが、せっかくのオンライン環境を活かして、今年はこの配色カードの色をすべてデータに置き換えることを学生に分担して取り組んでもらいました。Adobeのイラストレーターを使って、配色カードの色をCMYKという印刷の色に置き換えてもらい、でき上がったデータを集めて、データとして配色カードをみんなで共有できるようにしたのです。
  それから、これまでは学生に好きな色に関するレポートを提出してもらっていましたが、今年は違う形にしました。例えば「実家の庭の木に光が当たっていた緑色」という好きな色に関する言葉のレポートに加えて、自分でその色をパソコンで色指定して再現し、Zoomのアイコンにすることを課題にしたのです。1670万色の中から色を指定し、顔の代わりに色で自己表出したかたちでZoomに集合するという、デジタル・オンラインならではの体験をしてもらっています。

学生の顔代わりに色で自己表出したZoomのアイコン

学生の顔代わりに色で自己表出したZoomのアイコン

   視覚デザイン専攻の3年生の専門演習でも、これまで後期は基本的に個人課題に取り組んでもらっていましたが、今年はあえてグループ課題に変えました。具体的には、近所の色々な自然物、人工物や人の振る舞いを観察し、そこでの発見をベースに学びのツールをつくるという課題に取り組んでもらっています。例えば、他の動物の視点を学ぶというテーマで、犬の目線、蜂の目線になるとどうなるかということを映像で制作しているグループもあれば、看板のデザインを収集、共有するアプリを考案し、そのプレゼンテーション用ムービーをつくるグループもあります。今は遠くまで出かけて取材することができないので、学生の身近なところでテーマを見つけてもらい、Zoomとオンラインホワイトボード「miro」を使ってクラスメイトと話し合う機会を十分に持てるようにし、孤立を防ぐ形を採っています。このようにオンラインの利点を活かしたり、弱点をカバーしたりする課題を出すようにしています。

「miro」を使用したオンライン授業中の画像

「miro」を使用したオンライン授業中の様子

■最後に受験生・高校生へのメッセージをお願いします。

  デザインは、新しい工夫を考える学問領域です。今回のコロナ禍のように、今までと違う状況になったなら、それに沿って必要なものが考え出されてくると思います。本学のデザイン学部を、そういうことが考えられる場所にしたいと思っていますし、それに共感が持てる人に、ぜひ来てもらいたいですね。
  変化した時代は元には戻りませんが、その中から良いことを見つけていきたいですし、楽しいアイデアを生み出すことはできるはずです。