メディア学部　メディア技術コース　榎本美香　准教授

もともとは教育心理学や認知心理学を学んでいたという榎本先生。『心理言語学　―心とことばの研究』（Herbert H. Clark）という本と出合い、人間の認知やコミュニケーションに興味を持ったことから、その分野を研究するようになったそうです。今回は先生のご研究の一部を取り上げて、お話しいただきました。

■先生が取り組んでいるご研究についてお聞かせください。

　私の研究室「コミュニケーション・アナリシス・プロジェクト」では、主に言語コミュニケーションの分析、マルチモーダルインタラクションの分析、エンターテインメントコミュニケーション技術の分析という3本柱で研究しています。人間はコミュニケーションを取るとき、どのように情報をやり取りしているのかということに注目し、言葉はもちろん身振り手振りなども含め、色々なコミュニケーションにまつわる情報を対象に研究しています。
　その中でも今回は、マルチモーダルインタラクションの分析についてお話ししましょう。これは、3人以上の人が集まって話をするとき、どのように話し相手が選ばれるのか、どういうところで話者が交替するのか、それはどういうふうに決まるのかということを分析する研究になります。私たち人間は、そういうことを何気なくしていますが、それがどのように決まるのかを明らかにしようという取り組みです。

　元来、対話分析や談話分析という言語学の流れをくむ研究分野があって、書き言葉を書き起こしたテキストデータを対象に分析がなされていました。それが2000年に入った頃から、人は視線やジェスチャー、言語など複数の表現媒体（モダリティ）を使って複合的にコミュニケーションをしているということで視線やジェスチャーが注目されるようになり、ただの言語情報だけでなく複数のモダリティを含む複数人（マルチパーティー）の談話分析へと方向が広がっていったのです。ちょうど私たちもその頃に、コミュニケーションの分析研究で、視線やジェスチャーの分析ができるように映像付きのコーパスをつくるなど、当時としては割と斬新な研究に取り組んでいました。
　ただ、その研究で設定していた環境は、あらかじめ用意された席に人が向かい合って座るなど、動ける範囲が固定されたものでした。そうすると視線やジェスチャーは分析できますが、それ以外の色々な情報が捉えられないということで、屋外の、立つ位置などが決まっていない場所でのコミュニケーション時に、人の立ち位置や相手との距離、あるいは使用する道具との関係で、体の位置や視線の向きなどがどう変わるのかといったことを研究するようになりました。
　その中でも特に私は、人がどのように自分の参加する場所を見つけるのかということに注目して研究しています。例えば、長野県の野沢温泉に「道祖神祭り」という国の重要無形民俗文化財に指定されている、古くから続く大きなお祭りがあります。その祭りの準備作業として、30人ほどの村人が集まり、作業しているところを撮影しました。それぞれの役割は決まっていますが、作業途中、誰が何をしてもよい瞬間も多々あって、そのときにいち早く自分はどこの場所に行って何をすべきかを自己判断して動ける人と、立ち尽くして特に何もしていない人がいました。そんな中で私自身も撮影者として、いち早く自分の立ち位置を見つけて行動するにはその場での経験が必要だと気づき、祭りの準備に何年も関わるうちにようやく自分の仕事や立ち位置を見つけることができるということが見えてきました。
　このように単に話すということだけでなく、誰かに指示されてはいないけれど、その場で何が必要なのかを判断して、自分はどういう形で参加できるのかを、自分の意思で見つけることもコミュニケーションと捉えられます。そういうことに注目して、2012年から毎年、このお祭りをつくっている現場へ行き、研究のための撮影を重ねてきました。この研究は現在、当初のテーマからさらに発展してきています。

■具体的には、どのように研究が発展してきているのですか？

　最初は、マルチモーダルインタラクションの分析として井戸端会議の収録を目的としていました。その当時は会話を研究の中心に据えていたので、実験としての模擬的な会話ではなく、自然なコミュニケーションを撮影したかったのです。そこから10年ほど経った今は、当初に注目していた人と人とのコミュニケーションの延長線上ではありますが、そのコミュニケーションの中で受け継がれていくもの、言葉で教えられない認知能力は、どう受け継がれているのかといったテーマへと研究がシフトしてきています。
　もともと撮影先に野沢温泉を選んだのは偶然でした。温泉が湧いている野菜の洗い場のようなところがあり、そこに人々が集まって何かしらおしゃべりしながら野菜を茹でたり洗ったりしているということを知って、分析するための映像を撮影させてもらいたいとお願いしたのです。ただ、実際に行ってみると、昔はそういう形で井戸端会議がなされていたものの、今は人が集まることはほぼなく、その場でのコミュニケーションはなされていませんでした。そこで村の方に相談したところ、村が誇るお祭り「道祖神祭り」の1年がかりで行われる準備の様子を撮影させてもらえることになったのです。

　このお祭りは、“三夜講”と呼ばれる厄年の男性たちが中心になって行うことになっています。実際は39歳から祭りに関わるようになり、40歳、41歳、42歳の3つの年代で“三夜講”を組織し、3年間、行事を行います。39歳から始め、厄年の42歳になるまで経験を積み、42歳を過ぎたら卒業していきます。このように入れ替え式でメンバーが変わっていくのですが、縄結びなど前年と同じように完璧にできないと、卒業した先輩たちから叱られるといった厳しさがあります。また、卒業生の中でもリーダーだった人たちが保存会という形で関わり、“三夜講”のメンバーに指導してくれるようにもなっています。杭がきちんと打てているか、紐の結び方が合っているかなど、細々と教えることで受け継いでいくので、コミュニケーションの機会は非常にたくさんあります。そこで当初は、どのようにコミュニケーションをしているのかということを研究していたのですが、定期的に現地へ足を運んでいるうちに、それだけではもったいないと思える視点が色々と出てきました。この地域の特性として、祭りやしきたりを受け継いでいくときに、それ以外のさまざまなものも受け渡しているからです。それを私たちは「共同体〈心体知〉」と名付けました。
　「共同体〈心体知〉」で1番分かりやすいものは“知”（知識）です。飾り物のつくり方やどこへ挨拶に行かないといけないかといった、言葉で教えられるしきたりのことです。〈心体知〉の“体”は、身体技法のことです。祭りで使用する伐採した大木を操作するときは、100人ほどの人が力を合わせて、横倒しになっている木を垂直に立て、雪の中に埋めます。そのとき、どのように100人で力を合わせるのか。みんなで一斉に同じ作業をする場合、どこに手を加えれば助けられるのかといったことを、経年とともに学習していくわけです。それを身体的な技法で“体”と表現しています。
　“心”とは、礼儀や心構えのことです。どんな小さな作業でも手を抜かずにする、可能な限り綺麗に仕上げるといった心遣いや、先輩に対する挨拶や尊敬の念といった基本的なことです。あるいは、自身の周りの世界に広くアンテナを張り巡らし、人が何を求めているのか、今、自分がどう動けばよいのかといったことに注意を払える認知能力も“心”だと言えます。そういう認知の発達も、お祭りの準備のなかで教えられ、学ばれていっています。というのもこのお祭りの準備では、社殿をつくるための木を森の中へ伐採しに行くなど、とても危険な現場もあるため、周囲に気を配れなければ危ないのです。特に自分の目の届かない背後にも注意を払い、今、自分はここに立っていてよいのか、安全かといったことも学習されていくことがわかりました。現在、それを教える人はどう教えているのか、学んでいる人はどのように学んでいるかといったことの調査研究に取り組んでいます。

■撮影したデータはどのように分析するのですか？　また「共同体〈心体知〉」の継承についてわかったこととは？

　お祭りの準備作業は1年がかりで、作業が実施される日は1日かけて行われています。その様子を約7人で撮影しているため、データ量は膨大です。ですから重要な作業、分析したい作業のところだけを外注業者に依頼して画面合成してもらい、7人で撮影した7台のカメラの映像を1枚の画面、1つのファイルにしてもらっています。音声トラックもそれぞれの映像ごとに分けてもらうので、音声チャンネルを選ぶと、例えばカメラＡの音声だけを聞くとかカメラＢの音声だけを聞くということができます。お祭りの準備は、山の上や村の広場など、村のさまざまな場所で行われますが、この画面合成により全体で何をしていたのかを見渡せるようになっています。そこから認知に関するさまざまな分析をしています。
　また、会話の中に出てくる「これ」と「それ」をどう使い分けているかを調べることもあります。「これ」や「それ」が出てきたらチェックして記録していきます。今までの言語学では、「これ」と「それ」の使い分けは、小説や新聞などの書き物の中に出てきた書き言葉を対象に分析されてきました。しかし実際の現場では、そのモノとの距離や相手との身体の向き、相手と話者の役割の違いなどがあり、自分がそれにどう向き合っているかも関わってきます。教壇に立つ先生と学生のように学習者がたくさんいて、その内の一人として向き合っているのか、1対1で教えられているのかなど、シチュエーションごとの使い分けもあります。これまでの言語学では、心理的に自分に近いと「これ」、相手側に近いと「それ」を使うとされていましたが、実際のところそれがどう変わるのかということについて分析しているのです。

　「共同体〈心体知〉」に関しては知識を受け渡す中で、心得なども一緒にパッケージされている部分があるとわかってきました。こうした祭りの継承には、教科書があるわけではないので、基本的には口頭でどこに何を置いて、どういう飾りつけをするという知識レベルのことを伝えていきます。ですから、この祭りに関わっている人たち自身は、心得や姿勢みたいなものを伝えようと思っているわけではないのです。ですが、飾りつけひとつにしても先輩がとても慎重に正確に置いている様子を見ると、自身も見習うようになります。あるいは同級生同士でミーティングをして、誰が何をするべきかを話し合って取り決めたりもしています。そのなかで各自がどこまで任せられた作業を突き詰めていくのか。もしそこで手を抜くようなことがあれば、同級生から叱られることもあります。そういう形で知識に内包された“心”も伝えられているようです。
　ちなみに、野沢温泉でのこれまでの調査研究のまとめとして、本研究プロジェクトに関わっている他大学の研究者たちと一緒に書いた書籍が出ます。『シリーズ フィールドインタラクション分析』（ひつじ書房）というシリーズで、私は“「三夜講」で火祭りを準備する”という巻を担当しています。

■今後の展望をお聞かせください。

　人間の認知の仕組みに興味があるので、今後も認知のあり方を明らかにしたいと思っています。普段、私たちが何気なくしていることに対して、どうしてそれができたのかと問われたら、全く答えられないことがたくさんあります。例えば、会話において、なぜこんなに絶妙なタイミングで次の人がしゃべり出せるのかといったことは、研究しなければわからないことです。そういうものをどんどん解明していくことがこの研究の面白さだと思っています。
　また、研究で得た成果は、実環境で動けるAI（人工知能）の開発に役立てられればと考えています。私自身がAIやAIロボットをつくることはありませんが、そういうAIの開発を目指しているところと共同研究していきたいですね。というのも今、AIをどのように人間社会に参加させるかという部分には課題があります。AIの対話型ロボットはありますが、まだまだ日常生活の中で人間の会話に参加するということは難しいのです。スクリプトで、こう言われたらこう返すということはできますが、状況に合わせて何をすればよいかとか、どこに立っていればよいかということは全く判断できません。Apple社のSiriなどのAIアシスタントも、情報を聞かれることに対して答えるのは得意です。明日の天気や清水寺の高さなど、答えがはっきりしていることやネット検索すれば答えがすぐわかるものは答えられます。ですが人が「ああ、疲れた」と言ったら、それに対してどう返したらよいかはまったくわからないそうです。ですから今のシステムでは、Twitterなどのデータを取得して、「疲れた」というツイートの返答として一番多く書かれているセリフを返すということになっているようです。それだけ対話システムは、まだ発展途上なのです。
　ですからAIやAIロボットが人間のように判断できるようにすることを目指すならば、やはり人間が本当にしていること、話していることをデータで分析していく必要があります。つまり実験室の中ではできないのです。そういう点で、私自身も実環境でデータを取り、分析することを続けています。

■最後に受験生・高校生へのメッセージをお願いします。

　メディア学部を志望する学生には、ゲームや映像、音楽を研究したいという人が多いです。ただ、本学部は、単にゲームならゲームをプログラムでどうつくるかということを教えるわけではありません。例えば、ゲームの中にも、プレイヤーとプログラマーがコミュニケーションする仕掛けが多々あります。ここでレベルを上げられるようにしようというように、ゲーム中につくり手とユーザーとのやりとりが発生しているわけです。また、ゲームに複数のユーザーが参加するときは、どうコミュニケーションをしているかなど、ゲームひとつ取ってもコミュニケーションの要素がたくさん含まれています。それは映像や映画、ＣＭにも言えることです。登場人物たちをどう話させるか、どういう立ち位置にするかなど、必ずコミュニケーションの要素が入っています。
　このように本学部では、単にプログラミングや技術だけでなく、根本的なコミュニケーションの成り立ちやルールといったことも踏まえたうえでゲームをつくることを学べます。そういうものを理解していると、つくるゲームの深みが全然違ってくるだろうと思います。
　もちろんコミュニケーションだけでなく、何に配慮するべきかという社会的な側面やプレイヤーを遊ばせる要素としての仕組みを応用するゲーミフィケーションなど、根本的な原理から身に付けることができます。つまり、その分野を根源的に支えている要素がたくさんあって、それらを幅広く学べるのが本学部の魅力なのです。技術的なことに加えて、そういうことも含めて学びたいという方には、ぜひ、メディア学部を選んでもらいたいですね。

■メディア学部 メディア技術コース：
https://www.teu.ac.jp/gakubu/media/006258.html