センサーがギターの先生！？人の動きを捉えて応用する、未開拓分野の研究に挑戦中！

コンピュータサイエンス学部　松下 宗一郎　教授

身体に装着できる“ウェアラブルコンピュータ”を専門とし、センサーを利用したユニークな研究を続けている松下先生。身体の揺れ具合を測定する「Eモーションセンサー」の開発など、遊びから医療まで幅広く応用できる研究に取り組んでいます。今回は、そんな研究室で新たに始まった研究を中心に、お話を伺いました。

過去の掲載はこちらから→
第1回　https://www.teu.ac.jp/interesting/013495.html
第2回　https://www.teu.ac.jp/interesting/018329.html
第3回　https://www.teu.ac.jp/interesting/021017.html

■今、先生の研究室では、どのような研究に取り組んでいるのですか？

　これまでの研究と同様、センサーを使うことには変わりないのですが、ちょっと流れの違う、新たな取り組みが2つあるので、それらをご紹介しようと思います。まず、両方の取り組みに通じるテーマがあります。「人は動きで世界とつながっている」です。人は何かを動かさない限り、世界に干渉できません。ボタンを押す、キーボードを叩く、地面を蹴って走る、これらはすべて外界に対する動きとしての働きかけです。逆に考えれば、動かないと世界に関われない以上、世界に関わると必ず動いた証拠を残すとも言えます。そしてそれは、運動センサーでとらえることができる。格好良く言えば、「我々はその“動いた証拠”を探し出す研究に取り組んでいる」というわけです。
　具体的な話をしましょう。ご紹介したい研究のひとつは、モーションセンサーをギターの先生にしようという試みです。エレキギターが弾ける人、あるいは弾こうと試みた人は、ご存知かもしれませんが、世界的なギタリストはもとより、エレキギターを弾く人のほとんどは独学でギターを弾き始めます。見よう見まねです。そして独学の場合、たいてい壁にぶち当たります。教えてくれる“先生”がいないので、良いも悪いも誰も言ってくれないからです。また、音楽教室に通ったとしても、先生が多数の生徒に対して、一人ひとり、正しいフォームで弾けているかを見ることは難しいです。そこでギターの独学や復習の際に、正しいフォームで弾けているか、正しい音が出ているかを教えてくれる、センサーを使った面倒見のよいコンピュータがつくれないかと思ったわけです。

　まず、ギターを弾くという動きをとらえるため、右手の腕時計位置に小型センサーを装着して、ギターを弾いてもらい、その動きを測定しました。なぜ右手かというと右利き奏者の場合、ギターのサウンドは、弦を押さえる左手ではなく、ストロークする、つまり腕をふる右手でほとんど決まってしまうからです。また、腕時計位置というのにも意味があります。これは後で紹介する研究にも関係しているのですが、本来、ギターの弦をはじく右手指の動きをとらえようと思うと、指先に直接センサーをつけたくなりますよね。しかし、こうした動きの測定の場合、身体に不自然なものをつけると意識してしまうため、ギターを弾く人にとって最適な条件とは言えないのです。しかし左手に腕時計をする人は多いので、右手の指先や肘など不自然な位置にセンサーをつけるよりは、腕時計位置の方が違和感は少ない、もしくは慣れやすいかと思い、右手首につけることにしました。それで、ギターに興味のある初心者と全く興味のない初心者とにお願いして、半年ほど間隔をあけて測定し、比較する研究を行ったんです。その結果、いくつか初心者の弾き方の傾向が分かりました。ひとつは、初心者は右手の上方向の動き、つまり右手を上から下に下ろして、今度は、下から上へ戻ってくるときのアップストロークが分かっていないと判明しました。これに関しては、ギターに興味のある初心者の方は、半年も経てば改善されていました。興味があるので、練習したのだと思います。次に分かったのは、初心者が一番恐れているのが、空振りと弦にピックが深く突き刺さることだと分かりました。センサーでは、ピックが弦に当たる寸前に、ためらった気配のある波形が出ていたのです。また、ギターが上手な人たちにもセンサーをつけて測ってみましたが、動きはそれぞれで違いました。その人の持つ音楽のバックグラウンドや好きな曲、好きな奏法やサウンドによって動きが違うので、一概にある特定の動きが上手なお手本とは言い切れないのです。こんなふうに調べれば調べるほど、謎は深まっています（笑）。ただ、このセンサーは非常に高性能で安価ですから、注目されれば、たくさんの人のデータを集めることは可能だと思います。多くのデータを集め、研究を進めることで、何か新しいことが見つかるかもしれません。

■では、もうひとつの研究とは、どういうものなのでしょうか？

　「プロジェクト実習」というコンピュータサイエンス学部3年生対象の授業で取り組んだもので、この3月に学会発表することが決まった研究です。2つあるのですが、ひとつは「E-motional Touch：手触り感を入力するインターフェース」という研究です。まず、この研究の素晴らしいところは、学生の発想が発端になっているという点になります。授業の中で「センサーを使って、できるいたずらや新しい使い道を可能な限り考えなさい」という課題を出したとき、ある学生がとんでもないことを言い出しました。「パントマイムでよくやる壁の技をモーションセンサーで採点したい」と。実験方法は簡単で、パントマイムで空気を撫でているときと、実際の壁を撫でているときの波形が近ければ近いほど、高得点です（笑）。そして、様々なアイディアを結集して形になったのが、「E-motional Touch」です。「E-motional Touch」は、ユーザーがどのように対象物を触ったかが分かるというもので、撫でる、軽く叩くなどの触り方を識別して猫の鳴き声など音声で反応するようにした、腕時計位置に取り付けるデバイスです。当初、学生たちは“手触り”をターゲットにするのだからと、指先にセンサーをつけたがりました。でも、指先につけると邪魔ですし、同時に自分の指の感覚が失われたことにもなります。ここで、先ほど話したエレキギターのセンサーの研究とリンクします。腕時計位置にセンサーを取り付けたとしても、指で何かを撫でたときと同じ感覚を共有できるのか？　つまり指は普通に物に触れていて、センサーは手首の腕時計位置にあっても、センサーは指先と同じ感覚をとらえられるか？　それを確かめる研究をしたのです。「E-motional Touch」を装着して、空気・硬いもの（机の上）・柔らかいもの（抱き枕とか！）の3種類を同じように撫でて検証を行いました。結果は「とらえることができる」でした。つまり指の感覚は、手首で測れるということです。それは同時に、ギターのような高度なニュアンスを要する楽器においても、手首での観測が有用であることを示しています。また、この研究では教育としての成果も得られました。学生たちが研究途中で、「ところで撫で方って、どうやってコンピュータに理解させるの？」と気づいた点です。これには物理と数学が必要だということで、みんな、かなり勉強しました。必要な知識を自ら学んでいくという形は、この授業での私の狙いのひとつです。
　もうひとつの学生らによる研究は、「スモールアクションコントローラ」というものです。この研究の中心となっている学生の一人は手を大きく移動させることが難しく、キーボードの外にマウスがあることに困っていました。つまり、手をキーボードからマウスまで移動させることが、彼にとっては大変なのです。そこでキーボード上に手を置いたまま使えるマウスをつくってみようと研究が始まりました。もちろん市販品でキーボード中央に配置されたポインティング・スティックや、人差し指につけて使うリングマウスなどもありますが、実際にその学生に使ってもらったところ、使いにくかったそうです。そこで試行錯誤した結果、「人がキーボードとマウスのどちらを操作したいと思っているかがモーションセンサーでわかれば、直感的に操作できるマウスをつくれるのでは？」という考えに行き着きました。その発想で、モーションセンサーで手の回転や傾きなど、小さな動きを感知してポインターを動かす「スモールアクションコントローラ」を開発したんです。これを右手甲部分に装着して、キーボードを打っているのかマウスを動かしているのか判別できるかどうかを実験してみると、ちゃんと見分けがつきました。次に右手首に腕時計のように装着して計測してみると、同様に区別できました。ただ手首に装着した場合には問題があります。人はキーボード入力に疲れると、手のひらの下の部分を机やキーボード上に置きながら打つようになるので、手首が固定されてしまうんです。手首が固定された状態で、手首を動かして前方向へポインターを移動させるには、必ず一旦手を浮かせなければなりません。今、その部分の改良に取り組んでいます。また、クリックやドラッグをどうするのかということも、色々な方法にトライして、検討しているところです。

■最後に今後の展望をお聞かせください。

　誰もが振り返ってしまうような面白いものをつくりたいということは、変わりません。ただ今後は、誰も研究していない、もしくは研究する人が少ない未開拓分野で、いつかわっと注目を集めそうな部分を狙った研究をしていこうと思っています。これをビジネス用語で「ブルーオーシャン戦略」と呼ぶそうですが、我々もそれで行こうというわけです。研究室では、これまで医療やゲームといった誰もがお世話になりそうなものをテーマにしてきました。けれど、まだ研究されていない部分には、すごいお宝が眠っている可能性があります。今日ご紹介した「ギターを教えるセンサー先生」の研究も、まさにそうです。
　また今後は、“常時使える”という方向に舵を切っていきたいと考えています。というのも、これまでに研究開発してきたヘッドフォン型センサーや今回紹介した腕時計型のセンサーもそうかもしれませんが、常時、身につけておくには不向きです。「常時つける」ことの意味を考えると、単に小型化するという技術面だけでなく、「なぜ、身につけていなければいけないのか」というところが大事になってきます。今、人々はスマートフォンをいつも持ち歩いていますが、その理由はきっと何か重要な用事があるからでしょう。そんなふうにセンサーやコンピュータが常時、人のそばにいるとき、何ができるのかを考えていきたいと思っています。私の研究は、ウェアラブルコンピュータ、身につけられるコンピュータの分野です。そのウェアラブルコンピュータが、常に人のそばにいる“相棒”となるには、人ができることを代わりに全てするのではなく、人にはできないことができ、感じられないものを感じられるコンピュータとなるべきだと考えています。そこにもう一度立ち帰って、研究したいと思っています。 その流れにあるのが、過去の取材でも紹介してきた「Eモーションセンサー」の最新機種X-16です。X-16は、眼鏡のつる（テンプル）に装着するだけで、身体の揺れを測定し続けることができる装置です。これなら常時、身につけておくことができますし、その存在を感じにくいので、非常に自然な状態で身体の揺れを測定できます。今、これで「1日の内、どのくらい、ぼぉっとしているか」を測定しようと取り組んでいます。ぼぉっとしているというのは、自然体でいるときです。そのときの身体の揺れに、何か体調の変化などが現れるのではないかと思って測定しています。こんな研究は、世界的にみても恐らく他にない、ブルーオーシャンな研究だと自負しています！

■CSエンターテイメント研究室（松下研究室）
https://www.teu.ac.jp/info/lab/project/com/dep.html?id=147

■コンピュータサイエンス学部WEB
https://www.teu.ac.jp/gakubu/cs/index.html