Boundary Touch：手ざわりを合成する触覚デバイス
画面の中のものに手を伸ばしても、手には何も返ってきません。Boundary Touch は、その返ってこなかったぶんを作る手のひらサイズの装置です。ごつごつ、ツルツル、毛並み ── 素材ごとの手ざわりを、その場で波形から作り出します。
The article body is in Japanese only. See the header above for the English summary, or switch to for the full text.
1. はじめに
Boundary Touch は、画面の中で起きたことを手ざわりとして返す、手のひらサイズの触覚デバイスです。名前は、現実と仮想の境界をぼやかす XR プロジェクト「Boundary Blur」から取っています。Boundary Blur が目で境界をぼやかすなら、こちらは手で同じことをします。
握っていると、ごつごつした岩、つるつるのガラス、金属、布、犬の毛 ── 素材ごとに違う手ざわりが返ってきます。揺れ方をその場で波形から作ることで、素材を作り分けています。
いまは Boundary Blur の画面とつながっていて、AR の中の犬に手を伸ばすと、その瞬間に手のひらへ毛並みが返ります。
2. 開発背景
Boundary Blur では、目だけが境界をまたいでいた
Boundary Blur は、現実の球体ロボットと画面の中の世界を双方向に結ぶシステムです。ただ、そこで境界をまたいでいたのは目だけでした。画面の中の犬に手を伸ばしても、手には何も起きません。見えているのに触れない、という状態が残ります。
手がかりは、両方から来たときにいちばん効く
目からの手がかりと、手からの手がかりを同時に与えると、片方だけのときより強く感じられることが知られています。画面が「柔らかそうに見える」だけでなく、同じ瞬間に手にも毛並みが返れば、そこに犬がいるという感覚は跳ね上がります。
Boundary Touch は、この手の側を担当します。目の側は Boundary Blur の画面がすでに担当しているので、こちらは物理的な触覚に徹します。
他の方式と、どこが違うか
触覚を伝える方式は数多くあります。震わせる、空気で膨らませて押す、締め付ける、指に力を返す、糸で引く、皮膚をずらす、指の滑りを変える、電気で刺激する、温める、空中から当てる。整理すると、どうやって伝えるかと、体のどこに接するかの 2 つで並べられます。
縦は伝え方、横は体のどこに接するか。太い枠が Boundary Touch。画面の見せ方だけで重さや凹凸を感じさせる方式は、装置で伝えないのでこの表には入れていない。
Boundary Touch は、手に持って、震わせて伝えるところにいます。同じ場所にある他の方式との違いは、震え方が決まっているか、その場で作るかです。
3. システム構成
3.1 装置の構成
振動子はボイスコイル型 ── スピーカーと同じ仕組み
磁石とコイルでできていて、送った電気の波形のとおりに中の重りが動きます。スピーカーが紙を震わせて空気を鳴らすのに対して、これは中の重りを震わせて手を鳴らします。
スマートフォンのバイブとの違いが、そのまま作れる手ざわりの幅になります。
この幅がそのまま、作れる手ざわりの幅になる。
カタログ上、この振動子がいちばん大きく動くのは 1 秒間に 65 回ほど揺らしたときです。ただ、この装置が使っているのはもっと細かい揺れで、犬の毛なら 1 秒間に 200 回ほど。手のひらが振動をいちばん敏感に感じ取るのが、その 200 回前後だからです。
揺れ方は「音のデータ」として作る
振動子がスピーカーとほぼ同じ作りなので、揺れ方の指示を、音のデータとまったく同じ形で渡せます。1 秒を 16,000 コマに分けた細かさで作り、送り続けています。家庭用ゲーム機のコントローラーが「雨粒が当たる感じ」を出しているのも、同じ考え方です。
3.2 手ざわりの作り方
録った音を鳴らすのではなく、その場で作る
触覚を作る方法には、実物を触った時の振動を録音しておいて再生するやり方があります。この装置では採っていません。録ったものしか出せないからです。画面の中で犬に触れるか岩を持ち上げるかは決まっておらず、全部を事前に録ることはできません。なで方を変えても手ざわりが変わりません。
そこで Boundary Touch は、その場で作る方式にしています。
素材の質感 ── 粒を撒く
粒の粗さ・撒く量・1粒の硬さ。素材ごとに動かすのは、この3つと揺れの高さ・強さ。
砂を手に撒くのに近い作り方です。素材ごとのデータを持たなくても、数字をいくつか動かせば新しい手ざわりが作れます。
引っ張られる感じ
重さや「持ち上げた」感じは、こう作ります。振動子はその場で往復しているだけですが、行きと帰りの速さが違うと、手は一方向に引かれているように錯覚します。
ひと触りの中身
触れっぱなしのブーッという振動ではなく、3 つを別のものとして作ります。実際のものに触れるとき、いちばん情報が多いのは触れた瞬間だからです。
3.3 Boundary Blur とのつなぎ方
AR の中に手を伸ばして犬に触れると、その瞬間に手のひらへ毛並みが返ります。岩なら、ごつごつが返ってきます。
画面から届くのは「言葉」だけ
画面側が送るのは、揺れ方そのものではなく、何が起きたかだけです。どの素材に、どう触れたか ── それだけを送り、手ざわりに変えるのは装置側の仕事です。
画面側は素材の名前を決めるだけ。手ざわりの作り込みは装置側で完結する。
| 画面の中で起きたこと | 手に返るもの |
|---|---|
| 触れ始めた | 素材ごとの、触れた瞬間の鋭い当たり |
| 掴んだ | 同じ素材の、もっと強い当たり |
| なでている | 手が動く速さに合わせて、粒の出方が変わる |
| 離した | すっと引いて、止まる |
役割分担は、MIDI の楽器編成そのまま
つないでいるのは BLE MIDI（無線で MIDI をやりとりする規格）です。2 台の役割は、MIDI の呼び方でそのまま説明できます。
| MIDI での役割 | やっていること | |
|---|---|---|
| Boundary Blur（iPad の画面） | MIDI コントローラー（弾く側） | 触れ始め・掴んだ・なでている・離した、を送る |
| Boundary Touch（手のひらの装置） | MIDI 音源（鳴らす側） | 受け取った指示から揺れ方を作って鳴らす |
音の代わりに手ざわりを鳴らすシンセサイザー、と考えるとそのままです。
いいのは、2 つを切り離しておけること
MIDI は、音そのものを送りません。「どの音を、どの強さで、いつ」だけを送り、音を作るのは音源の仕事です。この線の引き方が、この作品にそのまま合っています。
- 画面側は、手ざわりを知らなくていい。 送るのは出来事だけです。新しい素材を足すときも、画面側は名前を決めるだけで済みます。
- 装置側は、画面で何が起きているかを知らなくていい。 手ざわりを作り直したくなっても、画面側には手を入れません。
- 片方だけでも動く。 装置がつながっていなくても画面側はそのまま進み、装置は指示が来なければ黙っています。展示の準備で、2 つを別々に詰められます。
- 押している間だけ鳴る、という考え方が同じ。 鍵を押してから離すまで音が続くのは、手が触れてから離すまで手ざわりが続くのと同じ形です。つなぎが切れるときには「離した」を送るので、鳴りっぱなしになりません。
もう一つ、現場の事情があります。iPad は球体型ロボットの操作で、すでに Bluetooth を使っています。触覚デバイスをふつうの Bluetooth 機器として足すと、この接続と取り合いになります。楽器用の規格なら接続の面倒を iPad 側がみてくれるので、ロボットとの接続とぶつかりません。会場の Wi-Fi にも頼らずに済みます。
4. 将来への展望：見えているものに、触れられるように
4.1 手の動きに応じて変わる手ざわり
実際のものは、なで方を変えると手ざわりも変わります。速くなでれば粒は細かく速く当たり、ゆっくりなでれば一粒ずつ拾える。その場で作る方式なら、手の動きをそのまま手ざわりに反映できます。同じ素材が、なで方次第で違う顔を見せるようになります。
4.2 触れる場所と、動く方向
振動子を増やすと、手ざわりに位置が生まれます。左から右へ何かが走り抜ける、手のひらの中で回る ── 素材の違いに加えて、方向と場所が扱えるようになります。
4.3 境界を、手でぼやかす
Boundary Blur が現実と仮想の境界を目でぼやかし、Boundary Touch が同じ境界を手でぼやかす。ここに 4.1 の「なで方で変わる手ざわり」と 4.2 の「触れる場所」が加わると、画面の中のものは、見た目だけでなく手ざわりと位置を持つようになります。見えているものに触れられるという、ごく単純なことが、境界をいちばん強くぼやかすと考えています。
