手書きと音声入力について - 未来世紀アラカワ

今日、iPad Proを買って二日目の人とインターフェースについて話した。iPad Proっていつごろ出たんだっけ。例のごとく旬は外している。その人はiPad Proを買ってみて手書きインターフェースにいたく感動していたが、自分は今の手書きインターフェイスは数日間楽しめるだけであまり使えるものではないと思う。

ちなみに、ここでいう「手書き」は手書き文字認識のことではなく、書いたものがそのまま線になって表現されるやつのことを指します。

個人的な経験談

手書きの体験

しばらく前の話だが、サムスンのGalaxyNote3というスマホを使っていた。御存知の通りワコム製スタイラス搭載を搭載した5.7インチスマホである(初代Galaxy Noteは「ファブレット」って言葉を一時期はやらせましたね)

まぁもちろん絵だけのメモには使える。そして描いた絵を挿絵的にテキストのメモに貼り付けるのもギリできる。とはいえ、Evernoteでテキストのメモを書いている間にお絵かきアプリを起動してお絵描きしてEvernoteにインテントで送って…とかなり面倒。手書きと手書き以外のデータがシームレスに連携とは程遠い。あ、もちろんお絵かきといってもグラフを書いたりとかそういうやつです。

Galaxy Note以外にも手書き対応タブレットはちょくちょく出ているが、いまいちはやっているようには見えない。「絵」を書くという用途ならいいのかもしれないけど、グラフィックを含んで知的生産作業を行うようなのはあれじゃ無理である。

音声入力の体験

最近Google日本語入力(Android)を試してみたら、想像の三倍くらい高精度だった。音とひらがなレベルのマッピングが完璧なのはもちろん、変換も驚くほど意図をくんでくれる。LINEのメッセージを書く程度であるが、たまに使いはじめている。

ただ、日本語入力では改行や句読点に対応していないので、それ以上は工夫が必要になる。英語版では句読点対応も実現されているので、いずれ日本語でもくるのではと期待している。でも「かいぎょう」というと改行されるっていうのはあまりスマートじゃないと思う。願わくば、声じゃない音(舌打ちとか)で改行やバックスペースといった制御文字を入力できるようにならないだろうか？

世の中には、音声入力を使って本の執筆まで始めている人もいるらしい。

president.jp

コンピュータの文書構造

コンピュータで取り扱う文書は意味内容と見た目が分離している。その代表例がHTML/CSSの分離だ。これは物理的な実体を伴う文書には不可能なことである。手書きの文書を0から書き直すこと無く「もうちょっと行間広げようか」なんてできない。Wordだったら簡単なのに。

これはHTML/CSSのような大仰なレベルに限らない。ブラウザの文字サイズを変えると折り返し位置が変わり位置画面に収まったまま文字が大きくなってくれる、なんていうのもそうだ。

手書き

手書きされたものは、構造化されたドキュメントにオーバーレイする形でしか存在できない。なぜなら、手書きは意味内容と見た目が不可分であり、本質的にコンピュータ用の文書と相容れないからだ。それをコンピュータ文書の「表示」の上に手書きを追加すると、もとの文書のエラスティックさも失われてしまう。

たとえば、Wordの文書に手書きで書き込んだら、もとのドキュメントを動かせなくなってしまう。文字や行が追加削除されたり、文書の余白や行高さが変わっても手書きで描いたオブジェクトは同じ場所に残り続ける。線をひいたり矢印を描いたりしていたら、まったく見当ハズレの箇所を指し示すようになってしまう。

印刷したものに書き込むのは違和感がないように感じるのは、印刷した文書は手書きと同じくエラスティックさを失っているからだと思う。

音声入力

音声入力はテキストデータを生成するので、構造化ドキュメント本体を操作することができる。なので、キーボードによる文字入力に代表される「コンピュータらしい」操作とシームレスに連携できる。文字を入力するのに音声入力を使いつつ、誤変換箇所はキーボードによる入力で修正し、マウスで文書を整形する。そういったことが可能になっている。