3 月 24

ちょっと前に出たこの記事、ずっと気になってたんですが、つい最近元ネタと思われる論文を手に入れたので読んでみました。

=======================================

まるでSF 録画・検索できるゴーグル開発 東大講師ら

どこに置いたか忘れたものを、簡単に見つけられます――。そんな「魔法のゴーグル」を、東京大の原田達也講師と大学院生の中山英樹さんらが開発した。ゴーグルの視野に入った画像が記録され、探したいものを名前で画像検索できる。

(略)

=======================================

これは、ジェイマジックが扱っているような「オブジェクト認識」の技術とはアプローチが違っていて、「画像アノテーション・リトリーバル」と呼ばれる手法を使っています。

オブジェクト認識が、画像の中に映っているのが「何」かを検出するのに対し、この手法は画像にふさわしい「単語」を検索してくれます。

これは、たくさんの画像に対して、その画像を表すのに適切と思われる単語(タグ)をたくさんつけていき、画像の特徴と単語の相関関係を学習させるという方法です。(例えば、こういう特徴を多く持つ画像はこういう単語がついている頻度が高い、など)

これによって、例えば画像を入力とすれば、その画像の特徴から適当な単語を抽出してくれるし、単語を複数入力すれば、その単語の組み合わせにふさわしい画像をデータベースから検索してくれるということが可能になります。

その論文では、画像の特徴と単語との相関関係の取り方を工夫したことで、大幅な速度向上と精度向上が見られると主張してました。

このアプローチ、ジェイマジックでも大いに参考できそうです。