IBMとハーバードによるAIデバグシステム
元記事
ディープラーニングとニューラルネットワークの進化により、機械学習は近年急速に発展した。しかしニューラルネットワークの利点は中のロジックがどうなっているのかはっきりとはわからないとい代償の上に成り立っていて、間違いが合った場合に修正するのが難しいという欠点がある。アラビア語のGood morningをヘブライのAttack themと翻訳したという例もある。
先週ベルリンで行われたIEEEのカンファレンスで、IBMとハーバードの研究者はこの問題を解決するためのデバグツールを開発したと発表。このツールは、ディープラーニングアプリの作者が、AIが文章を翻訳していく際の判断プロセスを可視化する。
Seq2Seq-Visと名付けられたこのツールは、ディープニューラルネットワークの判断プロセスを解析しようという試みの一環で、ブラックボックス問題と呼ばれる現在のAI最大の課題の1つを解決しようというものだ。
Seq2Seq-Visは「Sequence-to-sequence model」という、ほとんどの新しい翻訳システムで使われているAIアーキテクチャに特化している。このモデルは、任意の長さのインプットを任意の長さのアウトプットに変更できるというもので、Q&Aや長文の要約、イメージのキャプション付などにも使われている。
簡単に言えばこのモデルは、インプットされた文字列を複数のニューラルネットワークを通して目的の言語（単語？）に変換し、その後文法が正しいことをチェックする。ニューラルネットワークの導入は変換性能を劇的に向上させたが、同時にアプリケーションをより複雑にした。
IBMのリサーチャーのStrobeltによると、古い機械翻訳デバグツールは電話帳を使うようなものだったらしい。問題があるときは中身を見て、間違いを引き起こしているルールを見つけ出し修正すればよかった。しかし現在の複雑なシステムでは、すでに「電話帳」を作ることすら難しい。これがSeq2Seq-Visの開発の始まりだった。
Seq2Seq-Visのデモサイトではドイツ語から英語への翻訳が間違った例が示されている。
Seq2Seq-Visはそれぞれの段階におけるsequence-to-sequence変換プロセスを可視化して表現する。これによりユーザーはモデルの判断プロセスを追うことができ、どこで間違ったのかを見つけることができるようになった。
また、このツールはどのようにインプット/アウトプットされた文章が教師データと紐付けられているかも見えるようにする。教師データはモデルにとっては世界そのもので、モデルはそれより多くを知ることはできない以上モデルを修正するときは教師データ自体を見るのは理にかなっているとのことだ。
例えば可視化ツールにより、ユーザーは間違いが低質な教師データによるものか、ニューラルネットワーク同士をつなぐ部分の設定ミスなのか、あるいは最終アウトプットを出すAI部分なのかを判別できるようになるらしい。
Seq2Seq-Vis以外にもAIの判断を解析しようとするプロジェクトは存在する。ブラックボックス問題解決の重要性は高くなってきており、いくつもの大学、Tech企業、またDARPAも関心を示している。
しかしその他のアプローチがAIの判断を理解できるようにしようということだけを追い求めているのに対し、Seq2Seq-Visの場合はユーザーが修正を加えることができる。SolbeltはこれをWhat-if testingと表現する。
例えばユーザーはアウトプットされた文章を直接修正することもできるし、あるいはAIがインプットとアウトプットをつなげたモデルそのものを修正することもできる。
しかしこのツールは翻訳ソフトのエンドユーザー向けではない。これを使うにはsequence-to-sequenceモデルについての知識が必要になる。というのも、このツールはAIモデルの製作者向けに作られたツールだからだ。
では誰がこのツールを使うのだろうか？現在はIBM内でも使いみちについて話し合っているそうだが、このツールはオープンソースなのでさまざまな会社が利用するだろうとのことだ。
