判例検索システムJUSTICE

類似判例の調査においては、キーワードマッチによる判例検索に多大な労力が必要とされている現状がある。その原因としては、膨大な数の長文の既存判例が存在することや、判例の中に当該事案とは異なる判例からの引用箇所が多く、キーワードによる照合が難しいことなどがある。そこで、語意ベースで類似語が含まれ、しかも語の役割的関係まで類似している、すなわち意味的に類似した文を含む判例を検索するため、意味グラフ照合を用いた判例検索システムJusticeを開発している。Justiceによる判例検索では、Luceneを用いたキーワード検索により判例を絞り込み、その後に意味解析システムSAGEを用いた意味グラフ照合により事案文と判例文との意味的な類似度を計算し、類似度順にランキングして出力する。
キーワード検索における判例の1次検索においては、事案文中の各文節からその品詞に適したキーワード抽出を行うことによって、特に判例文に頻出する複合語から適切なキーワードを抽出できた。さらに、TF-IDF値が高いキーワードを優先的に利用する、キーワードのIDF値の合計値でキーワードの組み合わせをソートするなど、絞込みやすいキーワードの組み合わせから順に検索し、少ない検索回数で参照判例を検索できた。
意味グラフ照合では、事案文と判例文に含まれるキーワード同士の概念距離で類似度を計算しており、類似度が閾値を超えると照合ノードとなるが、TF-IDF値が一定以上のキーワードを表すノード間の照合閾値のみを低減させることで、重要キーワードがグラフ照合に寄与するようにし、参照判例のランキングを上げた。
評価実験では、専門家の作成した30個の問題を用いてシステム評価した。まず、キーワード検索の改良については、キーワード検索結果に含まれる参照判例の個数で評価した。獲得する判例の個数を変動させて複数個の実験を行ったが、どの実験でも参照法令の個数は増えた。全体の検索精度については、それぞれの問題に対してシステムが出力する回答上位10件に、用意された参照判例(合計194件)が含まれている件数によって評価した。その結果、再現率27.8%を達成した。
以下に、Justiceによる判例検索例を示す。

判例検索システムJustice