u++の備忘録

【論文メモ】日本語単語ベクトルの構築とその評価

論文名

吉井和輝, Eric Nichols, 中野幹生, 青野雅樹: 日本語単語ベクトルの構築とその評価, 研究報告音声言語情報処理(SLP), 2015-SLP-106, 4, pp.1-8, 2015.

概要

  • 本研究では,単語の類推 (word analogy) と文完成 (sentence completion) の二つの評価タスクを用い,著名なオープンソースツールである word2vec (gensim の再実装) と GloVe を用いて構築した日本語単語ベクトルの評価を行った.
  • 単語の類推タスクでは,英語データで公表されている結果に近い結果を得たが,文完成のタスクでは,精度が大幅に減少した.
  • 本稿では,両タスクのエラー解析で明らかになった英語の単語ベクトルと日本語の単語ベクトルの性能差や,日本語特有の問題について調査した結果について述べる.

先行研究との差異

  • 単語ベクトルは,統計的自然言語処理で利用しやすい分散意味表現として近年盛んに用いられるようになってきたが,今まで主に英語で評価されてきたため,英語以外の言語での有効性は不明である.
  • 日本語と英語では使用する字種数,語順,文法などに大きな差が存在するため,日本語にこれらの手法を適用できるかは十分な検討が必要となる

キモとなる技術や手法

技術や手法はオープンソースの既存のもの。日本語用のデータセットを構築し、結果を定量的のみならず不正解の原因を定性的に分析するなど、丁寧に議論している。

有用性の検証

単語類推タスクと文完成タスクで検証。前者では(男・女)という単語ペアから、(王・?)の?で女王を当てる。後者は日本語のテストの問題を活用。いろいろな手法での精度を求めた。

議論

定量的な結果の中身を、定性的に分析。日本語ならではのtipsがいろいろ。

次に読む

なし。