論文名
田口雄哉, 田森秀明, 人見雄太, 西鳥羽二郎, 菊田洸: 同義語を考慮した日本語の単語分散表現の学習, 情報処理学会研究報告, Vol.2017-NL-233 No.17, 2017.
どんなもの？
訓練済みの単語分散表現を用い，同義語対を用いた日本語の単語分散表現の fine-tuning を行なう．単語分散表現の評価は，日本語の単語類似度データセットを用いて行った．実験の結果，同義語対を考慮した学習手法を適用することで，既存の単語の分散表現よりも質が改善することを確認した．
先行研究と比べてどこがすごい？
分布仮説にもとづいた学習を行なった場合，同義語や対義語に関わらず，同じ文脈に現れる単語は，似たようなベクトルになってしまうため，単語間の類似度を測る際に影響が出てしまう．その対策として，WordNet などの意味辞書から獲得した同義語対を用いて単語の分散表現を fine-tuning する手法が提案されているが，日本語での効果は報告されていない．
技術や手法のキモはどこ？
Faruqui ら [7] が提案している Retrofitting
Faruqui, M., Dodge, J., Jauhar, S. K., Dyer, C., Hovy, E. and Smith, N. A.: Retrofitting Word Vectors to Semantic Lexicons, Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Association for Computational Linguistics, pp. 1606–1615 (2015).
どうやって有効だと検証した？
データとして，Sakaizawa らが公開している日本語単語類似度データセット [19], [24] で評価を行なう．単語の分散表現は，公開されている日本語の訓練済み単語分散表現に加え，word2vec [13], [14] と Glove[17] を用いて実験を行なう．評価は，人手でアノテーションされた単語の類似度と，単語の分散表現を用いたコサイン類似度を，スピアマンの順位相関係数によって行なう．
議論はある？
副詞においては，自動で構築した同義語対を用いた場合，Skip-gram，Glove，そして fasttextにおいてスピアマンの順位相関係数が悪化している．理由としては，副詞の評価データの24語彙のうち，18 語彙が自動で構築した WordNet の同義語対に存在しているが，その中の 5 つの語彙全てがそれぞれの同義語対になっているため，どの単語もほぼ同じベクトルになってしまったことが原因と考えられる．
今後の課題は，Nikola ら [16] が提案している同義語と同時に対義語も考慮して単語の分散表現の Fine-tuning を行なうといった手法の適用が考えられる．しかし，日本語において，筆者らが知る限り，大規模な対義語対のデータは存在しない．そこで，今後は日本語の単語の分散表現を改善するために対義語データの構築を行なう．
次に読むべき論文は？
Faruqui, M., Dodge, J., Jauhar, S. K., Dyer, C., Hovy, E. and Smith, N. A.: Retrofitting Word Vectors to Semantic Lexicons, Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Association for Computational Linguistics, pp. 1606–1615 (2015).
