u++の備忘録

【論文メモ】強化学習を用いないGANによる文生成モデル「LaTextGAN (latent-space GAN for text)」

論文メモ

Adversarial Text Generation Without Reinforcement Learning

どんなもの？

  • 強化学習を使用しないGANによる文生成モデル「LaTextGAN (latent-space GAN for text)」を提案
  • オートエンコーダを利用して文の低次元表現を学習させて生成器に伝播させることで、現実的なレベルでの文生成を実現

f:id:upura:20181019201219p:plain

論文リンク

https://arxiv.org/abs/1810.06640

著者/所属機関

David Donahue, Anna Rumshisky / University of Massachusetts Lowell

媒体

arxiv

投稿日付

[v1] Thu, 11 Oct 2018 22:50:38 GMT

先行研究と比べてどこがすごい？

  • テキストのシーケンスが離散的で勾配が識別器から生成器に伝播できないため、GANの訓練は自然言語処理の限られた範囲でしか成功しかなかった
  • 近年は解決法として、強化学習を使用して近似勾配を生成器に伝播させているが、これは訓練が非効率的
  • 本研究では、オートエンコーダを利用して文の低次元表現の学習させ、生成器に伝播させている

技術や手法のキモはどこ？

  • オートエンコーダを利用して文の低次元表現を学習させて生成器に伝播させることで、GANが独自のベクトルを生成するように訓練され、現実的な文生成を実現

どうやって有効だと検証した？

  • 文ベクトルを可視化することで、提案モデルがオートエンコーダーの潜在空間を正しく学習していると示した
  • 人による評価とBLEUスコアの両方で、提案モデルが競合するベースラインに対して現実的なレベルでのテキスト生成ができると示した

議論はある？

  • 強化学習を用いることは、文生成タスクへGANを適用するに当たって大きな障壁となる
  • 提案モデルを通じて、コンピュータビジョン以外でのGANの普及促進を目指しています

次に読むべき論文は？

Null

github.com