「BERT応用勉強会」参加録 #xpaperchallenge
「BERT応用勉強会」にオンライン参加しました。簡単な発表概要と個人的な所感をメモしておきます。発表動画のアーカイブは、YouTubeで後日公開されるそうですました。slidoとYouTubeコメントでの質疑応答はSpreadsheetにまとめてみました。
nlpaper-challenge.connpass.com
- 医療言語処理へのBERTの応用 --BioBERT, ClinicalBERT, そして--
- Multilingual BERTの二言語領域適応に基づく対訳文同定
- BERTのMulti Modalタスクへの活用
- BERTをブラウザで動かしたい！―MobileBERTとTensorFlow.js―
- テキスト生成の評価 × BERT
- おわりに
医療言語処理へのBERTの応用 --BioBERT, ClinicalBERT, そして--
発表資料
概要
- BERTの登場が医療言語処理に与えた影響について、放射線科専攻医＆NLPを専攻する大学院生の視点からサーベイ
- 医療ドメインに特化したBERTが存在
- 適用事例として、固有表現抽出＋病名正規化で、辞書ベースからのf1スコアの大幅な改善
- その他に質問応答、要約、再入院予測、カルテの固有表現抽出＋関係認識、含意関係認識など
- BERTを非言語医療データへ応用する「BeHRt」
- 各受診時の診断と年齢を[SEP]区切りで入力することで診断の埋め込み表現を獲得
- 言語データと非言語医療データの統合
- 言語データ：医療記録をBioBERT+BiGRUで要約して獲得したベクトル化
- 非言語医療データ：ICD、薬剤、処理のコードをWord2vecでベクトル化
- 東京大学の医療AI開発学講座が日本語診療記録で事前学習したBERTを公開
所感
- BERTの応用として医療ドメインに寄せていく中で、非言語情報を取り込もうとしている流れはとても興味深い
- 特定のドメインの中で重要視される非言語情報は存在するはずで、BERTに使える形に落とし込むアイディアは参考にできそう
Multilingual BERTの二言語領域適応に基づく対訳文同定
概要
- NLP2020でも発表したBERTを用いた研究の報告
- ニューラル機械翻訳に必要な質・量ともに優れた対訳文を、BERTを用いて獲得する
- ケーススタディとして、日米の特許文書データを利用
- 対訳文同定の具体的な手順については、論文の図1が分かりやすい
- Wikipediaで事前学習済のモデルを特許データで再学習する領域適用の工夫をしている
- さらに対訳文の分類器をfine-tuning
所感
- 実際にNLPに取り組む際にはデータセットの準備が大きな課題となるため、意義深いタスク
- タスクを解くための問題設計の工夫が面白かった
- 質疑応答の中でも言及されたが、教師あり学習の要素を排除できると、より活用しやすくなると感じた
- 教師あり学習の部分がどの程度性能に貢献するかの評価が気になった
BERTのMulti Modalタスクへの活用
発表資料
概要
- マルチモーダルな領域でのBERTについてのサーベイ
- 今回はVision+Languageに限定
- 各モーダルのEncode方法、事前学習の方法などの観点で、さまざまなモデルをまとめている
- VilBERT
- LXMERT
- VL-BERT
- Unicoder-VL
- UNITER
所感
- 「なんかいっぱいモデル出てるなあ」くらいの理解だったモデル群についてサラッと学べて良かった
- 個人的には、いまKaggleでマルチモーダルなコンペが開催された場合に、どんなwinner solutionになるかは気になる
- 2019年3月のコンペではモーダル別に特徴量を抽出＆結合して勾配ブースティング決定木に突っ込むのが主流だった
BERTをブラウザで動かしたい！―MobileBERTとTensorFlow.js―
発表資料
概要
- TensorFlow.jsの「MobileBERT」のQ&Aモデルの紹介
- MobileBERT: モバイル端末向けに、汎用性と精度を保ちつつ軽量化・高速化したBERT
- 蒸留を用いたBERT-LARGEからの学習方法やアーキテクチャの工夫点、組み込み方や実例などをまとめている
所感
- ブラウザで動くウェブアプリケーションが手軽に作成できそうで、TensorFlow.jsが提供するNLPモデルには注目している（日本語のモデルの登場にも期待したい）
- 性能の高さを大量のハイパーパラメータで追求する流れとともに、蒸留などを用いた軽量化の流れも実用の面から間違いなく捨て置けないので、今後の動向を押さえておきたい
テキスト生成の評価 × BERT
発表資料
概要
- テキスト生成タスクの評価にBERTを利用する方法についてのサーベイ
- 意味での類似度や単語の一致度など、いろいろな評価観点が存在
- 現状は自動評価に加えて人手評価も実行する場合が多いが、コストの高さや評価の保証に課題がある
- 既存の著名な「BLEU」「ROUGE」などの評価指標は、意味的な違いを取れていない、タスク依存するなどの問題がある
- BERTを駆使した評価手法が提案されている
所感
- BERTScoreの論文はidfでの重み付けなどの工夫や広範な実験が網羅されている印象
- 文書をBERTでベクトル化してコサイン類似度で近傍を探索するような簡易的な検索システムを構築する上でも参考になると感じた（腰を据えて読み込みたい）
- BERTScoreはpip installできるらしいので、いろいろ遊んでみたい
おわりに
今回、YouTubeライブで参加しました。初のオンライン開催ながら「Cluster」+YouTubeライブという、なかなか野心的な挑戦だったと思います。素敵な勉強会をありがとうございました。
