EMNLP2020の論文を去年から少しずつ読んでいたので、メモをまとめてブログにあげます。
気になった論文をチョイスしているので、いつもはタスク提案・メタ分析・固有表現 (NER) の論文を選ぶことが多くなってしまうのですが、今のご時世もあって、医療ドメイン系の論文も多めに読んでます。
医療ドメインやファクトチェック関連の論文の中には COVID-19 について言及している論文も多くあり、自然言語処理の実世界での活用が重要視されている流れを感じました。
紹介というより簡単なメモなので、詳細は論文を読んでください。 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) - ACL Anthology の順番に紹介します。
A matter of framing: The impact of linguistic formalism on probing results
https://www.aclweb.org/anthology/2020.emnlp-main.13/
- role semantics (semantic roleと同義?) で学習済み言語モデルの評価
- anchor taskの提案
- Formalism (linguistics) - Wikipedia はBERTなどのdeepモデルの調査に有用
Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference
https://www.aclweb.org/anthology/2020.emnlp-main.17/
- transformer の multi-head attention は異なる場所の異なる部分空間にattendできる機能だが、それを保証する明示的なメカニズムはない
- ベイズ推定を使って transformer の multi-head attentionを改良した repulsive multi-head attention の提案
FIND: Human-in-the-Loop Debugging Deep Text Classifiers
https://www.aclweb.org/anthology/2020.emnlp-main.24/
- Deepモデルによるテキスト分類で無関係な特徴量を無効にする(人手でデバッグする)仕組みを提案
- Layer-wise Relevance Propagation を利用
- CNNにおけるテキスト分類で実験
- github https://github.com/plkumjorn/FIND
Event Extraction by Answering (Almost) Natural Questions
https://www.aclweb.org/anthology/2020.emnlp-main.49/
- event/argument extractionはentity抽出に重きを置いていたり、relationラベルが似ているのが原因でneural modelは弱かった
- QAタスクとして解くことでentityやrelationの制約を克服する
- zero-shot learningでも解く
- github https://github.com/xinyadu/eeqa
Joint Constrained Learning for Event-Event Relation Extraction
https://www.aclweb.org/anthology/2020.emnlp-main.51/
- 自然言語理解 (NLU) におけるevent-event extraction (typhoon → died, canceled, etc.)にlogic constraintを組み込んで joint learningする
- logic constraint は A Logic-Driven Framework for Consistency of Neural Models, EMNLP2019
SetConv: A New Approach for Learning from Imbalanced Data
https://www.aclweb.org/anthology/2020.emnlp-main.98
- 不均衡データに対し、データの畳み込みをする前処理レイヤーを追加する
- 少数派のクラスからanchor dataを設定する
Learning from Task Descriptions
https://www.aclweb.org/anthology/2020.emnlp-main.105/
- zero-shot learningの拡張。タスクの 説明 も学習に組み込めるようなデータセットの構築。
- 1つのタスク説明に対して複数の
context(文) があり、説明の通りに解いて回答する。- e.g.「この公園は登山可能ですか？」という説明と、公園についての文が複数個与えられて、「登山可能か」それぞれyes/no/NAで答える
- dataset https://allenai.org/data/zest
Explainable Clinical Decision Support from Text
https://www.aclweb.org/anthology/2020.emnlp-main.115
- 構造化されていないclinical text (electronic medical records) からBERTやattentionモデルを使ってマルチタスクを解く
- 汎用BERTよりも医療ドメインのBERT使った方が精度はよい
Knowledge Graph Alignment with Entity-Pair Embedding
https://www.aclweb.org/anthology/2020.emnlp-main.130/
- embedding-base のKG手法。
- pair-wiseなグラフを定義する
Querying Across Genres for Medical Claims in News
https://www.aclweb.org/anthology/2020.emnlp-main.139
- ニュース記事の主張とそのソースである医療系論文のデータセット
- e.g. 「お茶を飲む人は長生きする」という記事と「アテローム性動脈硬化 のリスクとお茶の消費量」に関する記述の論文
- ad hoc な 情報抽出 (IR) タスク
- dataset https://github.com/chzuo/emnlp2020-cross-genre-IR
Improving Grammatical Error Correction Models with Purpose-Built Adversarial Examples
https://www.aclweb.org/anthology/2020.emnlp-main.228
- 文法誤り修正 (GEC) はseq2seqが一般的だがデータの量と質に依存している
- adversarial データを作り、probability, attention weightを使ってweak spotを探し、他の単語と置き換える
- やっぱり前置詞は難しい
Sound Natural: Content Rephrasing in Dialog Systems
https://www.aclweb.org/anthology/2020.emnlp-main.414/
- virtual assistantでの利用を例に、発話の言い換えを考える rephrasing task。
- データセットの作成
- e.g.
Let Kira know I can pick her up->I can pick you up
- e.g.
Interpretable Multi-dataset Evaluation for Named Entity Recognition
https://www.aclweb.org/anthology/2020.emnlp-main.489
- NER systemが急激に発展し単一の評価方法だけではわかりにくい
- 全体の評価とは別にモデルごと、attributeごと、bucketごと、分けて評価する
- github https://github.com/neulab/InterpretEval
Simple and Effective Few-Shot Named Entity Recognition with Structured Nearest Neighbor Learning
https://www.aclweb.org/anthology/2020.emnlp-main.516
- few-shot learning でNER
- 近傍分類をしてvitabiの遷移確率を使う Viterbi decoder
Fact or Fiction: Verifying Scientific Claims
https://www.aclweb.org/anthology/2020.emnlp-main.609/
- ある主張 (claim) に対して、その文がSUPPORTS (支持) かREFUTES(否認) の関係であることを判定する claim varification task
- abstract-level, sentence-level
- COVID-19 での実証デモも公開
- github https://github.com/allenai/scifact
Named Entity Recognition Only from Word Embeddings
https://www.aclweb.org/anthology/2020.emnlp-main.723
- 教師なしでNER
- Gaussian hidden Markov model, Deep Autoencoding Gaussian Mixture Model (DAGMM) を使い自動でラベリング
Re-evaluating Evaluation in Text Summarization
https://aclweb.org/anthology/2020.emnlp-main.751/
- 文書要約の評価方法を再評価する
- 要約システムを自動評価する方法と人手による評価を比較
- system-level での相関、summary levelでの相関
- 評価指標はデータセットにも依存するので複数のデータセットで評価するのがよい
- github https://github.com/neulab/REALSumm
Workshop 論文
The Extraordinary Failure of Complement Coercion Crowdsourcing
https://www.aclweb.org/anthology/2020.insights-1.17/
- うまくいかなかった研究結果についてのワークショップ、Workshop on Insights from Negative Results in NLP の論文
I started a new bookにはstarted reading/writingを暗に示している。- このように文から意味を推定し動詞を補完する Complement Coercion 用のデータをクラウドソーシングで構築しようとした。
- 自然言語推論 (NLI) タスクとして3択問題にしたところ一致率が非常に低かった。
- 読み手によって
construeが異なっていたためと考えるconstrualについては(Re)construing Meaning in NLP, ACL2020から引用されている。意味は「捉え方・解釈」
- その他 NLI データセット構築の上での問題点
Sentence Boundary Detection on Line Breaks in Japanese
https://www.aclweb.org/anthology/2020.wnut-1.10/
- ノイジーデータのワークショップ Workshop on Noisy User-generated Text
- 改行を使った文境界も境界として判定できるようにする
- BERTで 日本語書き言葉均衡コーパス (BCCWJ) やじゃらんのテキストを使って実験
おわりに
今年は752本あった論文、タイトルだけは一通り目を通したもののやっぱり多いですね。
来年は800超えるのでしょうか……。
