NLP2024 読んだ・聴いた論文メモ - エイエイレトリック

いつの間にか月が変わってしましましたが、2024年3月に言語処理学会第30回年次大会に参加したので、論文紹介をします。言語資源・評価手法関連が多いです。

サイトの上から順に選び、聴講の際も時系列に沿ってメモしていたので、それに従った順番に紹介します。カテゴリは口頭発表に基づいてつけていますが、ポスター発表は自分の想像でつけています。

簡単な紹介しかしていないので、詳細を知りたい場合はリンク先の論文を読んでください。間違いがないよう、なるべく論文の表現を引用しています。

実社会応用

景気ウォッチャー調査のテキストを使った「地域別不況の要因分析」のケーススタディ
文埋め込みに変換し、次元削減、独立成分のスコアを利用しカテゴリを割り当てる
- 文埋め込みに変換し、次元削減する手法は Discovering Universal Geometry in Embeddings with ICA (Yamagiwa et al., EMNLP 2023) に基づいている
- 独立成分ごとソートし、閾値で2値分類

文法誤り訂正

自動評価尺度 GREEN の提案。計算が O(k) と高速で人手評価に近い評価を実現
原文、参照文、訂正文を n-gram の多重集合として扱い、原文→参照文と原文→訂正文を比較する
- 同じ操作・過剰な操作・操作不足
- TruePositive, FalsePositive, FalseNegative が集計でき、F値を求めることができる

聖書をコーパスとして使い、長期間の意味変化を調査する
ラテン語とロマンス語 (フランス語・イタリア語など) で1000年以上の期間があっても「意味変化の統計的法則」(下記) が成立する
- 高頻度語ほど意味変化の度合いが小さい
- 多義語ほど意味変化の度合いが大きい

意味変化の検出に意味の集中度という指標を用いる
- 意味の変化だけでなく、広がりも判定できる
単語ベクトルが様々な方向を向いているほど多様な意味を持つ。常に同じ意味の場合は一点に集中する。
- von Mises–Fisher distribution で定量化する

公開データ: cl-tohoku/J-UniMorph
UniMorph という、「原形，語形，特徴ラベル」の3つのラベルを付与するプロジェクトがあり、その日本語版を作成する
- 形態素解析の辞書定義と異なり、言語を横断して共通のラベルなので他の言語と対応付けられる
基本的な動詞を使ってデータを構築
- 語形の変化には fasiha/kamiya-codec を使用

LLM分析評価

大規模言語モデルの事前学習データがほとんど英語でも、他の言語にも対応できる (言語横断汎化) のはなぜか
実験1: 英語で instruction tuning したモデルを多言語で評価
- instruction tuningした方が性能が向上する
実験2: 英語とそれ以外の言語の対訳ペアの分埋め込み表現を獲得、instruction tuning前後の類似度を計算
- 類似度の変化は小さい
- → instruction tuning を通じて「事前学習時に既に獲得していた多言語表現に基づき，言語横断的なタスクを解く能力を学習した」と推測

LLM分析評価

個人・顧客の機密情報の漏えいを防ぐため、固有表現抽出 (NER) の考え方をベースに機密情報検知モデルを構築したい。学習 (主にfine-tuning) には高品質なデータセットが必要。
生成 AI のハルシネーションを活用し、データ拡張する
- 周辺文脈の拡張: 企業名を含む文をLLMが生成
- エンティティの拡張: 架空の企業名をLLMが生成し、元データの企業名と置換する
拡張したデータで学習することで精度が向上