NLP における系列ラベリングの評価方法についてまとめる。seqeval の評価尺度について conlleval との差分について言及するほか、実際にスコアを算出して理解を深める。

今使っている Macbook を買い替えることにしたので、 下取りで引き渡す前にステッカーの記録をとっておく。 安いAndroidスマホで適当に撮ったので画質はあまりよくない。 研究室に配属されて以降、 色んな場面でもらったステッカーを使っている。 なので全部…

Spacy V3.0のToken morphについて、日本語モデルの仕様を調べました

いつの間にか月が変わってましたが、2024年3月に言語処理学会第30回年次大会 に参加したので、論文紹介をします。 言語資源・評価手法関連が多いです。 サイトの上から順に選び、聴講の際も時系列に沿ってメモしていたので、それに従った順番に紹介します。 …

前回の記事で、 Spacy のモデルがメモリリークすることを調べました。 fastAPI で Spacy を動かしたとき、メモリがどれぐらい増加するのか確認します。 コードは Github にあげています。設定を諸々変えたので現状プルリクのままマージしていません。 github…

Spacyのメモリ消費と実行時間の調査をしました。Vocab クラスのメモリを圧迫する問題もまとめました。