東京農工大学卒業(2019年)、英国シェフィールド大学にて修士号取得(2020年)。2021年〜2023年株式会社日立製作所 研究開発グループ 研究員を経て、2023年より英国シェフィールド大学博士課程在籍。言語間適応や効率的な事前学習に関する研究に取り組む。
[Webサイト]
概要:ウェブデータの約4割を英語が占める現状において、それをベースに学習された大規模言語モデル(LLM)は必然的に英語偏重の傾向を示します。このようなモデルは英語以外の言語において下流タスク性能が低下しやすいだけでなく、非ラテン文字体系の言語等ではトークン化の過断片化(over-fragmentation)を引き起こします。これはトークナイザの語彙偏重に起因するものであり、テキストをエンコードする際により多くのトークン数を要し、推論コストや処理効率の悪化を招きます。
この課題に対する有効なアプローチとして語彙拡張(Vocabulary Expansion)が知られていますが、利用可能なテキストが限られた低資源環境では埋め込みの学習不足(underfitting)が生じやすく、デコード時に新規追加トークンが適切に生成・利用されないという問題が生じます。さらに、対象言語への適応において必須となる追加学習のプロセスでは、モデルが既存知識を喪失する破滅的忘却(Catastrophic Forgetting)のリスクが伴います。
本トークでは、こうした言語適応における効率性と堅牢性の両立を目指し、低資源下での語彙拡張手法(Computational Linguistics 2026)および、元言語の知識を保持しつつ適応を行う Source-Shielded Updates(ACL 2026)の2つのアプローチについて紹介します。
[論文1] (ACL 2026) [論文2] (CL 2026)
※トークは日本語です。
参加用のZoom URLはメーリングリストで配信しています。
ほかの宣伝投稿はありません。いつでも抜けられます。