人工言語を使った事前訓練:言語間転移が可能なエンコーダの持っている知識とは何か?

2022/09/14 (Wed) 12:00 (JST)

李凌寒 / Ryokan Ri (東京大学)

[Webサイト]

東京大学 情報理工学系研究科 博士後期課程に在籍。言語を問わずに適用できる自然言語処理技術に興味を持つ。

概要

ニューラルネットワークを用いた自然言語処理において標準的に用いられるモジュールに、入力系列から有用な情報を抽出するエンコーダがある。このエンコーダについて、我々人間からすると直感に反するような興味深い観察が報告されている。単一の言語で訓練されたエンコーダが、文法が異なる別の言語の入力にも転用できる、ということである。また、非言語データ(楽譜、プログラミングコードなど)で訓練したとしても、自然言語タスクにある程度役に立つエンコーダが得られることが知られている。人間の目には全く異なるように見える言語(系列データ)の間で転移されている知識とは何か?本研究では、抽象的な構造を持つ人工的に生成した系列データ("人工言語")を用いてエンコーダを訓練する。そのエンコーダを自然言語タスクへと転用し、性能を評価することによって、自然言語タスクに有用かつ転移可能な構造を明らかにする。

※トークは日本語です。

[動画] [スライド] [論文] (ACL 2022)

メーリングリストへの登録: 参加用URLなどNLPコロキウムに関するお知らせを受け取りたい方はメーリングリストへのご登録をお願いします。

メーリングリスト登録フォーム

[トップページへ戻る]