人工言語を使った事前訓練：言語間転移が可能なエンコーダの持っている知識とは何か？

📝 人工言語を使った事前訓練：言語間転移が可能なエンコーダの持っている知識とは何か？

概要：ニューラルネットワークを用いた自然言語処理において標準的に用いられるモジュールに、入力系列から有用な情報を抽出するエンコーダがある。このエンコーダについて、我々人間からすると直感に反するような興味深い観察が報告されている。単一の言語で訓練されたエンコーダが、文法が異なる別の言語の入力にも転用できる、ということである。また、非言語データ（楽譜、プログラミングコードなど）で訓練したとしても、自然言語タスクにある程度役に立つエンコーダが得られることが知られている。人間の目には全く異なるように見える言語（系列データ）の間で転移されている知識とは何か？本研究では、抽象的な構造を持つ人工的に生成した系列データ（"人工言語"）を用いてエンコーダを訓練する。そのエンコーダを自然言語タスクへと転用し、性能を評価することによって、自然言語タスクに有用かつ転移可能な構造を明らかにする。
[動画] [スライド] [論文] (ACL 2022)

※トークは日本語です。