Rethinking Perturbations in Encoder-Decoders for Fast Training

2021/05/06 (Thu) 12:00 (JST)

高瀬翔 / Sho Takase (東京工業大学)

[Webサイト]

2017年東北大学大学院情報科学研究科博士後期課程修了.博士(情報科学).NTTコミュニケーション科学基礎研究所でのリサーチアソシエイト,東京工業大学での研究員を経て,2020年4月より東京工業大学助教.自然言語処理の研究に従事.言語処理学会,ACL各会員.

概要

頑健なニューラルモデル構築のために、微小なノイズ(摂動)を入力に加えることが、ままある。翻訳のような系列変換タスクにおいても、スケジュールドサンプリングや敵対的摂動などの手法が頑健なモデル構築のために提案されている。これらの手法は性能を向上させる一方、多くの計算コストを必要とする。例えば、敵対的摂動は摂動の計算にモデルの勾配を必要とするため、学習に2倍以上の時間を要する。本研究では、既存の摂動手法が計算時間に対し、適切に性能向上しているかについて、実験を通して検証を行う。翻訳、要約、文法誤り訂正タスクでの実験を通じ、簡易な手法の方が学習時の時間効率が良いことを示す。

※トークは日本語です。

[動画] [論文] (NAACL 2021)

メーリングリストへの登録: 参加用URLなどNLPコロキウムに関するお知らせを受け取りたい方はメーリングリストへのご登録をお願いします。

メーリングリスト登録フォーム

[トップページへ戻る]