2021年奈良先端科学技術大学院大学修士課程修了。同年、日本電信電話株式会社入社。コミュニケーション科学基礎研究所研究員を経て、現在人間情報研究所研究員。東北大学大学院博士後期課程在籍中。
[Webサイト]
概要：Transformerモデル内部で各トークンの位置の情報を表現する機構を位置符号化といいます。本研究では、回転行列に基づいた位置符号化がウェーブレット変換の一種であり、線形バイアスを使った位置符号化は複数のウィンドウサイズを持つSliding Window Attentionとなることを明らかにしました。これらのことから位置符号化にはウェーブレット変換のアイデアが有効である可能性があります。そこで私たちはウェーブレット変換から着想を得た位置符号化を提案します。提案手法はアテンションの受容野を制限することなく外挿可能です。
[動画] [スライド] [論文] (ICLR 2025)
※トークは日本語です。
参加用のZoom URLはメーリングリストで配信しています。
ほかの宣伝投稿はありません。いつでも抜けられます。