Discovering Universal Geometry in Embeddings with ICA

📅 2023/12/20 (Wed) 12:00–13:00 (JST)

@ online

🗣️ 大山百々勢 / Momose Oyama(京都大学)

2022年に京都大学工学部情報学科を卒業。現在は京都大学大学院情報学研究科修士課程に在籍中。埋め込み空間の理解に関する研究に従事。
[Webサイト]

📝 Discovering Universal Geometry in Embeddings with ICA

概要:単語や画像を数百次元のベクトルで表現する埋め込み表現はNLPをはじめ機械学習の様々な場面で使われていますが、高次元の埋め込み表現の視覚的な理解が難しいことが問題となります。独立成分分析(ICA)とはデータを独立な成分に分解する統計の手法で、ICAを使うと単語や画像の埋め込みに存在する「解釈可能なトゲ」を見つけることができます。そして、この「解釈可能なトゲ」は異なる言語の埋め込みや画像の埋め込みなど様々な埋め込みに共通して存在することもわかりました。今回のトークでは、ICAで明らかになる埋め込みの普遍的な形状について、具体例を多く使いながらお伝えしたいと思います。
[動画] [スライド] [論文] (EMNLP 2023)

※トークは日本語です。

🏃‍♀️ 参加方法

参加用のZoom URLはメーリングリストで配信しています。
ほかの宣伝投稿はありません。いつでも抜けられます。

メーリングリスト登録フォーム