視覚的に解釈できる埋め込み空間

📝 視覚的に解釈できる埋め込み空間

概要：言語モデルは、一般に数百〜数千次元の高次元ベクトルを用いて情報を表現しています。近年の研究では、様々な概念がこれらの表現空間内に線形方向として符号化され、複数の特徴が重ね合わせられていることが示唆されており、特定の概念方向に沿ってベクトルを加減算することで、モデルの振る舞いを制御できることが実験的に示されています。
一方で、概念の中には単一の線形方向だけでなく非線形の幾何構造として捉えることが、人間の観点から考えれば妥当なものも存在します。例えば「感情」は、自然言語処理における感情分析では主にPositiveとNegativeの二極構造として扱われますが、心理学では円環構造としてモデル化されることが一般的です。このような概念間の幾何的関係が、言語モデルの埋め込み空間においてどの程度再現できるかは、十分に明らかになっていません。
本研究では、心理学で提唱される感情円環モデルに基づき、超球面上の対照学習によって感情表現に円環構造を誘導する手法を提案し、解釈性と感情ラベルの識別性能への影響を検証しました。その結果、提案手法は視覚的に解釈可能な埋め込み空間を構築でき、次元削減に対する頑健性を示した一方で、高次元空間や細粒度の感情分類では従来の学習手法に比べて識別性能が低下することが確認されました。
[論文] (ACL 2026)

※トークは日本語です。