東京大学大学院 松尾研究室 博士課程1年。大規模言語モデルとその解釈性(Interpretability)を中心に研究しており,特に文脈内学習や推論過程の理解に関心があります。
[Webサイト]
概要:昨今,LLM の reasoning 能力は目覚ましい発展を遂げており,最終的な答えを出す前に長い推論過程を生成することで,数学や論理タスクにおける性能が大きく向上しています。しかし一方で,その「考えている途中」においてモデル内部で何が起きているのかについては,依然として十分に理解されていません。本トークでは,LLM の推論過程を「推論グラフ(reasoning graph)」として捉えることで,Reasoning LLM が内部に持つ「思考のかたち」を可視化・分析します。推論モデルが,循環性や広い探索範囲といった特徴的なグラフ構造を有しており,それらが高い推論性能と関係していることをご紹介します。さらに,reasoning 能力を高める代表的な手法である SFT と RL に着目し,これらがどのように異なる推論グラフを形作るのかを比較・考察します。本トークが,近年の reasoning 能力のブレークスルーを考える上での一つの見方を提供できれば幸いです。
[論文1] (NeurIPS 2025) [論文2] (ICLR 2026)
※トークは日本語です。
参加用のZoom URLはメーリングリストで配信しています。
ほかの宣伝投稿はありません。いつでも抜けられます。