NLPコロキウム | Evolutionary Optimization of Model Merging Recipes (秋葉拓哉)

秋葉拓哉 / Takuya Akiba (Sakana AI)

[Webサイト]

Sakana AI リサーチサイエンティスト。東京大学大学院情報理工学系研究科で博士号を取得後、国立情報学研究所、Preferred Networks、Stability AIを経て、現職。現在は生成基盤モデルに関連する複数の研究プロジェクトを手掛ける。共著書に『Kaggleに挑む深層学習プログラミングの極意』（講談社）などがある。

概要

進化的アルゴリズムを用いて多様なオープンソースモデルを融合することで新しい基盤モデルを効率的に開発する手法「進化的モデルマージ」を提案します。我々のアプローチは、既存のオープンモデルの膨大な集合知を活用するため、モデルを非常に効率的に作成できます。進化的モデルマージは、「非英語言語と数学的推論」「非英語言語と画像」といった、これまでは困難と思われていた全く異なる領域のモデルをマージする方法すらも自動的に発見できることが分かりました。

※トークは日本語です。

[動画] [スライド] [論文] [関連記事]

メーリングリストへの登録: 参加用URLなどNLPコロキウムに関するお知らせを受け取りたい方はメーリングリストへのご登録をお願いします。