東京科学大学 情報工学系 修士2年。Swallow LLMを開発するSwallow Projectにて事前学習および学習ライブラリ整備を担当。主な研究テーマは、大規模モデルにおける低精度学習（FP8）と分散並列学習。
[Webサイト]
概要：2023年10月以降、12シリーズのモデルをリリースしてきたSwallow Projectにおける研究開発を通じて得られた、論文ではあまり言及されない重要なポイントや開発上の困難（difficulty）について、5つの観点から紹介します。実際のモデル開発現場の空気感をお伝えするため、かなりニッチな内容も盛り込みました。
[動画] [スライド] [プロジェクトページ] [論文] (COLM 2024)
※トークは日本語です。
参加用のZoom URLはメーリングリストで配信しています。
ほかの宣伝投稿はありません。いつでも抜けられます。