藤井一喜 / Kazuki Fujii (東京科学大学)
[Webサイト]東京科学大学 情報工学系 修士2年。Swallow LLMを開発するSwallow Projectにて事前学習および学習ライブラリ整備を担当。主な研究テーマは、大規模モデルにおける低精度学習（FP8）と分散並列学習。
概要
2023年10月以降、12シリーズのモデルをリリースしてきたSwallow Projectにおける研究開発を通じて得られた、論文ではあまり言及されない重要なポイントや開発上の困難（difficulty）について、5つの観点から紹介します。実際のモデル開発現場の空気感をお伝えするため、かなりニッチな内容も盛り込みました。
※トークは日本語です。