( ･∀･)つ〃∩ troubleshooting!!

これまで、AIがどう学習するか — 次トークン予測、損失関数、マスキング — を学んできましたよね。でも、実際にファインチューニング（カスタマイズ）を始める前に、大事な質問があります。「正確に何をファインチューニングしてるの？そして、これか...

10. ファインチューニングの選択肢！モデル、インフラ、フレームワークを理解しようモデルをファインチューニングすることを決めました。素晴らしい！でも、ちょっと待ってください。実際にどうやって始めればいいんでしょうか？いくつかの大きな決定があ...

36. DeepSpeed ZeROで巨大モデルを訓練！メモリシャーディングの威力こんにちは！今回は、単一GPUの限界を超えて巨大なLLMをトレーニングできる革新的な技術、DeepSpeed ZeROについて学んでいきます。前回、データ並列...

27. OpenAIでGPTモデルをファインチューニング！マネージド型の簡単な方法を体験前回まで、Llama 3.2 1Bモデルでベースラインパフォーマンスを測定しました。でも、「もっと強力なモデルならどうなるの？」って気になりますよね。今...

前回のレッスンで、AIが「次のトークンを予測する巨大な分類器」だって学びましたよね。でも、ここで大事な疑問が浮かびます。「どうやってそんなに上手に予測できるようになったの？」生まれたばかりのAIモデルは、ほぼランダムに予測します。それがどう...

09. ファインチューニング？それともRAG？最適な選択肢を見つけようファインチューニングすべきでしょうか？ファインチューニングは強力ですが、常に必要なわけではありません。時には、巧妙なプロンプトまたはRAGでモデルを外部データに接続するこ...

35. データ並列化でLLM訓練を高速化！マルチGPU活用術こんにちは！今回は、複数のGPUを使ってLLM（大規模言語モデル）のトレーニングを高速化する「データ並列化（Data Parallelism）」について学んでいきます。前回までメモ...

08. LLMの世界地図！フロンティアvsオープンソースモデルを理解しようLLMの世界は、2つの主要なエコシステムに分かれています。API経由でアクセスするフロンティアモデル（GPT-4やClaudeなど）と、ダウンロードして自分で実行でき...

26. SAMSumプロジェクト始動！ベースラインパフォーマンスを測定しようWeek 3がいよいよ本格的にスタートしました！今回は、実際のプロジェクトに取り組みます。でも、どんな改善も「どこから始まったか」がわからないと意味がありませんよね...

ChatGPTやClaude、Geminiみたいなチャットボットって、どうやって返事を作ってるんだろうって思ったことありませんか？実は、その裏側にはシンプルだけど超強力なメカニズムが働いているんです。それが「次トークン予測（Next-Tok...