( ･∀･)つ〃∩ troubleshooting!!

前回のレッスンで、AIが「次のトークンを予測する巨大な分類器」だって学びましたよね。でも、ここで大事な疑問が浮かびます。「どうやってそんなに上手に予測できるようになったの？」生まれたばかりのAIモデルは、ほぼランダムに予測します。それがどう...

09. ファインチューニング？それともRAG？最適な選択肢を見つけようファインチューニングすべきでしょうか？ファインチューニングは強力ですが、常に必要なわけではありません。時には、巧妙なプロンプトまたはRAGでモデルを外部データに接続するこ...

35. データ並列化でLLM訓練を高速化！マルチGPU活用術こんにちは！今回は、複数のGPUを使ってLLM（大規模言語モデル）のトレーニングを高速化する「データ並列化（Data Parallelism）」について学んでいきます。前回までメモ...

08. LLMの世界地図！フロンティアvsオープンソースモデルを理解しようLLMの世界は、2つの主要なエコシステムに分かれています。API経由でアクセスするフロンティアモデル（GPT-4やClaudeなど）と、ダウンロードして自分で実行でき...

26. SAMSumプロジェクト始動！ベースラインパフォーマンスを測定しようWeek 3がいよいよ本格的にスタートしました！今回は、実際のプロジェクトに取り組みます。でも、どんな改善も「どこから始まったか」がわからないと意味がありませんよね...

ChatGPTやClaude、Geminiみたいなチャットボットって、どうやって返事を作ってるんだろうって思ったことありませんか？実は、その裏側にはシンプルだけど超強力なメカニズムが働いているんです。それが「次トークン予測（Next-Tok...

07. ChatGPTの秘密を解明！言語モデルアーキテクチャの世界「LLM」と言います。素晴らしい。でも、大規模言語モデルとは正確には何でしょうか？このレッスンでは、明確なメンタルモデルを提供します。言語モデルが構築される3つの方法、それぞ...

25. Week 3概要：いよいよ実践！最初のLLMをend-to-endでファインチューニングしようWeek 1と2で、たくさんの理論を学んできましたね！アーキテクチャ、ベンチマーク、トークン化、LoRA、量子化、そしてLLMがどうやって...

34. GPUメモリを節約する実践テクニック集！単一GPUを最大限に活用しようこんにちは！今回は、LLM（大規模言語モデル）のトレーニングで、GPUメモリを効率的に使うための実践的なテクニックを学んでいきます。前回、混合精度、量子化、LoR...

Week 1の学習、お疲れ様でした！ここまでたくさんの新しい概念を学んできましたよね。モデルアーキテクチャ、ファインチューニング、リーダーボード、ベンチマーク...頭の中が情報でいっぱいかもしれません。そこで、今回は「知識チェック」の時間で...