いろいろ

35. データ並列化でLLM訓練を高速化！マルチGPU活用術こんにちは！今回は、複数のGPUを使ってLLM（大規模言語モデル）のトレーニングを高速化する「データ並列化（Data Parallelism）」について学んでいきます。前回までメモ...

08. LLMの世界地図！フロンティアvsオープンソースモデルを理解しようLLMの世界は、2つの主要なエコシステムに分かれています。API経由でアクセスするフロンティアモデル（GPT-4やClaudeなど）と、ダウンロードして自分で実行でき...

26. SAMSumプロジェクト始動！ベースラインパフォーマンスを測定しようWeek 3がいよいよ本格的にスタートしました！今回は、実際のプロジェクトに取り組みます。でも、どんな改善も「どこから始まったか」がわからないと意味がありませんよね...

ChatGPTやClaude、Geminiみたいなチャットボットって、どうやって返事を作ってるんだろうって思ったことありませんか？実は、その裏側にはシンプルだけど超強力なメカニズムが働いているんです。それが「次トークン予測（Next-Tok...

07. ChatGPTの秘密を解明！言語モデルアーキテクチャの世界「LLM」と言います。素晴らしい。でも、大規模言語モデルとは正確には何でしょうか？このレッスンでは、明確なメンタルモデルを提供します。言語モデルが構築される3つの方法、それぞ...

25. Week 3概要：いよいよ実践！最初のLLMをend-to-endでファインチューニングしようWeek 1と2で、たくさんの理論を学んできましたね！アーキテクチャ、ベンチマーク、トークン化、LoRA、量子化、そしてLLMがどうやって...

34. GPUメモリを節約する実践テクニック集！単一GPUを最大限に活用しようこんにちは！今回は、LLM（大規模言語モデル）のトレーニングで、GPUメモリを効率的に使うための実践的なテクニックを学んでいきます。前回、混合精度、量子化、LoR...

Week 1の学習、お疲れ様でした！ここまでたくさんの新しい概念を学んできましたよね。モデルアーキテクチャ、ファインチューニング、リーダーボード、ベンチマーク...頭の中が情報でいっぱいかもしれません。そこで、今回は「知識チェック」の時間で...

06. いよいよ実践！最初のカスタムLLMを作ろうさあ、ここからが本番です！モジュール1キャップストーンプロジェクトは、認定への最初の主要なマイルストーンなんですよ。これを完了することで、データセットの前処理からモデルの最適化まで、オープン...

24. Week 2の学習チェック！教師ありファインチューニングの基礎を確認しようここまで、Week 2でたくさんのことを学んできましたね！データ型、量子化、LoRA、QLoRAと、AIモデルのファインチューニングに必要な重要な技術をカバー...