( ･∀･)つ〃∩ troubleshooting!!

トークン化とパディングを学んで、テキストがモデルに読める形になりました。でも、まだ大事な課題が残っています。「モデルに会話の正しい部分からだけ学習させる」ってどうやるの？今回は、命令ファインチューニングの核心技術「アシスタントのみマスキング...

データセットの準備ができました。でも、モデルはそのままじゃテキストを読めません。AIの「言語」は数字なんです。今回は、テキストを数値（トークン）に変換するトークン化（Tokenization）と、長さをそろえるパディング（Padding）に...

30. Weights & Biasesで実験追跡！LLMファインチューニングを体系的に管理しようモデルをファインチューニングしました。素晴らしい成果です！でも、ここで疑問があります。使用したハイパーパラメーターは何でしたか？LoRAランク...

ファインチューニングの理論を学んできましたが、実際に始める前に超重要なステップがあります。それは「データの準備」！どんなに優秀なモデルや学習アルゴリズムを使っても、データがダメだったらすべて台無しです。「ゴミを入れれば、ゴミが出る（Garb...

29. RunPodでLLMをファインチューニング！クラウドGPUトレーニング環境のセットアップColabでファインチューニングしてきました。でも、そろそろインフラをアップグレードする時です！Colabは学習には最適ですが、限界があります。...

37. LLMエンジニアリング認定への最終ステップ！モデルのデプロイと監視プロジェクトこんにちは！今回は、LLMエンジニアリング&デプロイメント認定プログラムのモジュール2キャップストーンプロジェクトについて紹介します。これは認定への最終的...

28. Llama 3をQLoRAでファインチューニング！完全なトレーニングパイプライン解説ついに来ました！これまで学んできたすべてを統合して、実際にモデルをファインチューニングする時です。今回は、QLoRA（4ビット量子化とLoRAアダプ...

これまで、AIがどう学習するか — 次トークン予測、損失関数、マスキング — を学んできましたよね。でも、実際にファインチューニング（カスタマイズ）を始める前に、大事な質問があります。「正確に何をファインチューニングしてるの？そして、これか...

10. ファインチューニングの選択肢！モデル、インフラ、フレームワークを理解しようモデルをファインチューニングすることを決めました。素晴らしい！でも、ちょっと待ってください。実際にどうやって始めればいいんでしょうか？いくつかの大きな決定があ...

36. DeepSpeed ZeROで巨大モデルを訓練！メモリシャーディングの威力こんにちは！今回は、単一GPUの限界を超えて巨大なLLMをトレーニングできる革新的な技術、DeepSpeed ZeROについて学んでいきます。前回、データ並列...