深層学習

ニューラルネットの学習は、「予測する → 正解とのずれ（損失）を測る → 損失が小さくなる方向（勾配）に重みを少し動かす」のくり返しです。勾配は誤差逆伝播（backpropagation）でまとめて計算します。霧の山で、足元の傾きだけを頼りに少しずつ下っていくイメージです。

誤差逆伝播：ニューラルネットは層を何段も重ねた関数です。出力の損失から入力側へ向かって、連鎖律（合成関数の微分のルール）で各層の勾配を順に計算すると、全部の重みの勾配を1回の逆向きの計算で求められます。PyTorch などのライブラリは、この計算を自動で行います（自動微分）。

最適化の手法（オプティマイザー）は、Adam や AdamW がまず選ばれます。どちらも、重みごとに過去の勾配の大きさを見て歩幅を自動で調整するので、学習率の設定に比較的強いです。AdamW は、重みを小さく保つ正則化（weight decay）を正しく分けて扱う改良版で、Transformer の学習で標準的に使われます。

学習が進まないときの確認：上から順に見ると切り分けやすくなります。

• ごく少ないデータ（数バッチ）で損失がほぼ 0 になるか：ならなければ、モデルかコードのバグ（ラベルのずれ・損失関数の選び間違い）を疑います。
• 入力とラベルを目で見る：画像と正解の組が入れ替わっていないか、正規化の前後で値がおかしくないか。
• 損失が NaN・発散する：学習率を下げる、勾配クリッピング（勾配の大きさに上限をつける）、混合精度での桁あふれを確認します。
• 損失がまったく動かない：学習率が小さすぎる、重みが更新されていない（凍結したまま・オプティマイザーに渡していない）。
• 学習の損失は下がるのに検証は悪くなる：過学習です。データを増やす・正則化・早期終了。

学習の損失と検証の損失のグラフを毎回残しておくと、どの状態かがすぐ分かります。

CNN は、画像のように「近くの値どうしに意味がある」データ向けのニューラルネットです。小さなフィルター（例：3×3）を画像の上でずらしながら掛け合わせる畳み込みで、線や角のような局所の模様を見つけます。層を重ねるほど、模様から部品、部品から物の形へと、より大きな特徴を表せるようになります。

画像の分類・物体検出・異常検知（製品の傷）などで使われます。最近は画像にも Transformer（Vision Transformer）が使われますが、データが少ない場合や軽さが要る場合は CNN もよく選ばれます。どちらでも、ゼロから学習するより事前学習済みのモデルを自分のデータに合わせるのが実務の基本です。

Transformer は、文章などの並び（トークンの列）を処理するモデルの構造で、今の LLM の土台です。中心にあるのが self-attention（自己注意）です。

self-attention の直感：文の中の各単語が、「自分の意味を決めるために、他のどの単語をどれくらい見ればよいか」を計算します。「彼はリンゴを食べた。それはおいしかった」の「それ」は、「リンゴ」を強く見ることで意味が決まります。具体的には、各トークンが「探しているもの（Query）」「自分の特徴（Key）」「渡す中身（Value）」を持ち、Query と Key の似ている度合いで重みを決めて、Value を混ぜ合わせます。これを複数の見方（マルチヘッド）で同時に行い、層を何十段も重ねます。並びの順番は、位置の情報を足して教えます。

RNN（前から1語ずつ順に読む構造）と違い、全部のトークンの関係を一度に並列で計算できるので、GPU で大量のデータを速く学習できます。

計算量とコンテキスト長：全トークンが全トークンを見るので、計算量とメモリは長さの2乗で増えます。入力を 2倍にすると attention の計算は約 4倍です。そのため、モデルには一度に扱える長さの上限（コンテキスト長）があります。実務では次の点が効いてきます。

• LLM の料金と待ち時間は、入力と出力のトークン数に比例して増えます。長い文書を毎回丸ごと渡すより、必要な部分だけ渡す（RAG）ほうが安く速いことが多いです。
• 文章を生成するときは、過去のトークンの Key・Value を保存して使い回します（KV キャッシュ）。長い文脈や同時のリクエストが多いと、このキャッシュが GPU メモリを圧迫します。
• 長いコンテキストを扱えるモデルでも、真ん中あたりの情報を見落とすことがあります。大事な情報は短く、目立つ位置に置きます。

大量のデータで学習済みのモデル（事前学習済みモデル）は、画像なら模様や形、文章なら言葉の意味のような、多くのタスクに共通する特徴をすでに持っています。それを出発点にして自分のタスクに合わせるのが転移学習です。ゼロから学習するより、ずっと少ないデータと時間で高い精度が出ます。

事前学習のデータと自分のデータの分野が近いほど効果が大きくなります。使うモデルのライセンス（商用で使えるか）も最初に確かめます。LLM の場合の考え方は ファインチューニングとの使い分け を参照してください。