機械学習の基礎と評価

教師あり学習は、入力と正解（ラベル）の組から「入力 → 答え」の対応を学ぶ方法です。答えが数値なら回帰（例：来月の売上）、種類なら分類（例：不正か正常か）です。代表的な手法は次の3つで、データの形によって向き不向きがはっきりしています。

回帰か分類かは、答えの種類で決まります。同じ「解約」でも、「解約するか」は分類、「何日後に解約するか」は回帰（または生存時間の分析）です。

勾配ブースティング決定木（GBDT）は、小さな決定木を何本も順番に作り、前の木が外した分（残差）を次の木が補うように足し合わせる手法です。表形式のデータでは、前処理が少なくても強いので、業務では LightGBM・XGBoost・CatBoost がまず試されます。

強み：列のスケールをそろえなくてよく、欠損値をそのまま扱え、「年齢が30以上かつ購入が3回未満」のような条件の組み合わせを自動で拾います。弱み：学習した範囲の外の値（過去最高を超える売上など）は予測できません（外挿が苦手）。ランダムフォレストは木を並列に作って平均する手法で、調整が少なく済む一方、精度は GBDT に届かないことが多いです。

ベースラインから始める：いきなり複雑なモデルを作らず、まず次の順に基準を作ります。

• 何も学習しない基準：常に多数派のクラスを答える・平均値を答える・「先週と同じ」と答える。
• ルールや単純なモデル：今の業務のルール、ロジスティック回帰。
• 本命のモデル：勾配ブースティングなど。

基準があると「どれだけ良くなったか」が言えますし、複雑なモデルが基準とほとんど変わらなければ、データや課題設定のほうを疑うきっかけになります。よくある失敗は、ベースラインを作らずに精度 95% を喜んだら、実は全部「正常」と答えるだけでも 95% だった、というものです。

過学習は、モデルが学習データの細かい癖やノイズまで覚えてしまい、新しいデータで外れる状態です。テストの過去問を丸暗記して、少し変えた問題が解けない状態に似ています。反対に、新しいデータでも当たる力を汎化といいます。学習データでの成績が良く、検証データでの成績が悪ければ過学習を疑います。

過学習を防ぐ方法：

• データを増やす（一番効く）。画像ならデータ拡張（反転・切り抜き）。
• モデルを単純にする・正則化（重みが大きくなりすぎないよう罰を与える。L1・L2、ドロップアウト）。
• 早期終了（early stopping）：検証の成績が良くならなくなった時点で学習を止める。
• 特徴量を減らす：意味のない列が多いと、偶然の関係を覚えやすい。

落とし穴：検証データでハイパーパラメーターを何百回も試すと、検証データにも過学習します。最後のテストデータは、選び終わるまで触らないのが原則です。

データは、役割の違う3つに分けます。

大事なのは、本番と同じ条件で分けることです。同じユーザーの行が学習とテストの両方に入ると、そのユーザーを覚えただけで成績が良く見えます（ユーザー単位で分ける）。時間で変わるデータなら、過去で学習して未来でテストします（データリークを参照）。

交差検証（cross validation）：データを K 個（よく 5 個）に分け、1つを検証、残りを学習に使うことを K 回くり返し、成績の平均とばらつきを見ます。データが少ないときでも評価が安定し、「たまたま良い分け方だった」を避けられます。クラスの比率をそろえる層化（stratified）、ユーザーなどのまとまりを分けないグループ単位、時系列で順に進める方法があります。

評価指標は「何をもって良いモデルとするか」の約束です。精度（accuracy、全体のうち当たった割合）は分かりやすいですが、不正が 1% しかないデータでは「全部正常」と答えるだけで 99% になってしまいます。問題の種類と、間違えたときの損の大きさで指標を選びます。

適合率と再現率は、しきい値を動かすと片方が上がり片方が下がる関係にあります。どちらを重く見るかは、間違えたときの損で決めます。

しきい値に依らない指標（ROC-AUC・PR-AUC）

しきい値の決め方とビジネスの指標

分類モデルの多くは「陽性らしさ」のスコアを出し、しきい値で陽性と陰性に分けます。しきい値をいろいろ動かしたときの成績を1つの数字にまとめたのが AUC（曲線の下の面積）です。

陽性が 0.1% のデータでは、陰性が圧倒的に多いので偽陽性率が小さく出て、ROC-AUC は 0.95 のように高く見えがちです。実際に上位を確認すると誤検知だらけ、ということがあります。陽性が少ない問題では PR-AUC か、「上位 N 件での適合率」を合わせて見ます。どちらの AUC もしきい値を決めてくれるわけではない点にも注意します。

しきい値も設計の一部：分類モデルは多くの場合「陽性らしさ」の確率を出し、それを何以上で陽性とするか（しきい値）は人が決めます。0.5 が正解とは限りません。「人が1日に確認できるのは 200 件」なら、上位 200 件での適合率で考えるほうが業務に合います。

ビジネスの指標との関係：モデルの指標（AUC など）はあくまで代わりの数字で、最終的に見たいのは売上・解約率・確認作業の時間などのビジネスの指標です。両者がつながっているかを確かめるには、次のようにします。

• 間違いのコストを金額にする：見逃し1件で平均 5万円の損、誤検知1件で確認の手間 500円、のように置くと、しきい値を損得で決められます。
• オフラインの指標が上がっても、A/B テストでビジネスの指標が動かないことはよくあります。オンラインで確かめるまで「改善した」とは言いません。
• 1つの指標だけを追わず、悪化してはいけない指標（ガードレール指標。例：レイテンシ・苦情の数）も決めておきます。

分類以外の問題では、別の指標を使います。どれを選ぶかは、間違いのどの形が困るかで決めます。

確率を使う場合は、予測した確率と実際の割合が合っているか（キャリブレーション）も確かめます。「0.8 と予測した中で、本当に 8割が陽性か」です。ずれていれば、検証データで確率を補正します。

データリークは、本番の予測の時点では手に入らない情報が学習データに混ざることです。モデルはその「答えのヒント」を使って当てるので、オフラインの評価はとても良いのに、本番ではヒントがなくて外れます。AUC が 0.99 のように良すぎるときは、まずリークを疑います。

リークは一度入ると気づきにくいので、特徴量の重要度の上位に「怪しいほど効く列」がないかを毎回確かめる習慣をつけます。

時系列での分け方：時間で変わるデータを、ランダムに分けてはいけません。ランダムに分けると、未来の行で学習して過去の行を当てることになり、本番より甘い評価になります。次のように、過去で学習し、その後の期間でテストします。

学習：2025-01 〜 2025-12 ｜ 検証：2026-01 〜 2026-02 ｜ テスト：2026-03 〜 2026-04

• 何度も試すなら、窓をずらしながら「学習 → 次の1か月で評価」をくり返します（ウォークフォワード）。
• ラベルが決まるまでに時間がかかる場合（例：「30日以内に解約したか」）は、学習の期間の終わりとテストの始まりの間に 30日の空き（ギャップ）を入れます。空けないと、テスト期間の情報がラベルを通して学習に入ります。
• 特徴量は「予測する時点で、そのデータはもうシステムに届いているか」で考えます。夜間のバッチで翌日に届くデータは、当日の予測には使えません。

不正・故障・解約のように、見つけたいもの（陽性）がとても少ないデータを不均衡なデータといいます。そのまま学習すると、モデルは多数派を答えるだけで損失が小さくなり、陽性をほとんど拾いません。

サンプリングや重みで学習すると、出力の確率が実際の割合からずれます。確率そのものを使う（期待損失を計算する）なら、検証データで確率を補正（キャリブレーション）します。また、サンプリングは学習データだけに行い、検証・テストは本番と同じ比率のまま評価します。