面接の全体像と答え方

例えば次のように答えます（内容と数字は架空の例です）。「解約の予測モデルを作り、解約しそうなお客様に担当者が先に連絡する仕組みに組み込みました。成果は A/B テストで測り、モデルの上位の人に連絡した群と、これまでのルールで選んだ群を比べて、3か月の解約率が 2ポイント下がりました。月に換算すると約〇〇万円の売上を守った計算です。」のように、モデルの指標ではなくビジネスの指標と金額で話します。

大事なのは、モデル以外の要因と切り分けたことを説明することです。同じ時期にキャンペーンや季節の変化があっても、ランダムに分けた対照群と比べたので、差はモデルによるものだと言えます。A/B テストができなかった場合は、前後の比較だけでは他の要因が混ざることを認めたうえで、似た条件の群と比べるなどの工夫をしたと話します。自分の担当した範囲と、うまくいかなかった点も添えると信頼されます。

まず前提をそろえます。何の不正か（決済・アカウントの乗っ取り）、判定までに許される時間（決済なら数百 ms 以内）、見逃しと誤検知のどちらが重いかです。指標は、不正が少ない不均衡なデータなので、適合率・再現率・PR-AUC と、防いだ損失の金額、誤って止めた正常な取引の数を見ます。

データは過去の取引で、正解はチャージバックなどで数週間後に分かります。特徴量は、利用者の過去の行動との違い・直近の回数（5分間に何回か）・端末や場所です。モデルは勾配ブースティングから始め、オンラインで判定し、スコアで「通す・追加の確認・止める」に分けます。手口が変わる（コンセプトドリフト）ので、正解が遅れて届く前提で監視し、定期的に再学習します。判定の結果がラベルに影響する偏りにも触れます。

まず、誰が何を聞くか、答えの正確さがどれくらい重要か、文書の量と更新の頻度、権限の違いを確かめます。構成は RAG にします。文書を見出しで分割して埋め込み、ベクトル検索とキーワード検索を組み合わせ、再ランキングした上位を LLM に渡し、引用元を付けて答えさせます。

重要なのは権限で、利用者が見られない文書は検索の段階で除きます。評価は、実際の質問から評価データを作り、検索（正しい文書が上位にあるか）と生成（文書に沿って正しく答えたか）を分けて測り、変更のたびに流します。運用では、利用者の評価ボタンと失敗例の収集、文書の更新の自動取り込み、トークンの費用の監視を入れます。

例えば、次のような話し方をします（架空の例）。「需要予測のモデルで、オフラインの誤差は改善したのに、在庫の担当者に使われませんでした。話を聞くと、予測が毎日大きく変わるので信用できず、理由も分からないことが原因でした。」

「そこで、精度の指標に加えて予測の安定性も評価に入れ、特徴量の寄与を画面に出して、担当者と週に1回結果を見直す場を作りました。精度はわずかに下がりましたが、使われる割合が上がり、欠品が減りました。」のように、課題・自分の判断・結果・学んだこと（モデルの精度だけでなく、使われ方まで設計する）の順で話します。