本文へ移動

ホーム / EM / 第3部 信頼性と運用

第3部 信頼性と運用・第6章

オンコールと運用の負担

★★☆ 重要5トピック・面接 3問

オンコールが一部の人の燃え尽きにつながらないよう、負担を測って仕組みで減らすための知識を押さえる。

ひとことで

呼び出しの回数・夜間の負担・アラートの質を測り、燃え尽きないように仕組みを直す。

オンコール(夜間・休日も含めて呼び出しに応じる当番)は、放っておくと一部の人に負担が集まり、燃え尽きや離職の原因になります。EM は負担を数字で測り、仕組みで減らします。

オンコールの指標

指標見方動くきっかけ(例)
呼び出しの回数(週・人ごと)増えていないか、特定の人・サービスに偏っていないか1シフトに何件も続く週がある
夜間・休日の呼び出し睡眠を妨げる回数毎週のように夜中に起こされる
対応不要だったアラートの割合鳴ったが何もしなかった・自然に直ったもの半分近くが対応不要
応答・復旧までの時間手順書があるか、権限が足りているか調べ方が人によって違う
ローテーションの人数何週に1回当番が回ってくるか2〜3週に1回より頻繁

Google の SRE 本では、12時間のシフトで対応するインシデントは多くても2件程度を目安にしています。人数や交代のしかたは「ローテーションの組み方」で扱います。

アラートの質を上げる

面接ではこう答える

オンコールは放っておくと一部の人に負担が集まり、燃え尽きや離職の原因になるので、まず数字で測ります。見るのは、人ごと・週ごとの呼び出しの回数、夜間や休日の呼び出し、鳴ったのに対応不要だったアラートの割合、ローテーションが何週に1回回ってくるか、などです。Google の SRE 本では、1シフトで対応するインシデントは多くても2件程度が目安とされています。数字が悪ければ、アラートの見直しや人数の確保など仕組みを直します。

ローテーションの例(2人体制・1週間交代)第1週主:A副:B第2週主:B副:C第3週主:C副:D第4週主:D副:E第5週主:E副:F副担当は翌週の主担当。引き継ぎ会で鳴ったアラートを見直してから交代する
副担当を翌週の主担当にすると、状況を知った人が引き継げる

ローテーションは、負担が偏らず、1人で抱えないように組みます。

決めること例・目安
体制主担当と副担当の2人。主が応答できないときに副へ自動で回す
交代の間隔1週間が多い。交代は平日の昼に、引き継ぎ会のあとで
人数当番が回ってくるのが数週に1回で済む人数。少ないなら他チームと合同にする
時差のある拠点拠点ごとに昼の時間帯を受け持つ(フォロー・ザ・サン)と夜間の呼び出しが減る
新しい人まず副担当や先輩の横で見る(シャドー)から始める
配慮夜間に呼ばれた翌日の休みや遅い出勤、手当の扱いを決めておく

Google の SRE 本では、主・副の2人体制・1週間交代なら、1拠点のチームで最低8人が必要としています(オンコールに使う時間を仕事の25%までに抑えるための数)。人数が足りないときは、当番の範囲を狭める・他チームと合同にする・夜間は重大なものだけにする、などを組み合わせます。

6.3アラートの質を上げる

用語★★☆ 重要
ひとことで

アラートは、利用者に影響があり、すぐ人が動く必要があるものだけにする。それ以外は消すかチケットにする。

アラートを減らすくり返しアラートが鳴る記録を残す引き継ぎ会で見直す毎週・鳴ったもの全部手を打つ消す・しきい値・自動化呼び出しが減る夜間の負担が下がる対応不要なアラートは残さない
鳴ったアラートを毎週すべて見直し、「すぐ人が動く必要があるもの」だけを残す

オンコールのつらさの多くは、鳴っても何もしなくてよいアラートから来ます。対応不要のアラートが多いと、慣れて無視するようになり、本当に大事なアラートを見落とします。

よいアラート悪いアラート
利用者への影響を表す(エラー率・応答時間・SLO の消費の速さ)原因の1つを表すだけ(CPU が 80%)
すぐ人が動く必要がある朝に見れば十分
手順書へのリンクがある鳴った人が何をすればよいか分からない
同じ原因で1回だけ鳴る同じ障害で何十件も鳴る

週1回のオンコール引き継ぎ会で、鳴ったアラートをすべて見直します。対応不要だったものは、消す・しきい値を変える・昼間に見るチケットにする、のどれかにします。「念のため」で残したアラートが増えていくのが一番の敵です。

SRE の「SREの実践」(アラート設計)

面接ではこう答える

よいアラートは、エラー率や応答時間のように利用者への影響を表し、鳴ったらすぐ人が動く必要があるものです。CPU 使用率のような原因の1つだけを表すアラートや、朝に見れば十分なものは、夜中に人を起こす理由になりません。対応不要のアラートが多いと慣れて無視するようになり、大事なものを見落とします。私は毎週の引き継ぎ会で鳴ったアラートを全部見直し、消すかしきい値を変えるかチケットにするかを決めるようにしています。

6.4トイルを減らす

用語★★☆ 重要
ひとことで

手作業で・くり返し発生し・自動化でき・やっても価値が残らない運用作業。時間を記録して大きいものから自動化する。

トイルの見分け方手作業人が操作するくり返し何度も発生する自動化できる判断がいらない価値が残らないやっても改善しない当てはまるほどトイル → 時間を記録して自動化
障害対応や設計の作業はトイルではない。くり返す手作業がトイル

トイルとは、手作業で・くり返し発生し・自動化でき・やっても価値が残らない運用作業です(例:毎週手でディスクを掃除する、決まった問い合わせに手でデータを直す)。放っておくと、サービスの成長に合わせてトイルも増え、開発の時間がなくなります。

進め方中身
記録する何の作業に週何時間使ったかを、ざっくりでよいので記録する
大きいものから時間 × 頻度が大きいものから自動化する
計画に入れる自動化の作業をスプリントに入れる。「手が空いたら」にしない
元を断つ問い合わせが多いなら、画面や仕様を直して問い合わせ自体を減らす

Google の SRE では、トイルを含む運用作業を仕事の50%以下に抑えることを目標にしています。EM は、トイルの時間をチームの数字として見えるようにし、自動化への投資を事業側に説明します。

面接ではこう答える

トイルは、手作業で、くり返し発生し、自動化でき、やっても価値が残らない運用作業のことです。毎週手でディスクを掃除する、決まった問い合わせに手でデータを直す、といったものが当てはまります。放っておくとサービスの成長に合わせて増え、開発の時間を食いつぶします。まず作業ごとの時間を記録し、時間と頻度の大きいものから自動化をスプリントに入れ、問い合わせ自体を減らせないかも考えます。

夜中に呼ばれた人が、その場で調べ方から考える状態だと、復旧が遅れ、負担も大きくなります。引き継ぎ会と手順書(ランブック)で、知識を人から仕組みに移します。

週1回の引き継ぎ会(30分ほど)

  • 先週鳴ったアラートと、対応の内容を一覧で見る。
  • 対応不要だったアラートの扱いを決める。
  • 手順書が足りなかった・古かったものを直すチケットを作る。
  • 今週の予定(大きなリリース、キャンペーン)と注意点を共有する。

手順書に書くこと

項目中身
このアラートの意味何が起きていて、利用者にどんな影響があるか
最初に見るものダッシュボード・ログの場所
よくある原因と対処切り戻し・再起動・スケールなどの具体的な手順
呼ぶ人自分で直せないとき、誰にどう連絡するか

手順書は、使った人がその場で直すのが一番よく育ちます。「古かったら直してよい」と明言しておきます。

この章のまとめ

🖨 まとめシート(印刷・PDF)
  • オンコールの負担は呼び出しの回数・夜間・対応不要の割合で測る
  • アラートは「利用者に影響があり、すぐ人が動く必要があるもの」だけにする
  • トイルは時間を記録し、多いものから自動化を計画に入れる
  • オンコールの負担を測る:呼び出しの回数・夜間の負担・アラートの質を測り、燃え尽きないように仕組みを直す。
  • アラートの質を上げる:アラートは、利用者に影響があり、すぐ人が動く必要があるものだけにする。それ以外は消すかチケットにする。
  • トイルを減らす:手作業で・くり返し発生し・自動化でき・やっても価値が残らない運用作業。時間を記録して大きいものから自動化する。

この章のクイズ

面接ではこう聞かれる

まず答えを見ずに声に出して答え、そのあと開いて比べる。

Q1メンバーから「オンコールがつらい」と相談されたら、どうしますか?

模範回答

まず、つらさの中身を数字と話の両方で確かめます。呼び出しの回数、夜間・休日の呼び出し、対応不要だったアラートの割合、特定の人やサービスに偏っていないか、ローテーションが何週に1回回ってくるか、です。

すぐできることは、夜間に呼ばれた翌日の休みや遅い出勤を認める、ローテーションの人数を増やす、手順書を整えて一人で抱えないようにすることです。根本の対策としては、毎週の引き継ぎ会で鳴ったアラートを全部見直し、すぐ人が動く必要のないものは消すか、昼間に見るチケットにします。くり返す手作業(トイル)は時間を記録して、多いものから自動化をスプリントに入れます。

改善の作業は「空いたらやる」ではなく、計画に正式に入れ、その後の呼び出しの数で効果を確かめて本人に伝えます。

深掘りされたら

  • オンコールの手当や代休はどう決めますか?
  • アラートを消して障害を見逃すのが怖い、と言われたら?

見られているポイント負担を測る・すぐの手当てと根本の対策

Q2アラートが多すぎて、オンコールの担当が疲れ切っています。どう改善しますか?

模範回答

まず直近数週間の呼び出しを全部一覧にし、アラートごとに回数と、実際に対応が必要だったかを分けます。対応不要だったものは、消す・しきい値を変える・昼間に見るチケットにする、のどれかにします。同じ障害で何十件も鳴るものはまとめます。

そのうえで、アラートを原因ではなく利用者への影響、たとえばエラー率や SLO の消費の速さで鳴らす形に寄せていきます。週1回の引き継ぎ会で見直しを続ける仕組みにし、呼び出しの回数と夜間の回数を毎月追って、減ったかを確かめます。担当の人には、夜中に呼ばれた翌日の休みなど、すぐできる配慮も並行して行います。

深掘りされたら

  • それでも減らない場合は、どうしますか?
  • どのアラートを残すかは誰が決めますか?

見られているポイントまず数字で現状をつかみ、仕組みで減らし続けるか

Q3トイルとは何ですか? チームのトイルをどう減らしますか?

模範回答

トイルは、手作業で、くり返し発生し、自動化でき、やっても価値が残らない運用作業です。障害の原因調査や設計の作業はトイルではありません。

減らすときは、まず作業ごとに週何時間使っているかをざっくり記録します。時間と頻度の大きいものから自動化をスプリントに入れ、「手が空いたらやる」にはしません。決まった問い合わせに手でデータを直しているなら、画面や仕様を直して問い合わせ自体を減らせないかも考えます。トイルの時間をチームの数字として見えるようにしておくと、自動化への投資を事業側に説明しやすくなります。

深掘りされたら

  • 自動化に時間を使うことを、PdM にどう説明しますか?

見られているポイントトイルの定義と、測ってから減らす進め方