本文へ移動

ホーム / PdM / 第5部 品質・障害・セキュリティ

第5部 品質・障害・セキュリティ・第12章

障害対応

★★☆ 重要6トピック・面接 3問

障害が起きたときに、プロダクトとして判断し、社内外へ伝え、振り返って次に活かすための知識を押さえる。

別のページで開く →

障害対応の演習を読み込んでいます…

12.1障害時の PdM の役割

用語★★☆ 重要
ひとことで

影響範囲の判断・ユーザーへの告知・優先順位の決定。原因の調査はエンジニアに任せ、情報の流れを整える。

障害が起きたとき、原因の調査と復旧はエンジニアに任せます。PdM の役割は影響の判断・ユーザーへの告知・優先順位の決定・社内への情報の流れを整えることです。調査中のエンジニアに何度も状況を聞くと復旧が遅れるので、情報はインシデントの指揮役(インシデントコマンダー)に集め、そこから受け取ります。

調査の現場には聞きに行かず、指揮役から情報を受け取るエンジニア調査・復旧インシデントコマンダー(指揮役)PdM影響の判断・告知・優先順位状況判断ユーザーサポート経営検知第一報定期更新復旧報事後報告原因不明でも早めに次の時刻を約束原因と対策ユーザーへの告知の流れ
障害時の情報の流れと、ユーザーへの告知のタイミング
やること具体的には
影響の判断誰が・何をできないか、件数・金額の見込み、重大度(どのレベルの障害か)を決める材料を出す
優先順位の決定新機能を止めて戻す、一部機能を止めて全体を守る、などのビジネス判断をする
告知ユーザー向けのお知らせ、サポート・営業・経営への共有
振り返りポストモーテムでユーザー・ビジネスへの影響を伝え、再発防止策を計画に入れる

SRE の「インシデント対応の役割」

SRE の「ポストモーテムの構成」

面接ではこう答える

障害が起きたとき、原因の調査と復旧はエンジニアに任せ、PdM は影響の判断、ユーザーへの告知、優先順位の決定、社内への情報の流れを整えることを受け持ちます。調査中のエンジニアに何度も状況を聞くと復旧が遅れるので、情報はインシデントの指揮役に集め、そこから受け取ります。新機能を戻す、一部の機能を止めて全体を守る、といったビジネスの判断を素早く出すのが PdM の役目だと考えています。

別のページで開く →

障害対応の演習を読み込んでいます…

12.2障害の重大度(SEV)

用語★★☆ 重要
ひとことで

障害の大きさを段階で表したもの。基準を事前に決めておくと、呼ぶ人・告知・報告をその場で迷わない。

重大度目安動き方の例
SEV1主要な機能(ログイン・決済)が多くの人で使えない。お金・個人情報に関わる夜間でも全員を呼ぶ。経営に即報告。告知を出す
SEV2一部の機能や一部の人で使えない。回避策がある担当チームで対応。必要なら告知
SEV3影響が小さい。見た目の不具合など通常の不具合として計画に入れる

重大度の基準は会社ごとに決めるもので、段階の数や名前も違います。大事なのは、障害が起きる前に基準を合意しておくことです。基準が決まっていると、誰を呼ぶか、告知を出すか、経営に報告するかをその場で迷いません。PdM は「どの機能が止まると、どれくらいの人とお金に影響するか」の情報を基準づくりに出します。

面接ではこう答える

重大度は障害の大きさを SEV1、SEV2 のような段階で表したもので、段階ごとに誰を呼ぶか、告知を出すか、経営に報告するかを決めておきます。例えば主要な機能が多くの人で使えない、お金や個人情報に関わるものは一番上にします。基準は会社ごとに違いますが、障害の前に合意しておくのが大事です。PdM としては、どの機能が止まるとどれだけの人とお金に影響するかの情報を出して基準づくりに関わります。

告知のタイミング:ユーザーへの影響を確かめたら、原因が分からなくても早めに第一報を出します(目安の時間を社内で決めておきます)。その後は「次は○時に更新します」と決めて定期的に更新し、復旧したら復旧報、落ち着いたら原因と対策の報告を出します。

【障害】一部のお客様でログインできない状態が発生しています
発生日時:11月12日 10:05 頃から
影響:アプリからのログインが失敗することがあります(Web は利用できます)
状況:原因を調査しています
次回のお知らせ:11:00 頃

推測の原因や、守れるか分からない復旧時刻は書きません。分かっている事実と、ユーザーができること(回避策)を短く書きます。

報出すとき書くこと
第一報影響を確かめたらすぐ(原因が分からなくても)起きていること・影響・回避策・次の更新時刻
続報約束した時刻ごと分かったこと・変わったこと・次の更新時刻
復旧報復旧を確かめたら復旧した時刻・残る影響・ユーザーにしてほしいこと
事後の報告原因と対策がまとまったら原因・影響の範囲・再発防止策
ひとことで

障害や負荷の集中のときに、なくても困らない機能を止めて主要な機能を守ること。どれを止めるかは事業の判断。

止めてもよい機能を先に決めておくと、全体が落ちるのを防げるログイン動かす検索動かす決済動かすおすすめ止めるレビュー止めるランキング止める負荷が高いとき・依存先が止まったとき:右の3つを止めて、左の3つを守るキルスイッチ(Feature Flag)で、すぐに止められるようにしておく
縮退:一部を止めて主要な機能を守る

障害や負荷の集中のときに、なくても困らない機能を止めて、主要な機能を守ることを縮退(デグレード)といいます。全部が止まるより、おすすめやランキングが出ないほうがずっとましです。どれを止めてよいかは事業の判断なので、PdM が事前に決めておきます。

事前に決めること例
守る機能ログイン・検索・購入
止めてよい機能おすすめ・レビュー・ランキング・通知の一斉送信
止めたときの見せ方欄ごと出さない/「ただいま表示できません」
止める手段と判断する人キルスイッチ。当番のエンジニアが判断してよい

面接ではこう答える

縮退は、障害や負荷の集中のときに、おすすめやランキングのように止めても困らない機能を止め、ログインや購入のような主要な機能を守ることです。全部止まるより一部が欠けるほうがずっとよいので、止めてよい機能と、止めたときの見せ方を事前に決めておきます。PdM としてはその優先順位を決め、キルスイッチで当番のエンジニアがすぐ止められるよう合意しておきます。

12.5ポストモーテム

用語★★☆ 重要
ひとことで

障害のあとに、個人を責めずに仕組みの問題を見つけ、再発防止策を決める振り返り。

振り返りは、対策が実行されて初めて意味がある障害ポストモーテム責めずに書く再発防止策担当と期限バックログ機能と並べる実行・確認「後でやる」のまま残るのを防ぐのが PdM の役目
ポストモーテムから対策の実行まで

ポストモーテムは、障害のあとに、個人を責めずに仕組みの問題を見つける振り返りです。「誰がミスしたか」ではなく「なぜそのミスが起きられたのか、どう防ぐか」を考えます。

項目PdM が持ち寄るもの・すること
影響影響を受けたユーザー数・問い合わせ件数・売上への影響
時系列告知を出した時刻、判断した内容と理由
原因(エンジニアが中心)
再発防止策機能開発と同じバックログに入れ、いつやるかを約束する
うまくいったこと次も同じようにできるよう記録する

面接ではこう答える

ポストモーテムは、障害のあとに、個人を責めずに仕組みの問題を見つける振り返りです。誰がミスしたかではなく、なぜそのミスが起きられたのか、どう防ぐかを考えます。PdM は影響を受けたユーザー数や売上への影響などの数字を持ち寄り、出てきた再発防止策を機能と同じバックログに入れて、いつやるかを約束します。対策が後回しのまま残るのを防ぐのが、PdM の大きな役目だと考えています。

12.6障害に備える

★☆☆ 発展
準備内容
連絡の経路夜間・休日に誰が誰に連絡するか。PdM の連絡先も入れる
判断してよい人フラグを切る・機能を止める・告知を出すを、誰がその場で決めてよいか
告知のひな形第一報・続報・復旧報の文面と、出す場所(お知らせ・SNS・メール)
影響の早見表機能ごとの利用者数・売上の目安。重大度の判断に使う
練習演習で一度流れを通す。ラボの障害対応の演習も使える

障害の最中に決めることを減らすほど、復旧は速くなります。判断の権限を当番に渡しておくのも PdM ができる大事な準備です。

この章のまとめ

🖨 まとめシート(印刷・PDF)
  • 原因の調査はエンジニアに任せ、PdM は影響の判断・告知・優先順位を受け持つ
  • 重大度の基準・告知の型・機能を絞る判断を、障害の前に決めておく
  • ポストモーテムの再発防止策を、機能と同じ計画に入れて実行させる
  • 障害時の PdM の役割:影響範囲の判断・ユーザーへの告知・優先順位の決定。原因の調査はエンジニアに任せ、情報の流れを整える。
  • 障害の重大度(SEV):障害の大きさを段階で表したもの。基準を事前に決めておくと、呼ぶ人・告知・報告をその場で迷わない。
  • 機能を絞って全体を守る:障害や負荷の集中のときに、なくても困らない機能を止めて主要な機能を守ること。どれを止めるかは事業の判断。
  • ポストモーテム:障害のあとに、個人を責めずに仕組みの問題を見つけ、再発防止策を決める振り返り。

この章のクイズ

面接ではこう聞かれる

まず答えを見ずに声に出して答え、そのあと開いて比べる。

Q1障害が起きたとき、PdM として何をしますか?

模範回答

原因の調査と復旧はエンジニアに任せ、私は影響の判断・告知・優先順位を担当します。まず誰が何をできないのか、件数や売上への影響を確かめ、重大度の判断材料を出します。ユーザーへの影響があれば、原因が分からなくても早めに第一報を出し、次の更新時刻を決めて定期的に知らせます。サポートや営業、経営への共有もまとめて行い、調査中のエンジニアに問い合わせが集中しないようにします。

新機能を止めて戻す、一部の機能を止めるなどのビジネス判断も PdM の役割です。復旧後はポストモーテムに参加して影響の数字を伝え、再発防止策をバックログに入れて、いつやるかを約束します。

深掘りされたら

  • 告知の文面で気をつけることは何ですか?
  • 再発防止と新機能の開発が競合したら、どう優先しますか?

見られているポイント影響判断・告知・優先順位・振り返り

Q2ユーザーへの障害のお知らせは、どのタイミングで何を書きますか?

模範回答

ユーザーへの影響を確かめたら、原因が分からなくても早めに第一報を出します。書くのは、発生した時刻、影響(誰が何をできないか)、いまの状況、回避策があればその方法、次にお知らせする時刻です。

その後は約束した時刻ごとに更新し、復旧したら復旧報、落ち着いたら原因と再発防止策の報告を出します。推測の原因や、守れるか分からない復旧時刻は書きません。文面のひな形と、誰が承認して出すかを事前に決めておくと、障害のときに迷わず出せます。

深掘りされたら

  • お詫びや補償は、誰がどう決めますか?

見られているポイント早い第一報・事実だけ・定期的な更新

Q3障害の再発防止策が、いつも後回しになってしまいます。PdM としてどうしますか?

模範回答

再発防止策を機能と同じバックログに入れ、担当と期限を決めて、優先順位を付ける場に必ず出すようにします。「別のリスト」に置くと、機能に押されて後回しになるからです。

そのうえで、放置したときの影響を数字にします。例えば「同じ障害が月1回起き、1回あたり売上が○円減り、問い合わせが○件来る」です。エラーバジェットポリシーで、使い切ったら安定化を優先すると決めておくのも有効です。実行したあとは、同じ障害が減ったかを確かめて報告します。

深掘りされたら

  • 対策が大きすぎて1スプリントに入らないときは?

見られているポイント対策を計画に組み込み、実行まで責任を持つ姿勢