事業運営

EC2障害対応の進め方|初動から自動復旧の判断基準

経営リスクナビ編集部

EC2障害対応は、応答なし・ログイン不可・一時停止といった事象が起きた瞬間に、技術調査と事業判断を同時に進める必要があります。初動の切り分けや証跡保全を曖昧にしたまま復旧操作を進めると、原因究明が難しくなるだけでなく、説明責任や再発防止の設計が後手に回ります。特に障害宣言後の15分30分で何を共有するかが決まっていないと、復旧作業が問い合わせ対応に押し流されがちです。以下では、EC2障害時の判断材料として初動の切り分けと復旧・自動復旧の設計ポイントを示します。

EC2障害対応の前提を整理

事業影響とRTO・RPOを先に置く

EC2障害では、技術調査に入る前に重要業務の特定と、当該業務の目標復旧時間(RTO)目標復旧時点(RPO)を先に置いて判断します。参照資料でも、金融機関の決済業務のように処理の時限性がある業務では、RTOが事業継続マネジメント上の意思決定ファクターになるとされています。例えば「1か月以内に復旧しなければならない重要業務」のように期限が明確な場合、バックアップ方式(例:リアルタイムでのオフサイトバックアップ等)を含め、復旧戦略そのものが先に決まるべきです。

先に決めておく判断軸
  • 影響を受けた重要業務(売上・信用・法令/契約・顧客影響の観点で優先順位付け)
  • その業務のRTO(いつまでに機能回復が必要か)
  • その業務のRPO(どの時点のデータまで戻せば許容できるか)
  • 復旧方針(原因究明を優先するのか、切替・作り直しを優先するのか)

EC2障害の原因を4類型で見る

EC2の障害は、闇雲に復旧操作をするほど二次被害が起きやすいため、初動の切り分けを4類型で固定しておくと実務が安定します。加えて、参照資料が挙げるインシデント例(脆弱性悪用の不正侵入、ssh/ftp/telnetへのブルートフォース成功、キーロガー機能を持つマルウェア等)のように、「障害に見える事象」がセキュリティインシデントの入口である場合もあるため、技術原因の分類と並行して「不正利用の可能性」も同時に疑う設計が重要です。

類型 主な兆候 初動の当たり 注意点
AWS基盤(ホスト/電源/基盤NW) システムステータスチェック不合格等 AWS側事象として扱い、復旧手段の選別を先に 利用者側でOS内部を触っても解決しないことがある
OS/ファイルシステム/リソース インスタンスステータスチェック不合格、起動不良 ログ/設定/リソース枯渇の確認 不用意な再起動でログや状態が変わる
ネットワーク設定 到達不能、許可ポート不一致 SG/NACL/ルート/経路の確認 攻撃者がルーター/Firewall設定を変更する事例もあるため変更痕跡も見る
アプリ/ミドル層 プロセス停止、応答遅延、依存先エラー プロセス/接続先/設定の確認 「障害」ではなく侵害(不正ログイン等)である可能性を排除しない
4類型での一次切り分け

EC2障害の初動対応

状況整理と関係者連絡を分ける

障害時は、状況整理(技術・証跡確保)連絡(社内外調整)を分業します。同一人物が両方を抱えると、復旧判断が遅れるだけでなく、参照資料が指摘するように初期対応を誤ると原因究明ができなくなる、また取引先から証拠隠滅を疑われるリスクも上がります。特にセキュリティインシデントが疑われる局面では、復旧を急ぐほど「ログが上書きされる」「変更の履歴が追えない」といった実務上の損失が起こり得ます。

役割分担(最低限)
  • 技術統括(復旧方針・変更承認・リスク判断)
  • 調査担当(メトリクス/ログ/変更履歴/到達性の一次調査)
  • 連絡窓口(社内・取引先・必要に応じた公表の調整)
  • 記録係(時系列、実施コマンド/操作、判断根拠、証跡保全の記録)

障害宣言から15分・30分で誰が何を報告するかを決める

障害宣言後は、15分30分の報告を定型化しておくと、復旧の邪魔になる問い合わせを抑えられます。参照資料でも、インシデント対応では組織内の情報共有、および取引先などへの報告と情報の公表といった論点が並行して発生する前提で章立てされており、技術対応と同じくらい「報告設計」が重要であることが読み取れます。

障害宣言後の定型報告(例)
  1. 15分時点:連絡窓口が影響範囲(どのサービス/顧客/業務か)と現状(応答なし/ログイン不可/一時停止等)を速報し、次回報告時刻を宣言します。
  2. 30分時点:技術統括が暫定原因仮説(4類型のどれか)と当面方針(切替・復旧・保全優先)およびRTOに照らした見込みを中間報告します。
  3. 以後:長期化に備え、参照資料が示す「長期化に備えた体制の整備」の観点で、交代要員・記録・意思決定者の稼働計画もセットで更新します。
広告

EC2インスタンスの切り分け

ステータスチェックの意味を読む

ステータスチェックは、一次切り分けの最短ルートです。システムステータスチェックは主にAWS基盤側(ホスト、基盤ネットワーク等)の異常を示し、利用者がOS内部を操作しても改善しない局面があります。インスタンスステータスチェックは主にOS内部(起動不良、ドライバ/設定、リソース枯渇、ファイルシステム等)を示し、利用者側の調査・是正が必要になります。

また、単なる障害に見えても、参照資料が例示するsshへのブルートフォース攻撃のような不正アクセスが並行している場合、到達不能が「設定ミス」ではなく「遮断・遠断(アクセス制御)」の結果である可能性もあります。ステータスチェックの結果は、復旧操作の前に「何が壊れているのか」を短時間で言語化するための基礎情報として扱います。

ステータスチェックからの初動分岐
  • システムステータス不合格:AWS基盤起因を優先仮説にし、停止・起動等の手段選択と並行してAWSサポートへの情報整理を進めます。
  • インスタンスステータス不合格:OSログ/リソース/ファイルシステム/設定変更を優先し、必要ならEBS保全のうえで調査します。

直前変更がある障害でCloudTrail・IaC差分をどこまで追うか

直前まで正常だったのに障害化した場合、原因の多くは「変更」です。参照資料でも、攻撃者が窃取した認証情報を不正利用してクラウドサービス設定を変更するリスクが指摘されており、障害調査では意図しない設定変更の有無を一次論点として扱うのが安全です。

直前変更の追跡範囲(現実的な線引き)
  1. CloudTrailで「誰が・いつ・何を変えたか」を追い、停止/起動、SG変更、ルート変更、IAM周りの操作など影響の大きいイベントを優先的に確認します。
  2. IaC(Terraform/CloudFormation等)で差分とドリフトを確認し、「コード上は正しいのに実環境が違う」状態を潰します。
  3. 侵害の可能性がある場合は、参照資料の観点に沿って高権限アカウントの利用状況を重点監視し、必要に応じてパスワード変更等の環境正常化も並行します。

EC2復旧とバックアップ判断

ログイン可能時の調査項目を絞る

ログインできる場合でも、調査を広げすぎると復旧判断が遅れます。運用手順としては、リソースネットワーク主要ログに絞り、RTOに間に合わないと判断したら「その場の復旧」から「作り直し/切替」に方針転換します。

加えて、セキュリティ観点では「ログを取れていないと変更箇所の特定・復旧ができない」ため、参照資料が示すように平時から監査・ログ取得を準備しておくことが前提になります。

ログイン可能時の最小セット
  • CPU・メモリ・ディスク逼迫の有無(逼迫なら異常プロセス/異常ジョブを特定)
  • 待受ポート・名前解決・依存先到達性(遮断や経路異常の切り分け)
  • OS/アプリのエラーログの時系列(直前変更・再起動・障害発生時刻と突合)

ログイン不可時はネットワークから見る

ログイン不可は、まず「経路」を疑います。セキュリティグループ、ルートテーブル、NACL、踏み台/VPNなどの前提経路を、変更履歴と合わせて確認します。参照資料にも、システム管理者が把握していない外部接続経路(例:VPN)が存在し得る旨があり、想定外経路は痕跡の有無に関わらず即時遮断が望ましいとされています。障害対応でも同様に、把握していない経路は「復旧の盲点」になりやすいです。

ログイン不可時の確認順(外側から内側へ)
  • セキュリティグループで管理ポート(例:SSH/RDP)を許可しているか、アクセス元IPが想定どおりか
  • ルートテーブルとゲートウェイ(IGW/NAT/VPN等)の経路が意図どおりか
  • 管理経路(踏み台、VPN、SSO等)の存在と、想定外経路の有無(存在するなら遮断・調査)
  • ネットワーク機器相当の設定変更(Firewall/ルーター)の痕跡がないか

再起動と停止・起動の差で選ぶ

再起動と停止・起動は同じ「再稼働」に見えても意味が違います。再起動は原則として同一ホスト上でOSを立ち上げ直す操作であり、ホスト障害には効きにくいです。停止・起動は、結果として別ホストに載り替わることで改善するケースがあります。

一方で、参照資料が挙げるインシデント(不正侵入等)が疑われる場合、拙速な再起動や停止・起動は証跡(ログ)の欠落や上書きにつながり得ます。復旧を急ぐ局面でも、最低限「EBSスナップショット等で保全してから操作する」判断を組み込みます。

選択肢 主に狙う効果 効きやすい原因 注意点
再起動 OS/プロセスのリフレッシュ 一時的ハング、メモリリーク、軽微な設定反映 侵害疑い時はログ保全を優先し、実行可否を判断します
停止・起動 ホスト差し替えを含む再稼働 AWS基盤側の不調が疑われる場合 IP変動や一時領域の消失など設計依存の影響を事前に把握します
再起動と停止・起動の使い分け

EBS・AMIで復旧を進める

EBS保全後に代替インスタンスを起動

復旧不能・長期化が見えたら、まずEBSを保全してから代替インスタンスへ移ります。参照資料でも、初期対応を誤ると原因究明が困難になり得る点や、外部から証拠隠滅を疑われ得る点が指摘されており、技術的にも説明責任の観点でも「保全→復旧」の順序が安全です。

EBS保全を前提にした復旧の流れ
  1. 可能なら対象インスタンスの状態変化を抑えるため、復旧方針を確定するまで不用意な変更を止めます。
  2. ルートEBS等のスナップショットを取得し、障害発生時点に近い状態を保全します。
  3. スナップショットから新規ボリュームを作成し、ヘルパーインスタンスにアタッチしてログや設定の確認・必要データの救出を行います。
  4. AMIやテンプレートから代替インスタンスを起動し、業務復旧を先行させます。

復旧・作り直し・ロールバックを選ぶ

選択肢は「復旧」「作り直し」「ロールバック」です。RTO/RPOに照らして、どれが最も事業影響を抑えるかで選びます。参照資料にある例のように、重要業務で「1か月以内に復旧」といった期限が置かれるなら、その期限を満たす手段(調査に時間を掛けない、切替を先行する等)を優先します。

選択肢 向く状況 メリット 注意点
現行インスタンスを復旧 原因が軽微で再現性が高い データ損失を抑えやすい 調査長期化でRTOを超えるリスクがあります
新規に作り直し(AMI等) OS破損、原因不明、再現性が低い 復旧時間を読める 設定の再適用漏れや秘密情報の再配置に注意します
ロールバック(スナップショット等) 直前変更で不整合が濃厚 短時間で健全状態に戻しやすい RPOによりデータ損失が許容されるかを必ず確認します
3つの選択肢の判断観点

バックアップ方針とリストア手順を決める

バックアップは「取る」だけでは足りず、リストア(戻す)手順が実行可能であることが必要です。参照資料でも、ログや監査設定が事前準備として重要(デフォルトでは取得無効でログが取れていない可能性がある)とされており、復旧時に必要な情報が欠ける状態は避けるべきです。

事前に手順書へ落とす項目
  • どのボリューム/データを、どの頻度・どの保持方針で保全するか(重要業務のRPOに紐付け)
  • スナップショットからボリュームを作成し、インスタンスへ再接続する一連の作業手順
  • OSがストレージを認識しマウントできることの確認観点(期待するパス/権限/サービス起動確認)
  • リストア後に「何をもって復旧完了とするか」(監視復帰、業務確認、性能確認、関係者報告)
広告

AWSの自動復旧と監視設計

Auto Recoveryの条件と限界を知る

Auto Recovery(簡易自動復旧)は、主にAWS基盤側の障害(物理ホスト故障、電源喪失、物理的なネットワーク断など)で効果を発揮します。一方で、参照資料が挙げるような不正侵入や、OS内部の設定ミス・メモリ枯渇など「インスタンス内要因」には効かないことがあります。

また、復旧を自動化するほど「意図しない設定変更」を見落としやすくなるため、参照資料の復旧チェック観点(監査ログ取得、高権限アカウントの利用状況の定期監視、2要素認証の導入等)も含め、復旧と監視をセットで設計します。

Auto Recoveryでカバーしにくい領域
  • OS設定誤りやファイルシステム破損など、インスタンス内部の論理障害
  • 認証情報窃取や不正ログイン等に起因する「障害に見える」事象
  • 監査ログが不足しており、復旧後に原因追跡ができない状態

CloudWatch監視と自動復旧を設計する

CloudWatchは、検知と復旧の自動化に有効ですが、設計次第で「復旧はしたが、原因が追えない」状態になります。参照資料が述べるとおり、変更箇所の特定・復旧のためには事前に監査設定が必要で、デフォルトではログ取得が無効で「取れていない可能性」があります。自動復旧を強化するほど、監査・ログ設計も同じ優先度で整備します。

監視から自動復旧までの設計手順
  1. システム/インスタンスのステータスチェック相当のメトリクスを監視対象として定義します。
  2. 閾値超過や失敗継続を条件にアラームを作成し、通知と復旧アクション(復旧系の実行)を分けて設計します。
  3. アラーム発報時に残すべき運用記録(時刻、対象ID、直前変更、実行アクション、結果)を定義し、後追い調査可能性を確保します。
  4. 監査・操作ログの取得範囲を見直し、意図しない設定変更の追跡ができる状態にします。

Auto Scalingで単一障害点を減らす

単一障害点(1台死んだら止まる)を減らすにはAuto Scalingが有効です。加えて、参照資料で強調される「設定上の不備を作らない」という観点からも、手作業の復旧を減らし、テンプレート化した構成で置換する設計は、人的ミスの低減に直結します。

Auto Scaling導入時に合わせて決めること
  • 置換の起点となるヘルスチェック(どの失敗を異常とみなすか)
  • 起動テンプレート/イメージの更新手順(パッチ適用後の反映漏れを防ぐ)
  • 置換後のログ/監査の引継ぎ(証跡が分断されない運用)

運用体制と耐障害性を整える

マルチAZとリージョン設計を考える

マルチAZは「ゾーン障害」までの耐性を上げ、リージョン冗長は「広域障害」まで視野に入れた設計です。重要業務の復旧期限が厳しい場合(参照資料の例:1か月以内に復旧しなければならない重要業務など)、復旧手段を運用で頑張るのではなく、構成で担保する必要が出ます。

重要業務から逆算する設計論点
  • マルチAZで同時稼働させ、片系障害時も処理継続できる構成にする
  • リージョン障害も対象にするなら、データ複製と切替手順(実施条件・判断者・手順)を事前定義する
  • 重要業務の「処理の時限性」に合わせ、切替に必要な依存サービス(認証、DNS、外部連携)も含めて設計する

手順書・権限・サポート活用を整える

復旧の成否は、技術力だけでなく「手順」「権限」「外部支援」で決まります。参照資料が示す復旧の観点では、(1) ログオン可能なIPや機器の制限、(3) 監査ログ取得、(4) 2要素認証などが挙げられており、障害対応でも「誰が何をできるか」と「後から追えるか」を平時に作っておくことが重要です。

平時に整える実務項目
  • 復旧手順書(EBS保全、代替起動、ロールバック、確認観点、報告テンプレート)
  • 障害対応に必要な最小権限(緊急時に止められない/直せないを防ぐ)
  • 監査ログの取得と保管(デフォルトで取得無効の領域がないか棚卸し)
  • 高権限アカウントの利用状況の定期監視(意図しない設定変更の検知)
  • 2要素認証の導入(特に高権限・リモートアクセス系)

よくある質問

EC2インスタンスが応答しない場合、まず何を確認すべきですか?

まずステータスチェックを確認し、「AWS基盤側か、インスタンス内部か」を分けます。加えて、参照資料が挙げるようにssh等へのブルートフォース成功による不正侵入が起点になることもあるため、「障害」だけでなく「侵害の可能性」を同時に疑い、直前の設定変更やログの有無も確認します。

最初の確認ポイント
  • システムステータスチェックの成否(AWS基盤起因の可能性)
  • インスタンスステータスチェックの成否(OS内部起因の可能性)
  • 直前の設定変更の有無(意図しない設定変更を含む)
  • 監査・操作ログが取得できているか(原因究明の可否に直結)

EC2 Auto Recoveryを有効にできないインスタンスはありますか?

あります。実装上の制約により、構成・インスタンスタイプ等によってAuto Recoveryが前提どおりに機能しない場合があります。そのため、参照資料が示す「クラウドの問題はサービス側ではなく利用者側の設定不備で起こり得る」という前提に立ち、機能可否を思い込みで判断せず、対象環境ごとに要件確認が必要です。

また、Auto Recoveryでカバーできない場合は、CloudWatchアラーム等で検知・通知・復旧アクションを設計し、復旧と同時に「監査ログが残る運用」も合わせて整備します。

CloudWatchだけで自動復旧まで完結させることは可能でしょうか?

可能ですが、前提として「復旧させる」だけでなく「後から追える」ことが必要です。参照資料では、変更箇所の特定・復旧のために事前の監査設定が重要で、デフォルトでは取得無効でログが取れていない可能性がある点が指摘されています。自動復旧の設計時点で、アラーム発報時の記録(対象、時刻、実行アクション、結果)と監査ログの取得範囲をセットで整備します。

障害調査でAWSサポートへ問い合わせるのはいつですか?

初動(ステータスチェック確認、到達性、直前変更の確認、可能な範囲のログ確認)を行っても原因が絞れず、特にAWS基盤側が疑われる場合に早期に問い合わせます。参照資料が指摘するように、初期対応を外すと原因究明が困難になるため、問い合わせ時は「発生時刻」「影響範囲」「対象」「ここまでに実施した操作と結果」を時系列で整理し、調査の前提を揃えます。

EC2障害対応への対応で次にすべきこと

EC2障害対応は、RTO/RPOを起点に復旧方針を決め、原因を4類型で切り分けたうえで、証跡保全と復旧操作の順序を崩さないことが要点です。初動は「状況整理」と「関係者連絡」を分け、障害宣言後の15分30分の定型報告で、影響範囲と暫定方針を継続的に更新できる形にしておくと運用が安定します。復旧手段は再起動/停止・起動、EBS・AMIを使った代替起動、ロールバックをRTO/RPOに照らして選び、侵害の可能性がある局面では先にEBSスナップショット等で保全します。自動復旧を強化するほど、監査・操作ログや直前変更の追跡(CloudTrail/IaC差分)を同じ優先度で整備し、「復旧はしたが原因が追えない」状態を避けることが重要です。個別環境の制約(Auto Recovery可否、権限設計、重要業務の期限など)が判断に影響するため、運用・セキュリティ・経営判断の責任者を交え、平時の手順書と監視設計からすり合わせます。



Baseconnect株式会社
サイト運営会社

本メディアは、「企業が経営リスクを正しく知り、素早く動けるように」という想いから、Baseconnect株式会社が運営しています。

当社は、日本最大級の法人データベース「Musubu」において国内1200万件超の企業情報を掲げ、企業の変化の兆しを捉える情報基盤を整備しています。

加えて、与信管理・コンプライアンスチェック・法人確認を支援する「Riskdog」では、年間20億件のリスク情報をAI処理、日々4000以上のニュース媒体を自動取得、1.8億件のデータベース等を活用し、取引先の倒産・不正等の兆候の早期把握を支援しています。

記事URLをコピーしました