Operation
止まる前に、
気づくこと
目指しているのは、障害が起きてから動くのではない状態です。
そのためには、異常を早く知らせる仕組みと、
戻せることを実際に試してある備えという
二つの土台が欠かせません。
取るだけで、誰も見ていない記録。
一度も戻したことのないバックアップ。
動いているシステムに関わる一人ひとりが、
夜中の電話に怯えずに済むように。
気づける状態を作ることに、腰を据えて取り組みます。
Monitoring
見張りかたと、知らせかた
監視
鳴りすぎる通知は、
誰も見なくなります。
死活だけでなく、応答時間、ディスクの空き、証明書の期限まで見ます。何が起きたら知らせてほしいのかを先に決め、本当に対応が必要なときだけ鳴るよう閾値を調整します。
バックアップ
取っているだけでは、
足りません。
保存期間と置き場所を決め、実際に戻す訓練をします。戻せることを確かめていないバックアップは、無いのと同じだと考えています。
運用を引き継いだお客様の声
ログは以前から取っていたのですが、誰も見ていませんでした。何が起きたら知らせるかを決めてもらってから、気づくのが早くなりました。
Response
障害が起きたときの動き
※一次対応の範囲
連絡体制
誰に、どの順番で、
何を伝えるか。
障害の重さごとに連絡先と手順を決めておきます。担当者が不在でも次の人に回るようにし、復旧後は原因と再発防止をまとめてお渡しします。
復旧手順
手順書があれば、
誰でも動けます。
その場で考えずに済むよう、復旧の手順を文書に残します。担当が変わっても同じ対応ができる状態にしておきます。
監視の間隔
1分ごと
死活と応答時間の確認
一次対応の目安
4時間以内
対応の内訳
復旧を経験したお客様の声
夜中に止まったとき、こちらが気づく前に連絡が来ていました。朝には戻っていて、何が起きたかの説明も届いていました。
Other Support
その他の運用まわり
運用でよくお引き受けしているもの
規模や体制に関わらず、止まらない状態を保つために必要なものを一通りお引き受けします。
サーバー監視
死活、応答時間、ディスク、メモリの監視と通知
証明書の更新
SSL証明書の期限管理と、自動更新の設定
バックアップ運用
取得、保存期間の管理、復元の訓練
ログの保全
保存期間の設計と、検索できる形での保管
OSとミドルウェアの更新
修正版の適用と、適用前の動作確認
負荷の確認
アクセスが増えたときの挙動確認と、増強のご提案
ドメインの管理
期限の管理と、DNSの設定変更
問い合わせ窓口
メール、チャット、電話での受付
Before / After
引き継ぐ前と、引き継いだ後
放置されていた環境を引き受けた例
ある環境では監視が入っておらず、止まったことに気づくのはお客様からの連絡でした。バックアップは設定されていましたが、一度も戻したことがありませんでした。
監視と通知を入れ、バックアップは実際に戻して確かめました。更新が止まっていたソフトも、動作を確認しながら順に上げています。いまは止まる前に気づける状態です。
Before
止まってから気づく
After
いまは
止まる前に知らせが来る
引き継いだあとのご感想
前の会社と連絡が取れなくなってから、ずっと不安でした。いまは何かあれば先に連絡が来るので、落ち着いて仕事ができています。
他のページを見る
Other
