CallConnect運営者ブログCallConnect運営者ブログクラウド電話システムのCallConnectの運営メンバーによるブログです。2023-08-21BCP対策の一環として障害訓練を実施しましたカスタマーサクセスこんにちは、小俣です。サービス障害が起きないに越したことはありませんが、長くサービスを運用していると、外部・内部問わず様々な要因で障害が発生してしまうこともあります。そこで、弊社では、CallConnectに障害が発生した場合に備えて、定期的に障害訓練を実施しています。今回は、先日実施した障害訓練の様子についてまとめます。今回の訓練の目的は、以下のとおりです。障害対応フロー/ドキュメントの実用性を確認する障害発生時に誰でも障害報告できる状態を作ること障害発生時の対応手順は、以前から社内ドキュメントとしてまとめられており、メンバー全員に事前に共有されていました。対応スピードが求められる中で、実際に漏れなく実施できるかはやってみないとわかりません。特定のメンバーしか障害報告を作成できないとなると、いざそのメンバーがいない時に動きが遅くなるため、メンバー一人ひとりが手順をしっかりと把握しておくことが重要です。大まかな流れサーバーの障害でCallConnectを利用できない状況が発生Slackに障害通知が届く担当者は障害内容を踏まえて障害報告の文章を作成する障害報告をWeb上に公開する&一斉メールを送る(テスト環境)実施日程は2日に分けました。1日目はCSメンバー1名、2日目はエンジニアメンバー1名が障害報告までを担当し、私がチェック役として実施中のメンバーフォローを担当しました。両日とも、私が障害発生の通知をSlackに投稿し、訓練開始となりました。障害発生を受けて、実施担当者はすぐに以下のような対応を始めました。結果として、両日とも30分かからずに、障害報告のお知らせ公開と一斉メールの送信が完了しました。実施してみて訓練実施中や実施後の振り返りでは、以下のような気づきがありました。急いでいると、ドキュメントの一部を読み飛ばしてしまうことがあるため、フォントサイズを変更したり、改行したりして、ドキュメントの見やすさ・認知のしやすさを追求する必要がある使用頻度の低いツールだと操作に迷うことがあるため、定期的に触る機会を作って慣れておくことが大切お知らせ文章の細かい言い回しを気にするがあまりに時間がかかる場合もあるため、障害対応における優先事項を明確にしておく必要がある障害対応フロー/ドキュメントの改善点もいくつか見つけることができましたし、根本的な実用性を確認する良い機会にもなりました。今回の訓練の目的でもあった「誰でも障害報告できる状態を作ること」もできたのではないかと考えています。おわりにそもそもサービス障害が起きないように努めることは大前提ですが、夜間帯や土日に障害が発生してしまうケースも考えられるため、今後も様々なシチュエーションやリスクを想定して、定期的に訓練を実施していく予定です。障害発生時は、まずは「判明している状況を素早く伝えること」が大切だと考えているため、よりスピーディにお知らせできるように社内で共通認識を持って訓練を続けていきます。事前準備や訓練を怠らずに、いざという時でも安心・安全なサービス運営ができるように取り組んでまいります。12:13関連記事2022-12-06Webhook連携を使って通知を実装してみるこんにちは、本間です。vol.6」を開催しましたこんにちは、小俣です。vol.3」を開催しましたこんにちは、小俣です。»このブログについてクラウド電話システム「CallConnect」の運営メンバーによるブログです。CallConnectの開発・運営を行う中での知見を発信します。引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。