【失敗談】監視を絶対怠ってはいけない、絶対にだ。【失敗談】監視を絶対怠ってはいけない、絶対にだ。勝斗その他AWSGCPインフラ【失敗談】監視を絶対怠ってはいけない、絶対にだ。その他2024.01.25この記事は約3分で読めます。インプルの堀江@2児の父です。最近娘(6歳)がスマホの音声入力でGoogle画像検索することを覚えました。うちのオカンよりもうスマホ使いこなしてる。皆さんはWebサービスの監視やってますか?規模が大きくなればなるほど監視の仕組みは当たり前のように導入しているものですが、規模の大小関係なく監視はした方がいいです。それを実感させられた過去の失敗談を記事にして、監視の重要性をみなさんに共有したいと思います。起きたこと原因は?いつからそうなっていた?この経験を通じて気づいたことあとがき起きたことあるWebサービスを運営しているある日他部署の社員から「あのサービス、ログインできなくなってるよ」と連絡があった調べてみると、認証を行うAPIサーバーのCPU使用率が常に一定以上でビジー状態になっていた原因は?APIサーバーがKinsingというマルウェアに感染していたこれによってサーバー負荷が上がりっぱなしになり、ログイン処理がさばけない状態になったAPIサーバーはLaravelで開発をしており、Laravelの環境設定ファイルに設定ミスがあったことが直接原因(この設定ミスでセキュリティホールがうまれた)マルウェアの感染に気づいた時「は・・・?」となったのを今でも鮮烈に覚えています。いう状況を経験するのが初だったのと、私1人で開発、保守・運用していたサービスだったため、自力解決しなければいけないプレッシャーがありました。Monitoringといったモニタリングをするためのサービスが必ずあるので、サーバー構築とセットでおさえておきたいところ。Managerを活用してテンプレート化することで、監視漏れを防ぐことにも繋がります。監視をする仕組みは他にも色々あり、その中でも死活監視:UptimeRobotエラー監視:Sentryこういった既存のサービスを活用することで、異常にいち早く気づくことができます。Sentryはスマホアプリ、フロントエンドの異常検知に役立つので、使いこなせるといいかもです。今回の例でいうと、設定ファイルの異常検知もできるとなお良しですね。あとがき余談ですが、今回経験したトラブルは下記の記事のおかげで解決することができました。(Qiita)対処法を記事にまとめてくださった方、マジ感謝です。この記事のおかげで障害対応を迅速に終わらせることができました。本当にありがとうございました。本記事のアイキャッチ画像は、Canvaのマジックスタジオを使用して生成しています。