エンジニアブログです。チームの多田(@tada_infra)です。エンジニアインターンって実際どうなん?に答えていくでした。コスト管理の課題にまつわるお話になります。コスト管理においてどんな課題が存在したかを記載します。大きく2つありました。チームでは月のはじめに前の月のサービスごとのコストをスプレッドシートに記録し、管理しています。前月の請求書から特定のサービスが以前の推移より高くなっているということを感知し、削減策を打ってきました。これではコストが高くなっていることや異常値の分析が翌月以降にならないと実施できない状況です。課金は従量課金制でなるべく早くコストの上昇を感知して対処を講じていくのが良いと思いますが、それが後手になっていました。コストの可視化ができていなかったこと上述のようにスプレッドシートでコストを管理していたのですが、サービスごとで月ごとの費用がわかるものの、日別やサービス別でのコスト推移が追えない状況でした。チーム以外のメンバーが簡単にアクセスできる場所がなかったことも課題に感じていました。続いて、これらの課題に対して取ったアクションを3つ紹介します。Explorerで確認してコスト削減余地があるか、コストは最適になっているかを確認していきました。ストレージタイプ等)のコスト削減余地があるものはコストを減らすように見直しを行いました。コストを削減することができました。検知がとてもありがたい気づきを与えてくれていると感じています。コンテナイメージが増えてきてスキャンが大量に走っていました。詳細は伏せますが、コストが前日と比べて3倍以上増えていたのを素早く気づいて改善の対応をチームで取れてよかったです。最後にコストの可視化です。2023で紹介されていたようにデータ基盤が整備されていっており、コストの可視化においてもこの基盤を使っていくことにしました。クエリできるようにしています。可視化していってます。コストを可視化していくことで関係者が速やかにランニングコストを確認できるようにしていきます。コストにまつわる課題とそれに対応するために取ったアクションをまとめました。コストの状況を掌握する力が向上したと感じます。いえ、新規サービスの開発や既存のシステムのリプレイス等でコスト推移は日々変化するため、作った仕組みで継続的な監視と見直しを行っていければと考えています。機械学習チームのテックリードを務めております機械学習エンジニアの島越(@nt_4o54)です。Firehoseを使用して、Snowflakeへストリームデータをロードする方法を紹介します。