2023-04-24データ分析業務を行っていると、こんな疑問を感じることがあります。施策を実施して効果確認を行ったけど、効果確認の結果がうまくいっていないような気がするデータのバイアスが機械学習モデルにどう影響するのだろうなど...当社では分析業務を通じて身に付けた知識・経験を技術ブログなどを通じて発信することも重視しております。実際、上記のような疑問の解決に役立つようなデータ分析技術の記事を当社社員が書いています。Qiitaこのストーリーでは、TDSEマガジンの技術記事から、2点取り上げて紹介します。データサイエンティストの業務内容が気になっている学生の方にも、どんな分析技術を使うのかがわかり、オススメの内容になっています。施策の効果を正しく見積もりたいときは、「差分の差分法」!とある店舗で売上を増加させるための施策を行ったときに、施策の効果を確認してほしいと依頼を受けることがあります。その時に施策を行った店舗の施策前後の売上を比較するのはあまり適切ではありません。売上前後で施策とは別の要因で売上が変動する可能性があるからです。施策を行った店舗と売上が同程度/同傾向である比較用の別店舗を用意して、その店舗との比較で効果を考えていく方が妥当な推定ができると考えられます。比較の際にはもともとの店舗の売り上げの違いを考慮するために、店舗毎に施策開始前後の比較を行い、その結果を店舗間で比較するといった考え方をする必要があります。この考え方を定式化したのが差分の差分法と呼ばれる方法です。本当は効果が小さい施策を過大評価して継続判断をしてしまい運用コストを払う、または本当は効果が大きい施策を過小評価して中止判断をしてしまい機会損失を生じる、といった事態を防ぐためには因果推論と呼ばれる手法群を活用して効果を正確に推定する必要がありますが、差分の差分法は因果推論の代表的な手法の一つです。差分の差分法について解説した記事を当社ブログ(TDSEマガジン)に掲載しています。記事は以下のような2部構成となっております。今回は差分の差分法という手法を解説します。理論編と実装編に分けての解説になります。差分の差分法の実装編になります。実装編本文中の数式は理論編のものとなります。理論編を合わせて御確認頂けますと幸いです。この節では実際にPythonを用いて、差分の差分法にもとづいた回帰分析及び集計を実装するコードを説明していきます。筆者のPython及び各モジュールのバージョンは下記の通りです。モジュールをインポートします。...https://www.tdse.jp/blog/tech/7266/施策の効果検証や因果推論の手法に興味がある方は読んでいただけるとうれしいです。機械学習技術が差別的な決定をすることを防ぐ「公平性」!機械学習を活用したAIシステムやアプリケーションを構築する上で、公平性を考えることは重要です。AIシステムやアプリケーションが特定の属性が不利益を被るような差別的な決定をすることは、社会倫理上許されることではありません。機械学習技術の中に潜む不公平性に対処するという課題は重要ですが、どうアプローチすればよいのか、そもそも何が起きているのか、感覚的にも理解しにくい部分があるのではないかと思われます。その中で、当社ブログに掲載している記事が公平性に関する基本事項や対処方法をまとめており、参考になるのではないかと思います。記事は3部構成となっております。1部では、公平性がどのようなものなのか、どのようにして不公平は起きるのかという基本的な部分を解説しています。2部では、公平性が満たされるとはどのようにして定式化ができるのかを数式を用いて説明し、不公平を緩和するためにはどのような方法があるのかという技術的な部分を取り上げています。3部では、公平性のための実用的なツールをいくつか紹介し、実際にツールを用いて不公平性の検出と対処を行う実装的な部分を紹介しています。日常生活の中に機械学習を活用したAIシステムやアプリケーションが浸透して久しいですが、それらは本当に適切な動作をしているのか、差別的な振舞いはしていないか、ということに疑問を持ち始めた方もいらっしゃるのではないでしょうか。前回は不公平なAIシステムの活用事例を紹介し公平性とはどんなものかを概観しました。不公平の原因はバイアスにあることを述べ、いくつかのバイアスを紹介しました。第2部では、いよいよ公平性の定義を扱います。いくつかの不公平性の緩和アルゴリズムも紹介します。ここで登場したアルゴリズムの1つを第3部で実際に実装していきますので楽しみにしていてください。前回は公平性の規準をいくつか定式化し、不公平性の緩和アルゴリズムを紹介しました。その中で、モデル間の予測精度と公平性のトレードオフや各モデルの精度指標および公平性指標の可視化についても扱っていきます。...https://www.tdse.jp/blog/tech/3307/2020年に公開されたものなので、内容がやや古い部分もあるかもしれませんが、公平性に関する論点がよくまとまっているので、公平性に関心がある方はぜひ読んでみていただければと思います。データサイエンティスト博士課程を中退して新卒でTDSEに入社。データサイエンティストとして様々な業界のデータ分析案件を担当。現在は主にwebマーケティングの案件のリーディングを行っている。「データに基づいて意思決定を高度化する」をミッションに掲げ、データを活用した可能性に溢れた豊かな社会をつくることを目指して活動しています。事業としては、ビッグデータからビジネスに役立つ価値を引き出し、お客様の課題を解決するサービスを提供しています。主要ビジネスのアナリティクスコンサルティングは、お客様の理想を達成するために問題をお客様と一緒に解決していく仕事であり、解決策の一つとしてデータサイエンスを活用しています。事前に要求されるビジネスの課題をデータサイエンスの世界に翻訳し、分析・システム実装まで繋げることをデータサイエンスの業務と考えています。創業より企業におけるデータ利活用を支援するエキスパート集団として、数多くのデータ利活用プロジェクトに参画しお客様を支援してきました。ビジネスの理解・経験を通じて蓄積されたノウハウ・実績と高度な解析力によって、分析・データ利活用サービスを提供しています。