ゆたろ@米国生活に怯えるデータサイエンティスト来年はどうやら家族で米国に行くようです。2024.08.13「データサイエンスにおいて、ドメイン知識が重要」そんなことを聞いたことがある人も多いのではないでしょうか。「専門知識が多ければ、よくわからんけど有利そうだよね」くらいにしか思っていませんでした。今回はそんなドメイン知識がどのように活かされるのか、これまでの経験から説明していきたいと思います。ドメイン知識とはデータの背景を知っていることであるデータサインエスを行う際に、分析者がそのデータのことについてどれくらい知っているかによってどのような分析アプローチを取るのか変わってきます。そのデータは誰が、いつ、どのようにして取得されたのかといった背景です。とあるアンケートの設問で職業を埋める欄があり、そこが空欄となっているデータがあるとします。この空欄の意味するところは何でしょうか?学生なので職業はない特殊な職業でなんて書けばよいかわからない職業欄自体を見落としていた無職、ニート空欄の意味を想像することはできますが、どれが正解かはわかりません。「主婦を対象としたアンケートなので、職業欄の空欄は専業主婦を表しており、しかも空欄の割合が多い」といったよな意図を理解することができます。アンケート作成に関わっていない分析者が単にアンケート結果を受け取っただけなのであれば、空欄の意味を知ることはできません。データの背景やビジネス観点を知らいないと、この空欄をどうやって埋めたらいいのか判断がつかないのです。ドメイン知識は特徴量エンジニアリングで活きてくる浅いながらもデータサイエンティストとして仕事をしていると、データの背景をしっかり理解していることで機械学習の予測精度が大きく改善する例を何度も目にしてきました。営業の例として「日報のデータから優秀な営業が行っている行動を分析することはできないか?」なんてことをよく聞かれます。この手の分析は非常に難しいテーマとなります。優秀な営業のもつノウハウはこまめにクライアントと連絡取っている何度もアプローチを仕掛けている業務態度が良好そういった普段の努力も少なからずあるとは思いますが、実際はお客さんと事あるごとに飲みに行っているゴルフを一緒にするお客さんが実は知り合いの知り合いといったような営業日報には表れない要素が売上と強い相関があったりするケースがあります。営業日報に飲みに行った回数や接待をした回数を測るような内容は書かない、むしろ書けないですよね。これらの内容がドメイン知識としてやはり重要になってくるのです。この場合どうやってそんな情報を集めるのか?時間も手間もかかりますが、実は優秀な営業さんを取っ捕まえてヒアリングあるのみなのです。分析を始める前に”そもそもどうして摩耗という物理現象が発生するのか?”という現場の人が一番詳しく知っている着目点に立ち戻って考えてみると、おのずと摩耗の原因となる要因が重要だとわかってきます。すると摩耗というメカニズムを数式で表現することで、より精度の高いモデルを作ることができるかもしれません。これらの知識はまさにドメイン知識であり、その業務を長年目にしている人こそが、真の特徴量エンジニアリングを成し得るのです。ドメイン知識を身に着けるには?ドメイン知識は一長一短で身につくものではないので、ある意味データサイエンスを学ぶよりも難易度が高いかもしれません。「データサイエンスから離れて1つの業務を長くこなす」これができれば、ドメイン知識は身に付きますが、それではデータサイエンティストとしての業務ができなくなりますよね。私のおすすめとしては、新卒でデータサイエンティストになるのではなく、他業界で経験を積んでからデータサイエンティストを目指す、ということです。実際、私の周りの成功しているデータサイエンティストは皆さんそれぞれの出身を持っている人が多いです。ドメイン知識の奥はとても深し。データサイエンスだけでは気が付けない世界がそこにはあるのです。機械学習で何かを予測するときはドメイン知識の神様である現場の人の意見を聞いて、課題解決に勤しんでください。Diffusionをご存じでしょうか。絵師泣かせと話題になっているのです。皆さん、こんにちは!ゆたろです。今回は実際のプロジェクトでの経験をもとに、機械学習を難しくするデータについてお話ししようと思います。前回の記事ではChatGPTを使うことでエクセルやPDFファイル、そして画像といった非構造化データからデータを抽出し、構造化データが作れることを検証しました。こんなことを聞いて来るお客様は非常に多いですが、総じてそういったお客様に対しては赤に近い黄色信号が点滅します。解決してくれる、D最適計画について説明をします。いわゆるマテリアルインフォマティクスってやつです。今回は機械学習の予測ではなくデータ解析能力を用いて行われる要因分析について説明をしていきます。要因分析は、「なぜ品質が変わったのか?」や「不良となってしまう原因は何か?」といった要因を分析していく手法です。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。ホームAI・データサイエンス自己紹介ゆたろです。データ分析やAI分析をやってます。最近は、自分もAIに駆逐されることを前提に一体何ができるかのを考えながら生きてます。ゆたろ@米国生活に怯えるデータサイエンティスト.ホーム検索トップサイドバータイトルとURLをコピーしました。