どんなデータスキルが稼げるのか?【データ加工編】ChatGPTDataikuKaggle2023-07-12目次1.はじめに2.Kaggleとは3.Dataikuとは4.給与分析:データ加工編5.おわりにはじめにこんにちは、株式会社VillageAI取締役の松本祐輝です。GPTとChatGPTを使って、どんなデータスキルが稼げるのか?を分析して明らかにしてみたいと思います。Prediction」です。年の求人情報をスクレイピングして収集したデータで、下記のようなテーマで分析することを目的としているようです。今回は、データサイエンスの給与に最も影響を与える要因(スキル)を分析してみましょう。サイエンスの求人の給与を予測するKaggleとはKaggleとは、データサイエンティスト達が、自分たちのデータ分析力を磨く場として機能しているプラットフォームとなります。kaggleとはカグルと読み、kaggleに参加し、スキルを磨く方々をカグラーと呼びます。Learningと表記されるように、データサイエンスと機械学習の家と呼ばれ、世界中の、機械学習・データサイエンスに携わる約40万人が集まるコミュニティです。Kaggleの中では、企業や政府などの組織と、データ分析のプロであるデータサイエンティストや機械学習エンジニアを繋げるプラットフォームとして機能しており単純にエンジニアと企業をマッチングするのではなく、コンペが行われ盛り上がりをみせています。DataikuとはDataikuは、データサイエンスと機械学習のためのエンドツーエンドプラットフォームです。データの準備からモデルの展開までをサポートし、効率的なチームコラボレーションが実現できます。ビジネスユーザーやデータサイエンティストは、異種のデータソースからのデータ統合やモデル構築を簡素化できます。豊富なデータ可視化機能やセキュリティ対策も特長です。給与分析:データ加工編データの読み込み内容は、下表の通りです。本記事では、このデータを給与分析出来る形に加工していきます。本文DataikuのAnalyze機能を使って眺めたところ、給与がない(-1で表されてる)レコードや、重複レコードがあることが分かります。不要なレコードを削除Distinctレシピを使って、これらの不要なレコードを削除します。給与が◯◯〜◯◯というテキストになっているので、Prepareレシピを使って最小と最大、その平均の数値データを作成します。会社名が会社名だけでなく改行と評価が含まれてるのでこれの削除を行います。Titleが結構細かい粒度なので、もう少しざっくりしたもの(職種カテゴリ)にしたいと思います。GPTレシピを使って、下図のように7個に分類してみます。結果、下図のように分類されました。実務では分類結果を精査する必要がありますが、ここではAIを信じてそのまま進めます。次に、職務内容からデータ関連のスキルを抽出します。ChatGPTにデータ分析やデータサイエンスで重要とされるスキルを聞いてみましょう。GPTの質問回答レシピを使って、職務内容でこれらのスキルが求められているかどうかを質問して特徴量を作成します。出力結果をAnalyze機能で見てみると、下図のように値無しや不明なものがあるため、Prepareレシピで整えて完成です。最後に、今回作成した特徴量をChatsとStastiscタブを使って可視化します。給与(最小、平均、最大)職種カテゴリデータスキルおわりに本記事では、Dataikuで給与分析をするために以下のようなデータ加工を行いました。次回は、これらを使って、どんなデータスキルが稼げるのかを分析したいと思います。今回作成したフローを載せておきます。2020プライバシーポリシ。