<commit_before>[![Open in Cloud Shell](https://gstatic.com/cloudssh/images/open-btn.png)](https://console.cloud.google.com/cloudshell/open?git_repo=https://github.com/Youki/gcp-getting-started-lab-jp&tutorial=machine_learning/cloud_ai_building_blocks/cloud_automl_tutorial.md)

# Cloud AutoML Vision: データの準備

Cloud AutoML のハンズオンで利用するデータを準備する手順を解説します。この手順では Cloud AutoML Vision 用のバケット "gs://${PROJECT_ID}-vcm" が作成されていること、 Cloud AutoML Vision 用のバケットに対する適切なアクセス権限設定が完了していることを前提にしています。この前提条件に関する詳細は[こちら](https://cloud.google.com/vision/automl/docs/quickstart) のドキュメントをご確認下さい。

## 画像データとラベルデータの保存先バケット名を設定する

GCP プロジェクトの ID を確認します。

```bash
gcloud projects list
```

Cloud AutoML を利用するプロジェクトの ID を環境変数に設定します。


```bash
export PROJECT_ID=your-project-id
```

データのコピー先となるバケットの名前を設定します。

```bash
export BUCKET="${PROJECT_ID}-vcm"
```

## サンプル画像とラベルデータをコピーする

画像データをコピーします。このコマンドが完了するまでに 20 分程度かかります。

```bash
gsutil -m cp -R gs://cloud-ml-data/img/flower_photos/ gs://${BUCKET}/img/
```

ラベルデータを置換した結果をローカルファイルに保存します。

```bash
gsutil cat gs://${BUCKET}/img/flower_photos/all_data.csv | sed "s:cloud-ml-data:${BUCKET}:" > all_data.csv
```

前の手順で保存したファイルを Cloud AutoML Vision 用のバケットにアップロードします。

```bash
gsutil -m cp -R gs://cloud-ml-data/img/flower_photos/ gs://${BUCKET}/img/
```
<commit_msg>Update cloud_automl_tutorial.md<commit_after>[![Open in Cloud Shell](https://gstatic.com/cloudssh/images/open-btn.png)](https://console.cloud.google.com/cloudshell/open?git_repo=https://github.com/Youki/gcp-getting-started-lab-jp&tutorial=machine_learning/cloud_ai_building_blocks/cloud_automl_tutorial.md)

# Cloud AutoML Vision: データの準備

Cloud AutoML のハンズオンで利用するデータを準備する手順を解説します。この手順では Cloud AutoML Vision 用のバケット "gs://${PROJECT_ID}-vcm" が作成されていること、 Cloud AutoML Vision 用のバケットに対する適切なアクセス権限設定が完了していることを前提にしています。この前提条件に関する詳細は[こちら](https://cloud.google.com/vision/automl/docs/quickstart) のドキュメントをご確認下さい。

## 画像データとラベルデータの保存先バケット名を設定する

GCP プロジェクトの ID を確認します。

```bash
gcloud projects list
```

Cloud AutoML を利用するプロジェクトの ID を環境変数に設定します。


```bash
export PROJECT_ID=your-project-id
```

データのコピー先となるバケットの名前を設定します。

```bash
export BUCKET="${PROJECT_ID}-vcm"
```

## サンプル画像とラベルデータをコピーする

画像データをコピーします。このコマンドが完了するまでに 20 分程度かかります。

```bash
gsutil -m cp -R gs://cloud-ml-data/img/flower_photos/ gs://${BUCKET}/img/
```

ラベルデータを置換した結果をローカルファイルに保存します。

```bash
gsutil cat gs://${BUCKET}/img/flower_photos/all_data.csv | sed "s:cloud-ml-data:${BUCKET}:" > all_data.csv
```

前の手順で保存したファイルを Cloud AutoML Vision 用のバケットにアップロードします。

```bash
gsutil cp all_data.csv gs://${BUCKET}/csv/
```

{'fraction_non_alphanumeric': 0.14571092831962398, 'fraction_numerical': 0.0015667841754798276, 'mean_word_length': 6.318051575931232, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 5, 'https://': 8, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '375063', 'n_tokens_mistral': 1485, 'n_tokens_neox': 1379, 'n_words': 147}