<commit_before># TFX ユーザーガイド

## イントロダクション

TFX は TensorFlow 上で動作する、Google のプロダクションスケールの機械学習プラットフォームです。
これは機械学習システムを定義、起動、監視するために必要な設定フレームワークと共有ライブラリを提供し、
それらを機械学習システムに統合できるようにします。

## インストール

[![Python](https://img.shields.io/pypi/pyversions/tfx.svg?style=plastic)](https://github.com/tensorflow/tfx)
[![PyPI](https://badge.fury.io/py/tfx.svg)](https://badge.fury.io/py/tfx)

```
pip install tensorflow
pip install tfx
```

Note: [TensorFlow Serving](https://www.tensorflow.org/serving/),
[TensorFlow JS](https://js.tensorflow.org/),
[TensorFlow Lite](https://www.tensorflow.org/lite) オプションのコンポーネントです。これらのインストールについては、それぞれのドキュメントを確認してください。

Note: このコマンドは [Apache Beam](beam.md) を Direct runner と同時にインストールします。
別途、[Flink](https://flink.apache.org/)のようなストリーミングランナーをインストールする必要があります。

## コアコンポーネント

### TFX パイプライン

TFX パイプラインはいくつかのコンポーネントを用いて、特定の機械学習タスク (たとえば、
特定のデータを用いた回帰モデルの構築とデプロイ) を最終的に実行するためのデータフローを定義します。
パイプラインのコンポーネントは TFX のライブラリを用いて構築されます。
パイプラインの最終結果は、推論を要求する TFX デプロイメントターゲットかサービス、またはその両方です。

## TFX パイプライン コンポーネント

TFX パイプラインは一連のコンポーネントを連結したもので、[機械学習パイプライン](https://ja.wikipedia.org/wiki/%E3%83%91%E3%82%A4%E3%83%97%E3%83%A9%E3%82%A4%E3%83%B3%E5%87%A6%E7%90%86)を実装するもので、
スケーラブルでハイパフォーマンスな機械学習タスクのために設計されています。
これにはモデリング、訓練、推論のサービング、そしてオンライン、ネイティブモバイルアプリ、JavaScript へのデプロイの管理が含まれています。

TFX パイプラインには典型的には次のコンポーネントが含まれます :

- [**ExampleGen**](examplegen.md) はパイプラインの先頭に来るコンポーネントで、
  データセットの取り込みと、必要な場合には分割を行います。

- [**StatisticsGen**](statsgen.md) はデータセットの統計量を計算します。

- [**SchemaGen**](schemagen.md) は統計量を確認し、データのスキーマを生成します。

- [**ExampleValidator**](exampleval.md) はデータセットに異常値や欠損値が含まれないかを検査します。

- [**Transform**](transform.md) はデータセットに対して特徴量エンジニアリングを行います。

- [**Trainer**](trainer.md) はモデルを訓練します。

- [**Evaluator**](evaluator.md) は訓練させた結果について深く分析を行います。

- [**ModelValidator**](modelval.md) は出力されたモデルのバリデーションを手助けし、
  プロダクション環境に適用するのに「十分良さそう」であることを保証します。

- [**Pusher**](pusher.md) はサービスを提供するインフラストラクチャにモデルをデプロイします。

次の図はこれらのコンポーネント間でのデータのやり取りをあらわしています。

![Component Flow](diag_all.svg)
<commit_msg>fix unnatural sentence<commit_after># TFX ユーザーガイド

## イントロダクション

TFX は TensorFlow 上で動作する、Google のプロダクションスケールの機械学習プラットフォームです。
これは機械学習システムを定義、起動、監視するために必要な設定フレームワークと共有ライブラリを提供し、
それらを機械学習システムに統合できるようにします。

## インストール

[![Python](https://img.shields.io/pypi/pyversions/tfx.svg?style=plastic)](https://github.com/tensorflow/tfx)
[![PyPI](https://badge.fury.io/py/tfx.svg)](https://badge.fury.io/py/tfx)

```
pip install tensorflow
pip install tfx
```

Note: [TensorFlow Serving](https://www.tensorflow.org/serving/),
[TensorFlow JS](https://js.tensorflow.org/),
[TensorFlow Lite](https://www.tensorflow.org/lite) オプションのコンポーネントです。これらのインストールについては、それぞれのドキュメントを確認してください。

Note: このコマンドは [Apache Beam](beam.md) を Direct runner と同時にインストールします。
別途、[Flink](https://flink.apache.org/)のようなストリーミングランナーをインストールする必要があります。

## コアコンポーネント

### TFX パイプライン

TFX パイプラインはいくつかのコンポーネントを用いて、特定の機械学習タスク (たとえば、
特定のデータを用いた回帰モデルの構築とデプロイ) を最終的に実行するためのデータフローを定義します。
パイプラインのコンポーネントは TFX のライブラリを用いて構築されます。
パイプラインの最終結果は、推論を要求する TFX デプロイメントターゲットかサービス、またはその両方です。

## TFX パイプライン コンポーネント

TFX パイプラインは一連のコンポーネントを連結したもので、スケーラブルでハイパフォーマンスな機械学習を実現するように設計されています。
これにはモデリング、訓練、推論のサービング、そしてオンライン、ネイティブモバイルアプリ、JavaScript へのデプロイの管理が含まれています。

TFX パイプラインには典型的には次のコンポーネントが含まれます :

- [**ExampleGen**](examplegen.md) はパイプラインの先頭に来るコンポーネントで、
  データセットの取り込みと、必要な場合には分割を行います。

- [**StatisticsGen**](statsgen.md) はデータセットの統計量を計算します。

- [**SchemaGen**](schemagen.md) は統計量を確認し、データのスキーマを生成します。

- [**ExampleValidator**](exampleval.md) はデータセットに異常値や欠損値が含まれないかを検査します。

- [**Transform**](transform.md) はデータセットに対して特徴量エンジニアリングを行います。

- [**Trainer**](trainer.md) はモデルを訓練します。

- [**Evaluator**](evaluator.md) は訓練させた結果について深く分析を行います。

- [**ModelValidator**](modelval.md) は出力されたモデルのバリデーションを手助けし、
  プロダクション環境に適用するのに「十分良さそう」であることを保証します。

- [**Pusher**](pusher.md) はサービスを提供するインフラストラクチャにモデルをデプロイします。

次の図はこれらのコンポーネント間でのデータのやり取りをあらわしています。

![Component Flow](diag_all.svg)

{'fraction_non_alphanumeric': 0.14447300771208227, 'fraction_numerical': 0.008997429305912597, 'mean_word_length': 8.7275, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 17, 'lorem ipsum': 0, 'www.': 4, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6018629', 'n_tokens_mistral': 2901, 'n_tokens_neox': 2685, 'n_words': 169}