license:mit region:us
---
license: mit
---

Trainデータセット日本語訳は、shumpei2525さんのレポジトリにあります。

https://huggingface.co/datasets/shumpei2525/OpenOrca-train-ja

Here is the dataset:shumpei2525/OpenOrca-train-ja

2023年7月14日時点

Open Orcaが公開したデータセット(GPT-3.5版のtestデータのみ)の翻訳です.

翻訳が失敗しているデータが存在します。

翻訳した結果、意味のないタスクとなっている場合があります。

ライセンスはmit引継ぎとしましたが、
商用利用に関しては、OpenAIの規約がよくわからないので注意してください。

---

以下は、Open OrcaデータセットのREADME.mdの日本語訳です。

---

# 🐋 Open Orca データセット! 🐋

Open Orca データセットのリリースを発表することを大変嬉しく思います！この豊富なFLANデータの拡張版は、Orca論文で概説されている分布とできるだけ一致するように調整されています。これは、高性能なモデルチェックポイントを生成する上で非常に役立っており、すべてのNLP研究者と開発者にとって貴重なリソースとなっています。

## データセットの概要

Open Orca データセットは、拡張されたFLANコレクションデータの集合です。現在、約100万のGPT-4の補完と約320万のGPT-3.5の補完が含まれています。これは、ORCA論文で提示された分布に従って表形式にまとめられ、現在は全体として意図されたデータセットの一部を表しています。このデータは、自然言語処理の分野での訓練と評価に主に使用されています。

## データセットの属性

以下の貢献者に特別な認識を与えたいと思います。彼らは大きな努力と献身を示してくれました：

- Teknium 
- WingLian/Caseus
- Eric Hartford
- NanoBit
- Pankaj
- Winddude
- Rohan
- AlignmentLab.ai:
- Autometa
- Entropi
- AtlasUnified
- NeverendingToast
- NanoBit
- WingLian/Caseus

そしてもちろん、常にコミュニティ全体の支柱であるTheBlokeに感謝します。

## サポートされるタスクとリーダーボード

このデータセットは、言語モデリング、テキスト生成、テキスト拡張などのさまざまなタスクをサポートしています。これは、私たちのユニットテストで優れたパフォーマンスを示した複数の高性能モデルチェックポイントの生成に重要な役割を果たしています。リーダーボードに関する詳細情報は、利用可能になると更新されます。

## データセットの構造

### データインスタンス

このデータセットのデータインスタンスは、FLANコレクションからのエントリを表し、リストに記載された質問をGPT-4またはGPT-3.5に提出することで拡張されています。その後、レスポンスがレスポンスフィールドに入力されます。

### データフィールド

フィールドは以下の通りです：

- 'id'：'niv'、't0'、'cot'、または'flan'のいずれかを含む一意の番号付き識別子。これは、'question'がどのソースのFLANコレクションサブミックスから取得されたかを示します。
- 'system_prompt'：データポイントのGPT-3.5またはGPT-4 APIに提示されたシステムプロンプトを表します。
- 'question'：FLANコレクションによって提供された質問エントリを表します。
- 'response'：GPT-3.5またはGPT-4へのクエリから受け取ったその質問への応答を表します。

### データスプリット

データは分割されていません。

## データセットの作成

### キュレーションの理由

このデータセットは、研究者や開発者に拡張テキストデータのソースを提供するために作成されました。データポイントは主に、GPT-3.5とGPT-4の詳細なステップバイステップの推論能力に依存するコアのFLANコレクションデータの強化を提供することを目的としています。

## データセットの使用

### 使用例

このデータセットは、言語理解、自然言語処理、機械学習モデルの訓練、モデルのパフォーマンス評価などのタスクに使用できます。

### 使用上の注意点

これは進行中のデータセットであるため、定期的に更新と改善をチェックすることをお勧めします。また、データはOrca論文で概説されているガイドラインと推奨事項に従って使用するべきです。

## はじめに

このデータセットは、Hugging Faceのデータセットライブラリを使用して直感的にロードできるように整理されています。ファイルのサイズが大きいため、ストリーミングを使用することをお勧めします。定期的な更新とデータ生成の進行状況は、Hugging FaceのOpenOrcaリポジトリを通じて監視することができます。

---

以上が、Open Orca データセットの

README.mdの日本語訳です。