API distillation is the process of using an API (typically from an LLM provider such as OpenAI) to train smaller models. In the case of LLMs, it is used to train the model from the direct output of the larger model which makes it very similar to response distillation. Many concerns are raised by this type of distillation because in cases where the model itself is not openly available, a (usually) paid API is exposed for end users. On the other hand, while users pay for each call, how to use the predictions is limited, for example, OpenAI prohibits usage of its API to create LLMs that later will be used to compete with it. The main value in such case is training data.
API distillation은 API(일반적으로 OpenAI와 같은 LLM 제공업체의)를 사용하여 더 작은 모델을 훈련하는 프로세스입니다. LLM의 경우, 더 큰 모델의 직접적인 출력을 통해 모델을 훈련하는 데 사용되므로 response distillation과 매우 유사합니다. 이러한 유형의 distillation은 모델 자체를 공개하지 않는 경우가 많기 때문에 일반적으로 유료 API가 최종 사용자에게 노출되는 경우 많은 우려가 제기됩니다. 반면, 사용자가 각 호출에 대해 비용을 지불하는 동안 예측을 사용하는 방법은 제한됩니다. 예를 들어, OpenAI는 자신의 API를 사용하여 경쟁할 LLM을 만드는 데 사용할 수 없도록 금지하고 있습니다. 이러한 경우의 주요 가치는 training data입니다.
API 증류는 API(일반적으로 OpenAI와 같은 LLM 제공업체의)를 사용하여 더 작은 모델을 훈련하는 프로세스입니다. LLM의 경우, 더 큰 모델의 직접적인 출력을 통해 모델을 훈련하는 데 사용되므로 응답 증류와 매우 유사합니다. 이러한 유형의 증류는 모델 자체를 공개하지 않는 경우가 많기 때문에 일반적으로 유료 API가 최종 사용자에게 노출되는 경우 많은 우려가 제기됩니다. 반면, 사용자가 각 호출에 대해 비용을 지불하는 동안 예측을 사용하는 방법은 제한됩니다. 예를 들어, OpenAI는 자신의 API를 사용하여 경쟁할 LLM을 만드는 데 사용할 수 없도록 금지하고 있습니다. 이러한 경우의 주요 가치는 훈련 데이터입니다.