* They don't have state/memory. LLMs on their own cannot remember even what was sent to them in the previous prompt. That is an important limitation for many of the uses cases that require some form of state. * They are stochastic/probabilistic. If you send the same prompt to an LLM several times, you are likely to get different responses. While there are parameters, and in particular the temperature, to limit the variability in the response, this is an inherent property of their training that can create issues. * They have stale information and, on their own, don't have access to external data. An LLM on its own does not even know about the current time or day and does not have access to any information that was not present in its training set. * They are generally very large. This means that many costly GPU machines are needed for training and serving. In some cases, largest models have poor SLAs, particularly in terms of latency. * They hallucinate. LLMs do not have a notion of "truth" and they have usually been trained on a mix of good and bad content. They can produce very plausible but untruthful answers.
* 상태/메모리가 없습니다. LLM 자체는 이전 프롬프트에서 전송된 내용조차 기억할 수 없습니다. 이는 일부 형태의 상태가 필요한 많은 사용 사례에 중요한 제한 사항입니다. * 확률적/확률적입니다. 동일한 프롬프트를 LLM에 여러 번 보내면 다른 응답을 받을 가능성이 높습니다. 응답의 변동성을 제한하기 위한 매개변수, 특히 온도가 있지만, 이는 학습의 본질적인 특성으로 인해 문제를 일으킬 수 있습니다. * 오래된 정보를 가지고 있으며, 그 자체로 외부 데이터에 액세스할 수 없습니다. LLM은 그 자체로 현재 시간이나 날짜조차 알지 못하며 학습 세트에 없는 모든 정보에 액세스할 수 없습니다. * 일반적으로 매우 큽니다. 따라서 학습 및 서비스를 위해 많은 비용이 드는 GPU 머신이 필요합니다. 경우에 따라 가장 큰 모델은 특히 지연 시간 측면에서 SLA가 좋지 않을 수 있습니다. * Hallucination이 발생합니다. LLM은 "진실"에 대한 개념이 없으며 일반적으로 좋은 콘텐츠와 나쁜 콘텐츠가 혼합된 데이터로 학습됩니다. 그들은 매우 그럴듯하지만 진실하지 않은 답변을 생성할 수 있습니다.
* 상태/메모리가 없습니다. LLM 자체는 이전 프롬프트에서 전송된 내용조차 기억할 수 없습니다. 이는 일부 형태의 상태가 필요한 많은 사용 사례에 중요한 제한 사항입니다. * 확률적/확률적입니다. 동일한 프롬프트를 LLM에 여러 번 보내면 다른 응답을 받을 가능성이 높습니다. 응답의 변동성을 제한하기 위한 매개변수, 특히 온도가 있지만, 이는 학습의 본질적인 특성으로 인해 문제를 일으킬 수 있습니다. * 오래된 정보를 가지고 있으며, 그 자체로 외부 데이터에 액세스할 수 없습니다. LLM은 그 자체로 현재 시간이나 날짜조차 알지 못하며 학습 세트에 없는 모든 정보에 액세스할 수 없습니다. * 일반적으로 매우 큽니다. 따라서 학습 및 서비스를 위해 많은 비용이 드는 GPU 머신이 필요합니다. 경우에 따라 가장 큰 모델은 특히 지연 시간 측면에서 SLA가 좋지 않을 수 있습니다. * 홀루싱이 발생합니다. LLM은 "진실"에 대한 개념이 없으며 일반적으로 좋은 콘텐츠와 나쁜 콘텐츠가 혼합된 데이터로 학습됩니다. 그들은 매우 그럴듯하지만 진실하지 않은 답변을 생성할 수 있습니다.