\(\bullet\)**VLM**[193] is a fast, memory efficient, and easy-to-use library for LLM inference and serving. To enable fast inference, it is specially optimized with high serving throughput, effective attention memory management using PagedAttention [193], continuous batching, and optimized CUDA kernels. Furthermore, vLLM also supports various decoding algorithms, tensor parallelism and streaming outputs. To ease the integration with other systems, vLLM is friendly to the use of HuggingFace models, and also provide OpenAI-compatible API servers.
\(\bullet\)**VLM**[193]은 LLM 추론 및 서비스를 위한 빠르고 메모리 효율적이며 사용하기 쉬운 라이브러리입니다. 빠른 추론을 가능하게 하기 위해 높은 서비스 처리량, PagedAttention [193]을 사용한 효과적인 attention 메모리 관리, 연속 batching, 최적화된 CUDA 커널로 특별히 최적화되었습니다. 또한 vLLM은 다양한 decoding 알고리즘, tensor parallelism 및 streaming 출력도 지원합니다. 다른 시스템과의 통합을 쉽게 하기 위해 vLLM은 HuggingFace 모델 사용에 친화적이며, OpenAI 호환 API 서버도 제공합니다.
\(\bullet\)**VLM**[193]은 LLM 추론 및 서비스를 위한 빠르고 메모리 효율적이며 사용하기 쉬운 라이브러리입니다. 빠른 추론을 가능하게 하기 위해 높은 서비스 처리량, PagedAttention [193]을 사용한 효과적인 주의 메모리 관리, 연속 배칭, 최적화된 CUDA 커널로 특별히 최적화되었습니다. 또한 vLLM은 다양한 디코딩 알고리즘, 텐서 병렬 처리 및 스트리밍 출력도 지원합니다. 다른 시스템과의 통합을 쉽게 하기 위해 vLLM은 HuggingFace 모델 사용에 친화적이며, OpenAI 호환 API 서버도 제공합니다.