📘 نصب و استفاده از vllm

بخش 1: نصب vllm

install via environments

مقدمه:

• بهتر است برای نصب این کتابخانه و یا کتابخانه‌هایی با وابستگی‌های زیاد از uv استفاده کنید:
  🔗 لینک توضیحات بیشتر:
  https://docs.astral.sh/uv

• دستور نصب uv :

  curl -LsSf https://astral.sh/uv/install.sh | sh
  

• پیشنهاد میشود برای نصب vllm .حتما از محیط مجازی استفاده کنید

• دستور ساخت: uv venv --python 3.12

• دستور فعالسازی: source .venv/bin/activate

نصب vllm

• خب حالا نوبت به نصب vllm است

• نکته: بر اساس مدلی که میخواهید serve کنید نسخه مشخص شده و بهینه شده را انتخاب کنید.
• نمونه دستور نصب vllm مناسب با openai\oss:

uv pip install --pre vllm==0.10.1+gptoss \ 
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-match 

نمونه دستور عادی نصب vllm :

uv pip install vllm --torch-backend=auto

صفحه مربوط به اطلاعات بیشتر برای نصب vllm : 🔗https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation

install via docker

detail of docker