init_mahdi/vllm_docs

init_mahdi baf287f266 .

2025-11-01 12:59:31 +03:30

1.7 KiB

Raw Blame History

📘 نصب و استفاده از vllm

بخش 1: نصب vllm

install via environments

مقدمه:

بهتر است برای نصب این کتابخانه و یا کتابخانه‌هایی با وابستگی‌های زیاد از uv استفاده کنید:
🔗 لینک توضیحات بیشتر:
https://docs.astral.sh/uv

دستور نصب uv :

curl -LsSf https://astral.sh/uv/install.sh | sh

پیشنهاد میشود برای نصب vllm .حتما از محیط مجازی استفاده کنید
دستور ساخت: uv venv --python 3.12
دستور فعالسازی: source .venv/bin/activate

نصب vllm

خب حالا نوبت به نصب vllm است

نکته: بر اساس مدلی که میخواهید serve کنید نسخه مشخص شده و بهینه شده را انتخاب کنید.
نمونه دستور نصب vllm مناسب با openai\oss:

uv pip install --pre vllm==0.10.1+gptoss \ 
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-match

نمونه دستور عادی نصب vllm :

uv pip install vllm --torch-backend=auto

صفحه مربوط به اطلاعات بیشتر برای نصب vllm : 🔗https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation

install via docker

detail of docker