This commit is contained in:
init_mahdi 2025-11-01 12:59:31 +03:30
parent 1c7aacde15
commit baf287f266

View File

@ -1,4 +1,51 @@
# vllm_docs <div dir="rtl" align="right">
نصب و راه اندازی کتابخانه vllm # 📘 نصب و استفاده از vllm
چالش ها و مستندات راه اندازی
## بخش 1: نصب vllm
<details>
<summary> install via environments </summary>
#### مقدمه:
- بهتر است برای نصب این کتابخانه و یا کتابخانه‌هایی با وابستگی‌های زیاد از `uv` استفاده کنید:
🔗 لینک توضیحات بیشتر:
[https://docs.astral.sh/uv](https://docs.astral.sh/uv)
- دستور نصب `uv` :
```bash
curl -LsSf https://astral.sh/uv/install.sh | sh
```
- پیشنهاد میشود برای نصب `vllm` .حتما از محیط مجازی استفاده کنید
- دستور ساخت:
```uv venv --python 3.12```
- دستور فعالسازی: `source .venv/bin/activate`
### نصب vllm
- خب حالا نوبت به نصب `vllm` است
* نکته: بر اساس مدلی که میخواهید serve کنید نسخه مشخص شده و بهینه شده را انتخاب کنید.
* نمونه دستور نصب vllm مناسب با openai\oss:
<div dir="ltr" align="left">
uv pip install --pre vllm==0.10.1+gptoss \
--extra-index-url https://wheels.vllm.ai/gpt-oss/ \
--extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
--index-strategy unsafe-best-match
</div
نمونه دستور عادی نصب `vllm` :
uv pip install vllm --torch-backend=auto
صفحه مربوط به اطلاعات بیشتر برای نصب `vllm` :
🔗[https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation](https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation)
</details>
<details>
<summary> install via docker </summary>
detail of docker
</details>