51 lines
1.7 KiB
Markdown
51 lines
1.7 KiB
Markdown
<div dir="rtl" align="right">
|
|
|
|
# 📘 نصب و استفاده از vllm
|
|
|
|
## بخش 1: نصب vllm
|
|
|
|
<details>
|
|
<summary> install via environments </summary>
|
|
|
|
#### مقدمه:
|
|
- بهتر است برای نصب این کتابخانه و یا کتابخانه‌هایی با وابستگی‌های زیاد از `uv` استفاده کنید:
|
|
🔗 لینک توضیحات بیشتر:
|
|
[https://docs.astral.sh/uv](https://docs.astral.sh/uv)
|
|
|
|
- دستور نصب `uv` :
|
|
```bash
|
|
curl -LsSf https://astral.sh/uv/install.sh | sh
|
|
```
|
|
- پیشنهاد میشود برای نصب `vllm` .حتما از محیط مجازی استفاده کنید
|
|
- دستور ساخت:
|
|
```uv venv --python 3.12```
|
|
- دستور فعالسازی: `source .venv/bin/activate`
|
|
### نصب vllm
|
|
- خب حالا نوبت به نصب `vllm` است
|
|
* نکته: بر اساس مدلی که میخواهید serve کنید نسخه مشخص شده و بهینه شده را انتخاب کنید.
|
|
* نمونه دستور نصب vllm مناسب با openai\oss:
|
|
|
|
<div dir="ltr" align="left">
|
|
|
|
uv pip install --pre vllm==0.10.1+gptoss \
|
|
--extra-index-url https://wheels.vllm.ai/gpt-oss/ \
|
|
--extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
|
|
--index-strategy unsafe-best-match
|
|
</div
|
|
|
|
|
|
نمونه دستور عادی نصب `vllm` :
|
|
|
|
uv pip install vllm --torch-backend=auto
|
|
|
|
صفحه مربوط به اطلاعات بیشتر برای نصب `vllm` :
|
|
🔗[https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation](https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation)
|
|
|
|
|
|
</details>
|
|
|
|
<details>
|
|
<summary> install via docker </summary>
|
|
|
|
detail of docker
|
|
</details> |