.
This commit is contained in:
parent
1c7aacde15
commit
baf287f266
53
README.md
53
README.md
|
|
@ -1,4 +1,51 @@
|
|||
# vllm_docs
|
||||
<div dir="rtl" align="right">
|
||||
|
||||
نصب و راه اندازی کتابخانه vllm
|
||||
چالش ها و مستندات راه اندازی
|
||||
# 📘 نصب و استفاده از vllm
|
||||
|
||||
## بخش 1: نصب vllm
|
||||
|
||||
<details>
|
||||
<summary> install via environments </summary>
|
||||
|
||||
#### مقدمه:
|
||||
- بهتر است برای نصب این کتابخانه و یا کتابخانههایی با وابستگیهای زیاد از `uv` استفاده کنید:
|
||||
🔗 لینک توضیحات بیشتر:
|
||||
[https://docs.astral.sh/uv](https://docs.astral.sh/uv)
|
||||
|
||||
- دستور نصب `uv` :
|
||||
```bash
|
||||
curl -LsSf https://astral.sh/uv/install.sh | sh
|
||||
```
|
||||
- پیشنهاد میشود برای نصب `vllm` .حتما از محیط مجازی استفاده کنید
|
||||
- دستور ساخت:
|
||||
```uv venv --python 3.12```
|
||||
- دستور فعالسازی: `source .venv/bin/activate`
|
||||
### نصب vllm
|
||||
- خب حالا نوبت به نصب `vllm` است
|
||||
* نکته: بر اساس مدلی که میخواهید serve کنید نسخه مشخص شده و بهینه شده را انتخاب کنید.
|
||||
* نمونه دستور نصب vllm مناسب با openai\oss:
|
||||
|
||||
<div dir="ltr" align="left">
|
||||
|
||||
uv pip install --pre vllm==0.10.1+gptoss \
|
||||
--extra-index-url https://wheels.vllm.ai/gpt-oss/ \
|
||||
--extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
|
||||
--index-strategy unsafe-best-match
|
||||
</div
|
||||
|
||||
|
||||
نمونه دستور عادی نصب `vllm` :
|
||||
|
||||
uv pip install vllm --torch-backend=auto
|
||||
|
||||
صفحه مربوط به اطلاعات بیشتر برای نصب `vllm` :
|
||||
🔗[https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation](https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation)
|
||||
|
||||
|
||||
</details>
|
||||
|
||||
<details>
|
||||
<summary> install via docker </summary>
|
||||
|
||||
detail of docker
|
||||
</details>
|
||||
Loading…
Reference in New Issue
Block a user