.
This commit is contained in:
		
							parent
							
								
									1c7aacde15
								
							
						
					
					
						commit
						baf287f266
					
				
							
								
								
									
										53
									
								
								README.md
									
									
									
									
									
								
							
							
						
						
									
										53
									
								
								README.md
									
									
									
									
									
								
							| 
						 | 
				
			
			@ -1,4 +1,51 @@
 | 
			
		|||
# vllm_docs
 | 
			
		||||
<div dir="rtl" align="right">
 | 
			
		||||
 | 
			
		||||
نصب و راه اندازی کتابخانه vllm 
 | 
			
		||||
چالش ها و مستندات راه اندازی 
 | 
			
		||||
# 📘 نصب و استفاده از vllm 
 | 
			
		||||
 | 
			
		||||
## بخش 1: نصب vllm
 | 
			
		||||
 | 
			
		||||
<details>
 | 
			
		||||
<summary> install via environments </summary>
 | 
			
		||||
 | 
			
		||||
#### مقدمه:
 | 
			
		||||
- بهتر است برای نصب این کتابخانه و یا کتابخانههایی با وابستگیهای زیاد از `uv` استفاده کنید:  
 | 
			
		||||
  🔗 لینک توضیحات بیشتر:  
 | 
			
		||||
  [https://docs.astral.sh/uv](https://docs.astral.sh/uv)
 | 
			
		||||
 | 
			
		||||
- دستور نصب `uv` :
 | 
			
		||||
  ```bash
 | 
			
		||||
  curl -LsSf https://astral.sh/uv/install.sh | sh
 | 
			
		||||
  ```
 | 
			
		||||
- پیشنهاد میشود برای نصب `vllm` .حتما از محیط مجازی استفاده کنید
 | 
			
		||||
- دستور ساخت: 
 | 
			
		||||
    ```uv venv --python 3.12```
 | 
			
		||||
- دستور فعالسازی: `source .venv/bin/activate`
 | 
			
		||||
### نصب vllm
 | 
			
		||||
- خب حالا نوبت به نصب `vllm` است 
 | 
			
		||||
* نکته: بر اساس مدلی که میخواهید serve کنید نسخه مشخص شده و بهینه شده را انتخاب کنید. 
 | 
			
		||||
* نمونه دستور نصب vllm مناسب با openai\oss:
 | 
			
		||||
 | 
			
		||||
<div dir="ltr" align="left">
 | 
			
		||||
 | 
			
		||||
    uv pip install --pre vllm==0.10.1+gptoss \ 
 | 
			
		||||
        --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
 | 
			
		||||
        --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
 | 
			
		||||
        --index-strategy unsafe-best-match 
 | 
			
		||||
</div
 | 
			
		||||
 | 
			
		||||
 | 
			
		||||
نمونه دستور عادی نصب `vllm` :
 | 
			
		||||
 | 
			
		||||
    uv pip install vllm --torch-backend=auto
 | 
			
		||||
 | 
			
		||||
صفحه مربوط به اطلاعات بیشتر برای نصب `vllm` :
 | 
			
		||||
    🔗[https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation](https://docs.vllm.ai/en/stable/getting_started/quickstart.html#installation)
 | 
			
		||||
 | 
			
		||||
 | 
			
		||||
</details>
 | 
			
		||||
 | 
			
		||||
<details>
 | 
			
		||||
<summary> install via docker </summary>
 | 
			
		||||
 | 
			
		||||
detail of docker
 | 
			
		||||
</details>
 | 
			
		||||
		Loading…
	
		Reference in New Issue
	
	Block a user