StableLM Zephyr 3B is a lightweight chat model that is preference tuned for instruction following and Q&A-type tasks.
stablelm-zephyr
A lightweight chat model allowing accurate, and responsive output without requiring high-end hardware.
3b
Hızlı Kurulum (Ollama kuruluysa)
ollama run stablelm-zephyr
Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.
Varyantlar
Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.
| Etiket | Boyut | Bağlam | Girdi | Komut |
|---|---|---|---|---|
| latest | 1.6GB | 4K | Text |
ollama run stablelm-zephyr:latest
|
| 3b | 1.6GB | 4K | Text |
ollama run stablelm-zephyr:3b
|
| 3b-q2_K | 1.2GB | 4K | Text |
ollama run stablelm-zephyr:3b-q2_K
|
| 3b-q3_K_S | 1.3GB | 4K | Text |
ollama run stablelm-zephyr:3b-q3_K_S
|
| 3b-q3_K_M | 1.4GB | 4K | Text |
ollama run stablelm-zephyr:3b-q3_K_M
|
| 3b-q3_K_L | 1.5GB | 4K | Text |
ollama run stablelm-zephyr:3b-q3_K_L
|
| 3b-q4_0 | 1.6GB | 4K | Text |
ollama run stablelm-zephyr:3b-q4_0
|
| 3b-q4_1 | 1.8GB | 4K | Text |
ollama run stablelm-zephyr:3b-q4_1
|
| 3b-q4_K_S | 1.6GB | 4K | Text |
ollama run stablelm-zephyr:3b-q4_K_S
|
| 3b-q4_K_M | 1.7GB | 4K | Text |
ollama run stablelm-zephyr:3b-q4_K_M
|
| 3b-q5_0 | 1.9GB | 4K | Text |
ollama run stablelm-zephyr:3b-q5_0
|
| 3b-q5_1 | 2.1GB | 4K | Text |
ollama run stablelm-zephyr:3b-q5_1
|
| 3b-q5_K_S | 1.9GB | 4K | Text |
ollama run stablelm-zephyr:3b-q5_K_S
|
| 3b-q5_K_M | 2.0GB | 4K | Text |
ollama run stablelm-zephyr:3b-q5_K_M
|
| 3b-q6_K | 2.3GB | 4K | Text |
ollama run stablelm-zephyr:3b-q6_K
|
| 3b-q8_0 | 3.0GB | 4K | Text |
ollama run stablelm-zephyr:3b-q8_0
|
| 3b-fp16 | 5.6GB | 4K | Text |
ollama run stablelm-zephyr:3b-fp16
|