vicuna

General use chat model based on Llama and Llama 2 with 2K to 16K context sizes.

7b 13b 33b
Hızlı Kurulum (Ollama kuruluysa)
ollama run vicuna

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 3.8GB 4K Text ollama run vicuna:latest
7b 3.8GB 4K Text ollama run vicuna:7b
13b 7.4GB 4K Text ollama run vicuna:13b
33b 18GB 2K Text ollama run vicuna:33b
7b-16k 3.8GB 16K Text ollama run vicuna:7b-16k
7b-v1.5-16k-q2_K 2.8GB 16K Text ollama run vicuna:7b-v1.5-16k-q2_K
7b-v1.5-q2_K 2.8GB 4K Text ollama run vicuna:7b-v1.5-q2_K
7b-v1.5-16k-q3_K_S 2.9GB 16K Text ollama run vicuna:7b-v1.5-16k-q3_K_S
7b-v1.5-q3_K_S 2.9GB 4K Text ollama run vicuna:7b-v1.5-q3_K_S
7b-v1.5-16k-q3_K_M 3.3GB 16K Text ollama run vicuna:7b-v1.5-16k-q3_K_M
7b-v1.5-q3_K_M 3.3GB 4K Text ollama run vicuna:7b-v1.5-q3_K_M
7b-v1.5-16k-q3_K_L 3.6GB 16K Text ollama run vicuna:7b-v1.5-16k-q3_K_L
7b-v1.5-q3_K_L 3.6GB 4K Text ollama run vicuna:7b-v1.5-q3_K_L
7b-v1.5-16k-q4_0 3.8GB 16K Text ollama run vicuna:7b-v1.5-16k-q4_0
7b-v1.5-q4_0 3.8GB 4K Text ollama run vicuna:7b-v1.5-q4_0
7b-v1.5-16k-q4_1 4.2GB 16K Text ollama run vicuna:7b-v1.5-16k-q4_1
7b-v1.5-q4_1 4.2GB 4K Text ollama run vicuna:7b-v1.5-q4_1
7b-v1.5-16k-q4_K_S 3.9GB 16K Text ollama run vicuna:7b-v1.5-16k-q4_K_S
7b-v1.5-q4_K_S 3.9GB 4K Text ollama run vicuna:7b-v1.5-q4_K_S
7b-v1.5-16k-q4_K_M 4.1GB 16K Text ollama run vicuna:7b-v1.5-16k-q4_K_M
7b-v1.5-q4_K_M 4.1GB 4K Text ollama run vicuna:7b-v1.5-q4_K_M
7b-v1.5-16k-q5_0 4.7GB 16K Text ollama run vicuna:7b-v1.5-16k-q5_0
7b-v1.5-q5_0 4.7GB 4K Text ollama run vicuna:7b-v1.5-q5_0
7b-v1.5-16k-q5_1 5.1GB 16K Text ollama run vicuna:7b-v1.5-16k-q5_1
7b-v1.5-q5_1 5.1GB 4K Text ollama run vicuna:7b-v1.5-q5_1

86 varyant daha var — tümü için ollama.com.

Model Detayları ve Benchmarklar (kaynak: ollama.com)

Vicuna is a chat assistant model. It includes 3 different variants in 3 different sizes. v1.3 is trained by fine-tuning Llama and has a context size of 2048 tokens. v1.5 is trained by fine-tuning Llama 2 and has a context size of 2048 tokens. v1.5-16k is trained by fine-tuning Llama 2 and has a context size of 16k tokens. All three variants are trained using conversations collected from ShareGPT.

Example prompts

What is the meaning of life? Explain it in 5 paragraphs.

References

HuggingFace