wizard-vicuna

Wizard Vicuna is a 13B parameter model based on Llama 2 trained by MelodysDreamj.

13b
Hızlı Kurulum (Ollama kuruluysa)
ollama run wizard-vicuna

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 7.4GB 2K Text ollama run wizard-vicuna:latest
13b 7.4GB 2K Text ollama run wizard-vicuna:13b
13b-q2_K 5.4GB 2K Text ollama run wizard-vicuna:13b-q2_K
13b-q3_K_S 5.7GB 2K Text ollama run wizard-vicuna:13b-q3_K_S
13b-q3_K_M 6.3GB 2K Text ollama run wizard-vicuna:13b-q3_K_M
13b-q3_K_L 6.9GB 2K Text ollama run wizard-vicuna:13b-q3_K_L
13b-q4_0 7.4GB 2K Text ollama run wizard-vicuna:13b-q4_0
13b-q4_1 8.2GB 2K Text ollama run wizard-vicuna:13b-q4_1
13b-q4_K_S 7.4GB 2K Text ollama run wizard-vicuna:13b-q4_K_S
13b-q4_K_M 7.9GB 2K Text ollama run wizard-vicuna:13b-q4_K_M
13b-q5_0 9.0GB 2K Text ollama run wizard-vicuna:13b-q5_0
13b-q5_1 9.8GB 2K Text ollama run wizard-vicuna:13b-q5_1
13b-q5_K_S 9.0GB 2K Text ollama run wizard-vicuna:13b-q5_K_S
13b-q5_K_M 9.2GB 2K Text ollama run wizard-vicuna:13b-q5_K_M
13b-q6_K 11GB 2K Text ollama run wizard-vicuna:13b-q6_K
13b-q8_0 14GB 2K Text ollama run wizard-vicuna:13b-q8_0
13b-fp16 26GB 2K Text ollama run wizard-vicuna:13b-fp16

Model Detayları ve Benchmarklar (kaynak: ollama.com)

Wizard Vicuna is a 13B parameter model based on Llama 2 trained by MelodysDreamj.

CLI

Open the terminal and run ollama run wizard-vicuna

API

Example:

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "wizard-vicuna",
  "prompt":"Why is the sky blue?"
 }'

Memory requirements

  • 13b models generally require at least 16GB of RAM

Reference

The Bloke

MelodysDreamj