falcon2

Falcon2 is an 11B parameters causal decoder-only model built by TII and trained over 5T tokens.

11b
Hızlı Kurulum (Ollama kuruluysa)
ollama run falcon2

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 6.4GB 2K Text ollama run falcon2:latest
11b 6.4GB 2K Text ollama run falcon2:11b
11b-q2_K 4.3GB 2K Text ollama run falcon2:11b-q2_K
11b-q3_K_S 4.9GB 2K Text ollama run falcon2:11b-q3_K_S
11b-q3_K_M 5.4GB 2K Text ollama run falcon2:11b-q3_K_M
11b-q3_K_L 5.8GB 2K Text ollama run falcon2:11b-q3_K_L
11b-q4_0 6.4GB 2K Text ollama run falcon2:11b-q4_0
11b-q4_1 7.1GB 2K Text ollama run falcon2:11b-q4_1
11b-q4_K_S 6.4GB 2K Text ollama run falcon2:11b-q4_K_S
11b-q4_K_M 6.8GB 2K Text ollama run falcon2:11b-q4_K_M
11b-q5_0 7.7GB 2K Text ollama run falcon2:11b-q5_0
11b-q5_1 8.4GB 2K Text ollama run falcon2:11b-q5_1
11b-q5_K_S 7.7GB 2K Text ollama run falcon2:11b-q5_K_S
11b-q5_K_M 8.2GB 2K Text ollama run falcon2:11b-q5_K_M
11b-q6_K 9.2GB 2K Text ollama run falcon2:11b-q6_K
11b-q8_0 12GB 2K Text ollama run falcon2:11b-q8_0
11b-fp16 22GB 2K Text ollama run falcon2:11b-fp16

Model Detayları ve Benchmarklar (kaynak: ollama.com)