mistral-nemo

A state-of-the-art 12B model with 128k context length, built by Mistral AI in collaboration with NVIDIA.

Araç Kullanımı 12b
Hızlı Kurulum (Ollama kuruluysa)
ollama run mistral-nemo

Ollama kurulu değil mi? ollama.com/download — Windows, macOS ve Linux için ücretsiz. İlk çalıştırmada model indirilir, sonrası tamamen çevrimdışıdır.

Varyantlar

Boyut büyüdükçe kalite artar, donanım ihtiyacı yükselir. Başlangıç için küçük varyantı deneyin.

EtiketBoyutBağlamGirdiKomut
latest 7.1GB 1000K Text ollama run mistral-nemo:latest
12b 7.1GB 1000K Text ollama run mistral-nemo:12b
12b-instruct-2407-q2_K 4.8GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q2_K
12b-instruct-2407-q3_K_S 5.5GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q3_K_S
12b-instruct-2407-q3_K_M 6.1GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q3_K_M
12b-instruct-2407-q3_K_L 6.6GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q3_K_L
12b-instruct-2407-q4_0 7.1GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q4_0
12b-instruct-2407-q4_1 7.8GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q4_1
12b-instruct-2407-q4_K_S 7.1GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q4_K_S
12b-instruct-2407-q4_K_M 7.5GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q4_K_M
12b-instruct-2407-q5_0 8.5GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q5_0
12b-instruct-2407-q5_1 9.2GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q5_1
12b-instruct-2407-q5_K_S 8.5GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q5_K_S
12b-instruct-2407-q5_K_M 8.7GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q5_K_M
12b-instruct-2407-q6_K 10GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q6_K
12b-instruct-2407-q8_0 13GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-q8_0
12b-instruct-2407-fp16 25GB 1000K Text ollama run mistral-nemo:12b-instruct-2407-fp16

Model Detayları ve Benchmarklar (kaynak: ollama.com)

Mistral NeMo is a 12B model built in collaboration with NVIDIA. Mistral NeMo offers a large context window of up to 128k tokens. Its reasoning, world knowledge, and coding accuracy are state-of-the-art in its size category. As it relies on standard architecture, Mistral NeMo is easy to use and a drop-in replacement in any system using Mistral 7B.

nemo-base-performance.png

Reference

Blog

Hugging Face