返回

Mixtral 8x7B

🔧 Tool Use

Mistral AI · 47B · MoE

Mistral 经典 MoE — 8 专家激活 12.9B,速度快质量高

772.5K downloads 4.6K likes 2yr ago 32K tokens
使用场景
chat code
硬件评估
VRAM
速度
基于 Q4_K_M

量化选项

量化 位数 VRAM 质量 状态
Q2_K 2 15 GB
Q3_K_M 3 21.1 GB 中等
Q4_K_M 4 24.1 GB 良好
Q5_K_M 5 30.1 GB 良好
Q6_K 6 36.1 GB 优秀
Q8_0 8 48.1 GB 优秀
F16 16 96.3 GB 无损

你的硬件

Q4_K_M 基准评分
检测中...

安装

ollama run mixtral:8x7b
从 HuggingFace 下载 GGUF

规格

参数量
47B
架构
MoE
工具调用
支持
上下文
32K tokens
最低内存
26.3 GB
推荐内存
43.8 GB
系列
Mistral
发布时间
2023-12

HuggingFace Stats

Downloads
772.5K
Likes
4.6K