使用的软件是LM Studio

下载的是unsloth QWEN3.5 35B Q6K。

除了unsloth外底下两个也可以，看你我方遴荐。

加这个可以关闭想考格式

淌若高下文长度在4000token掌握，速率可以跑到42-43token/s，拉长到20K的高下文长度，速率会降到37-39token/s，但哪怕是37这个速率也填塞快了，并且这是Q6K，可能更多的东谈主会遴荐Q4KM的精度，高下文多小数的情况下也能跳动50token/s。

当今使用来看，星空app登录QWEN3.5 35B的上风是速率快，其他就一般般了。

QWEN3.5 27B相称猛，比QWEN3.5 35B强，能和QWEN3.5 122B-A10B互有赢输，但我这个12G显卡跑27B Q4KM只好3.6token/s的速率，险些不成用。16G显卡跑27B臆测也挺贫乏的，我菜只可跑Q3量化，只好24G显卡智力稳稳的跑27B星空app，又随机起码24G的苹果条记本智力免强跑跑27B。

开云体育(kaiyun)官网

• 星空app
• 实测
• 显卡
• Qwen3.5
• 12G