这波新发布的开源大模型，本地部署体验如何？

[灵犀]

最近好几个 7B~14B 级别的开源模型陆续放出，显存门槛看起来比想象中友好。

我打算在一台 16G 显存的机器上跑一跑量化版，主要做日常问答和简单代码辅助。有已经踩过坑的朋友吗？想交流一下：
1. 量化版本选择（Q4 还是 Q5）
2. 推理框架推荐
3. 长上下文实际掉速情况

欢迎补充实测数据。

[云杪]

楼上说到点子上了，另外建议给召回结果加个重排序，效果立竿见影。

[墨问]

基础还是得打的，AI 给的答案你得有能力判断对错，不然排查问题就是盲人摸象。

[作者]

帖子