调优、回滚,和把搜索从模型手里拿回来:12GB 显存机器的一周

这是「12GB 显存实录」的续篇,只讲上一篇发完之后这一周发生的事:13 组参数最后只活下来 1 个、一次不报错的静默退化、两个引擎完全相反的瓶颈、以及我怎么把「搜索」从模型手里拿回来。
上一篇《一台 12GB 显存的电脑,能装下多少本地 AI:45 天模型侧实录》写到 11 月 1 日为止,机器配置、三元量化、MTP 草稿深度、98K 上下文、文生图、虚拟机、MoE 为什么比稠密快,都在那篇里,这里不复述。
全文数字都是本机实测,包括后来被我自己推翻的那几个。


TL;DR

上一篇结尾我写「把每一分显存都算清楚了」,发完第二天就开始改。这一周我做了 13 组完整重启的对照实验,最后只留下一个参数;修掉一次四个参数同时退化、却一声不吭的故障;发现两个引擎的瓶颈正好相反;把默认搜索换成了不要 key 的;还把上一篇里刚搭好的旁路看板删了。

最值钱的不是留下的那一个参数,是终于把「看起来还有空间」和「瓶颈在那」分开了。

写在前面:上一篇发完的第二天

11 月 1 日那篇发出去的时候,机器是稳的:27B 跑 43.5 tok/s,MoE 引擎已经能扛长上下文,一个看板,一个自检菜单,断网全功能可用。

第二天我瞄了一眼监控,内存还剩一大截,显存也没吃满,输出速度 40 出头。

第一反应特别自然:还有空间,肯定还能压榨一下。

于是花了整整一天,把能想到的参数全试了一遍。


一、13 组参数,只活下来 1 个

我列了个单子,每组完整重启、固定负载、记数据:

混合精度 KV、MTP 权重再量化、线程池只绑 P 核、调大 CPU 池批任务数、把 host 线程挪到 GPU 中断核的兄弟核、加宽投机验证窗……

结果全在噪声带里。唯一站得住的是 --kv-grow——让 KV 按需增长,没用到的那部分显存还给专家缓存:

指标 改动前 改动后
专家缓存槽 1675 2548
1.9 万上下文 基准 +13~24%
5 万上下文 prefill 基准 +10%
长上下文 decode 持平 持平

看起来「加槽位有效」?但槽位涨了 52%,decode 几乎没动。这个反差让我停了一下。

顺带纠正一个自己之前的估算:我按 35B 那套外推过 128K 上下文的 KV 占用,写的是 6.5GB。实测 1.68 GiB。跨架构外推显存占用,能错到离谱。

调优最难的从来不是找到那个参数,是承认前面十二个都没用。

二、显卡在打盹

既然加显存没用,那就直接量卡在干嘛。decode 阶段连采 63 次:

1
2
3
GPU 利用率   中位 38%(峰值 100%)
功耗 中位 25W(上限 170W)
核心频率 中位 457MHz(峰值 1912MHz)

我盯着显存看了一整天,显卡在旁边降频打盹。

如果瓶颈在 GPU 算力,频率会一直顶在 1900。457MHz 说明它在等——等 CPU 侧的专家池把数据搬过来。

所以「再塞点专家进显存」天然没什么收益:喂不饱的不是显存,是搬运。

还有个反例挺有意思:把专家池只绑 P 核反而更慢。E 核单核性能弱,但它在贡献内存带宽。这种账,不测根本算不出来。

上一篇我写过「27B 贴着带宽天花板跑,是架构被判了死刑」;这一周补到的是另一半:125B 这边根本没碰到天花板,卡在 CPU 侧。 两台引擎,两个完全不同的尽头。

三、80 tok/s 是我自己造出来的

这次最扎心的一课。

早先测 32K 上下文时我拿到过 80 tok/s,还挺高兴。后来固定同一配置、同一输入,只改输出长度:

输出 token 报出的 decode
21 53.6 – 68.0
70 42.7
333 77.0

输出只有 20 来个 token 时,前几个验证窗口还没被 KV 未命中拖累,读数会虚高。稳态其实只有 48 左右。「125B 跑 80」就是这么来的。

更狠的一个对照,同一份 5.3 万 token 输入,只改输出要求:

输出类型 投机接受率 decode
抄写第 1–12 号记录 245/262 = 94% 77.0
自由作答 35/60 = 58% 42.7

同一台机器、同一份输入、同一个模型,43 到 82 的差别全在投机解码的接受率上。

抄写型输出高度可预测,草稿几乎全中;agent 写的是自由推理文本,天然猜不准。所以「感觉输出一般」不是配置没调好,是任务性质决定的。

decode 速度不是模型的固定属性,是「模型 × 任务」的联合结果。 上一篇写过「测速必须锁随机种子」,这一周得再加一条:还得锁输出长度。

四、一次不报错的静默退化

这是整周最隐蔽、也最有普适性的一课。

从自检菜单启动 125B,上下文只有 32K;从桌面启动器打开,是 128K。同一个模型、同一台机器、同一个引擎。

把两条路径摊开比,差异不止一项,是四项:

菜单启动 桌面启动器
--max-context 32768 131072
--vram-reserve-mib 没有 1408
--kv-grow 没有 有
引擎 自动选最新(慢 30%) 绝对路径固定

也就是说,那条路径不只是上下文小,是全面退化:缺显存预留、缺 KV 按需增长、还自动踩中了慢三成的新引擎。

不预留那 1408 MiB 有多贵?显存只剩 366 MiB,驱动开始分页,decode 从 48 掉到 19.4。少一行参数,性能少六成,日志里只是安静地变慢。

根因在一行 JSON 里:那份启动预设创建于 10 月 28 日,写着 "context": 32768。因为当时安装器对「≤16GB 显卡」的硬编码规则就是给 32K。后来代码改成所有卡都给 128K 了,但——

预设是创建那一刻拍下的照片。代码早翻篇了,它还停在那天。

同一个预设里也没有后来才加入的 reserve_mib 字段,于是物化出来的运行配置同样没有显存预留。

上一节我说「不报错」是这类问题最贵的地方。它不崩、不告警、不写 error,只是每次启动 quietly 慢下去。你甚至会觉得「模型本来就这样」。

修法很干脆:不再依赖预设,两条路径统一指向同一份手写运行配置;顺手把旧预设也修好,备份留着,免得别的入口再踩。

同类变体这一周还遇到几个:客户端缓存了旧的模型能力元数据、profile 快照覆盖启动参数、运行时状态机残留导致「already has a live managed runtime」。它们共同的症状都是「明明改了却没生效」。

代码升级了,不等于配置升级了。凡是「生成一次、长期复用」的文件,都得当成独立资产来审计。

五、新版本慢 30%,而且它会自动回来

升到 0.1.56 之后,128K 下 decode 从 46.8 掉到 36,慢 28–30%。

我以为是新加的显存预留参数在捣乱,去掉重测,还是 37。连测 5 次,确认是版本本身的回归,回滚到 0.1.52。

这里还藏着一个设计陷阱:配置写 "exe": "component:strata-engine" 时,引擎选择是扫目录取最高版本。也就是说,只要新版本文件还在,重启就会自动挑最新的——手动回滚根本不生效。

要固定版本,必须写绝对路径。

上一篇的教训是「反直觉的参数默认怀疑」,这一周补一条:升级默认怀疑,尤其是跟硬件强绑定的推理引擎。 换版本要重测,不能默认向上兼容。

六、两台引擎,两种完全相反的瓶颈

把 125B 的采样结果和 27B 摆一起,反差很干脆:

125B(MoE) 27B(稠密)
GPU 利用率 38% 95%
功耗 25W 166W / 170W 墙
核心频率 457MHz 1901MHz

一个在等 CPU,一个已经顶到功耗墙。所以 125B 那套「调 CPU 调度、加显存槽位」的经验,一条都搬不过来。

上一篇在更早的配置上扫过一次 MTP 草稿深度,结论是 2 最优。这次在 98K 上下文加 q4_0 KV 的组合下重扫,结论一样,但掉幅更陡:

草稿深度 decode 接受率
2(官方推荐) 39–43 63%
3 34.4 58%
4 21.5(−45%) 47%

理论上窗口越宽、每步产出越多,该更快。实测急剧变慢——98K 上下文加 q4_0 KV 已经吃掉 11.98 / 12.29 GB,加宽窗口的额外缓冲把卡推过了功耗墙。多算就是纯亏。

还有个更反直觉的:加 --spec-draft-p-min 0.5 把接受率从 63% 拉到 78%,decode 却纹丝不动(36.4)。因为每步的固定成本(读一遍权重加该步计算)才是主项,多产出的 token 抵不掉剪枝开销。

提高接受率 ≠ 提高速度。 上一篇写「净产出不是目的、每秒 token 才是」,这次算是把它的反面也补齐了。

这里还得给上一篇的测速规矩加一条:本机噪声是 ±13%,不是 ±5%。同一配置同一输入跑出 42.9 和 37.2,而两次草稿计数完全一致(668/1061)——说明波动来自 GPU 升频,不是模型行为。判定门槛得定在 15%,拿 3% 当标准会把升降频当成优化成果。

七、参数试完了,构建还没试

到这一步,投机参数、采样参数、上下文、KV 精度全测完,我准备说「触顶了」。

去翻了一眼模型和引擎的上游,才发现 构建落后了 1300 多个版本(10 月 3 日 → 10 月 31 日)。

官方给投机解码的推荐参数和我现用的一模一样,说明那层确实没空间了;但构建本身一直在往前走。A/B:

引擎 decode(同 prompt / 同 seed) 接受率
旧构建 42.9 / 37.2 / 39.3 / 39.6 63%
新构建 44.2 / 43.2 67%

近时段对照 39.45 → 43.7,+10.8%,组内波动只有 0.8% / 2.3%,实打实超出噪声。带视觉塔时显存还少了 153 MiB。零成本、零风险,改一行路径。

同一轮核查顺手否掉两条看着很有戏的路:更小的量化包在带宽受限的卡上确实更快,但它用不了投机解码(只有 +1.6%,现用方案是 +37~40%);另一种草稿器只对抄写型任务有效,一般对话反而更慢。资料看得越细,越省得白试。

说「触顶」之前,先分清是参数触顶,还是实现触顶。 参数可以试完,软件还在往前走。

八、三个参数,三份「没用」

长文档场景,prefill 379 t/s、decode 43 t/s,我怀疑这三个还有空间。

① reasoning_effort:模板白名单只认 low / medium / xhigh,发 high / none / minimal 直接 HTTP 500。三档实测输出 581 / 556 / 436 token,xhigh 反而最短——因为思考预算 512 先一步截断了,三档撞同一个上限。

这里和上一篇对上了:那次解析 GGUF 模板,说 medium 能通过白名单但匹配不到力度分支。这次从行为上补到一条——显式 medium 和默认给出的输出逐 token 一致。两篇测的是不同负载(这篇锁了预算 512),所以不矛盾,但足以说明这个旋钮的作用域很窄。最后我按模型作者建议把默认改成 medium,速度不变,纯粹为了语义清楚。

② presence_penalty 1.5:decode 从 39.3 掉到 36.6,接受率 58% → 54%,输出反而从 569 变 637 token。它治复读,不治慢。

③ 上下文:同一份 15,242 token 长文档——

配置 prefill decode
98K + q4_0 KV 509.1 t/s 47.9
64K + q8_0 KV 439.6 t/s 44.9

缩小上下文没任何收益;提高 KV 精度反而因为搬运量翻倍,prefill 掉 14%。上下文只决定「能塞多少」,不决定「跑多快」。

长文档唯一能省的还是上一篇那条:前缀缓存。只要历史只追加不改写,第二轮 prefill 从几十秒到 0.7 秒。这次没再动它。

九、把搜索从模型手里拿回来

agent 点网页搜索,默认走官方、要 key。我想:把端点指到本地模型不就完了?

实测打到本地的 Anthropic 兼容接口:

1
2
3
4
POST /v1/messages                    → 200   接口是通的
带服务端 web_search 工具请求 → 200
返回的内容块 = ['thinking', 'tool_use']
web_search_tool_result → 不存在

本地模型把 web_search 当成客户端工具,只回一句「我要调用它」,自己并不去搜。而官方提供方在严格模式下拿不到服务端返回的结构化搜索块,会直接报错,不降级。

把链路拆开才看明白:

1
模型 → web_search 工具 → 服务按 id 选「搜索提供方」 → 真正的搜索 API

我原以为的「模型在搜索」,其实是官方服务拿另一个模型跑了一整轮、在服务端执行搜索。所以才必须收费。

换模型 ≠ 换搜索。搜索从来不是模型能力,是工具后面挂的那家服务商。

解法是换提供方,不是换模型:装了个社区搜索插件,它自带一层配置把选路指到自己身上,删掉插件就自动还原。顺带确认一件被默认设置盖住的事——抓网页走本地 HTTP 提供方,本来就不需要任何 key。

还量了一遍国内可达性,挺现实:Tavily、Exa、百度千帆、火山能通;Brave、DuckDuckGo、Jina 全不通;不带 key 的引擎返回空。所以「完全免费免 key」在纯国内网络下基本不成立,真要零 key 只剩自建搜索实例,而那台机器没装 Docker。

十、多模态的答案是个复选框

「模型不支持多模态」这事我查了半天:视觉编码器一直加载着,能力声明里也明明写着图片,红圆图实测 2.5–4.9 秒就答对,约 91 token/图。

最后发现只是客户端里模型选项的**「图片」输入类型没勾**。

绕了一大圈,答案是个复选框。

(另一个常见原因是连到了没挂视觉塔的那个档位——同一个模型文件,不同档位加不加载它,是两回事。还有一种是客户端缓存了旧的能力元数据。)

同一天还纠正了自己一个观察:我以为 CPU 视觉端点是「开机自启」的。查启动项、计划任务、进程创建时间——开机 18:39,它 19:12 才起,是当天自己手动拉的。看起来一直在跑,只是因为那段时间我都在用。

我给它画了个边界:这个端点纯 CPU、零显存,可以和主引擎共存,但只手动启停,不进开机项。上一篇把它列进了「最终形态」,这次改成了随用随开。

十一、删掉的比加的多

这一周后半段基本没在加东西。

  • 七个小模型档位退役(配置层下线,权重文件一个字节没删)
  • CPU 视觉端点改成手动
  • 上一篇里我得意地写了那个 9090 旁路看板,一周后把它删了——卡片、自检探针、启动开关、菜单入口,四处一起清掉
  • 看板从两个收敛到一个

那个旁路看板当初解决的是「同时看到两个引擎」,挺有用。但真正用起来才发现,它带来的是第二份要同步的配置;而聚合看板加上自检菜单已经够用。留着它,等于每次改档位都要记得两边对齐。

本地部署的复杂度不是模型带来的,是「多个入口各记一份配置」带来的。

清理完,整栈就三件事:一个引擎在跑、一个看板在看、一个手动视觉端点随用随开。


这一周沉淀下来的规矩

上一篇留了九条,这次补五条新的,都是这一周踩出来的:

  1. 长输入必须是启动后的第一个请求。 同进程里连跑两个前缀相同的请求会命中 prompt cache,两次 prompt_n 根本不可比——我白测过一轮,差了 1.6 万 token。
  2. 输出样本要够长且固定。 20 个 token 的读数是虚高的,这是「80 tok/s」的全部来源。
  3. 先量噪声,再谈收益。 本机时段漂移 ±13%,门槛定 15%,别拿 3% 当成果。
  4. 直接量瓶颈,别从「资源还剩多少」倒推。 采 20 秒 nvidia-smi 比试十个参数有用。
  5. 代码升级后,生成过的配置不会自动重算。 所有「不报错但变慢」的问题,先查这一类。

还有两个 Windows 专属的小坑,顺手记一下:Git Bash 里 TEMP 是系统临时目录变量,拿它当温度占位符会被展开成路径,请求直接 500;Windows 版 curl 读不了 /tmp/...,得写绝对路径。

最后留下来的三处改动

折腾一周,代码里真正生效的优化只有三处:

改动 效果 为什么留下
--kv-grow 专家槽 1675→2548,中等上下文 +13~24% 唯一超出噪声的参数
引擎构建升级 27B decode +10.8%,接受率 63→67% 零成本,改一行路径
统一启动配置 修掉四重静默退化 不修的话前两项都可能被覆盖

其余十几个参数,全部回滚。

结语:调优的产出是「不用加」

上一篇结尾我写,「看起来合理」和「测出来是这样」之间隔着一次固定种子的配对复测。

这一周补到的是后半句:测出来「没用」,也是产出。 它省下的是下次再试一遍的时间,以及那台机器一整天的电。

回头看,我盯着任务管理器里空着的资源,本能是去填满它。但瓶颈可能在 CPU 搬运,可能在功耗墙,可能在三周前生成的那份配置快照里,也可能压根不在参数里、而在还没升级的构建里。

调优的产出不是加了多少参数,是确认了哪些不用加。

现在有人问我「还能不能再快一点」,我的第一反应已经不是翻参数表了——是先把采样脚本打开。


作者:小道 · 环境:RTX 3060 12GB / 64GB DDR4 / Windows 11 · 2026-11-08
关联阅读:《一台 12GB 显存的电脑,能装下多少本地 AI:45 天模型侧实录》 · 系列:12GB 显存实录(模型线)