HG 黄果AI
NIGHT DESK
黄果AI · 夜报第 412 期 2026-11-18 · 周三 · 23:00 发刊 今日收录 17 条 · 深度笔记 4 篇
头条 · 模型动态

黄果AI 夜报:小参数模型集体升级,端侧推理开始拼「待机时长」

本周三家团队先后放出 3B 至 8B 级别的更新版本,重点不再是榜单分数,而是首字延迟、长上下文下的显存占用与量化后的稳定性。对做端侧应用的团队来说,这意味着一批旧设备的可用窗口被重新打开。我们整理了各家的量化配置、实测显存曲线,以及迁移时需要先改的几处推理参数。

端侧推理 量化 2026-11-18 · 阅读约 9 分钟

开源语音克隆项目更新,改为流式合成后延迟降到 300ms 以内

新版本把声码器与编码器拆成两个进程,方便在单卡上并发。

2026-11-18 · 开源项目

提示词工坊:把「结构化输出」写进系统提示的四个反例

字段越自由,解析越容易崩;这四类写法我们在线上都踩过。

2026-11-17 · 提示词

一家中型电商的 AI 客服改造复盘:先砍掉三成知识库

知识库不是越多越好,检索命中率反而随条目膨胀下降。

2026-11-17 · 产品落地

行业观察:算力租赁报价连续三周走平,长租比例上升

短租需求在降,签年框的团队变多,说明大家在压长期成本。

2026-11-16 · 行业观察

模型动态

05 条更新 查看本期头条 →

小参数模型集体升级:端侧推理开始拼「待机时长」

量化配置与显存曲线实测,迁移前需要先改的推理参数清单。

2026-11-18端侧量化

长上下文评测的坑:为什么 128K 跑分和体感不一致

检索位置、干扰段落密度和输出长度共同影响实际表现。

2026-11-17评测

多模态接口统一之后,图片预处理反而更值得优化

分辨率与压缩质量对成本的影响,比模型选择更直接。

2026-11-16多模态

推理框架小版本更新,批处理调度器默认策略改了

默认从吞吐优先切到延迟优先,老配置需要显式声明。

2026-11-15推理框架

模型合并与蒸馏的取舍:小团队先做哪个

从数据成本、迭代速度和可回滚性三个角度对比。

2026-11-14训练

开源项目

06 个项目 查看语音克隆更新 →

流式语音克隆项目:延迟降到 300ms 以内

编码器与声码器拆进程,单卡可并发多路。

2026-11-18语音

本地文档问答套件新增混合检索

关键词与向量并行召回,再按段落长度重排。

2026-11-17RAG

轻量标注工具支持多人协同审校

适合几十人规模的数据团队,权限粒度到字段。

2026-11-15数据

开源 OCR 工具补齐表格结构还原

合并单元格与跨页表格的处理终于可用。

2026-11-15OCR

智能体编排框架重构状态机

长任务中断恢复更稳,适合跑几十分钟的流程。

2026-11-14Agent

向量库小规模部署方案对比

十万级文档下,内存占用与查询延迟的实测表。

2026-11-13向量库

提示词工坊

05 篇 查看结构化输出反例 →

把「结构化输出」写进系统提示的四个反例

字段越自由,解析越容易崩;四类线上踩过的写法与替代方案。

2026-11-17结构化输出

让模型稳定输出中文标点的三条约束

少用「禁止」,多用「示例 + 检查步骤」。

2026-11-16写作

检索增强场景下,提示词应该承担哪部分工作

把事实交给检索,把判断与格式交给提示。

2026-11-14RAG

对话摘要模板:控制长度比控制语气更重要

给字数区间和字段顺序,比反复嘱咐「简洁」更有效。

2026-11-13摘要

产品落地

05 篇 查看电商客服复盘 →

中型电商的 AI 客服改造复盘:先砍掉三成知识库

条目膨胀会拉低检索命中率,删减比补充更见效。

2026-11-17客服

把 AI 写进内部周报流程的三个检查点

谁审核、谁负责事实、失败怎么回退。

2026-11-16流程

低预算团队怎么评估一个 AI 功能值不值得做

用「人工耗时 × 出错成本」做粗算,比感觉可靠。

2026-11-15决策

灰度发布 AI 功能时,先埋哪几个指标

采纳率、改写率、人工接管率,三个就够起步。

2026-11-13增长

行业观察

04 篇 查看算力报价走势 →

算力租赁报价连续三周走平,长租比例上升

短租在降,签年框的团队变多,说明大家在压长期成本。

2026-11-16算力

小团队做垂直工具,先选场景还是先选模型

场景的边界决定模型的可替换性。

2026-11-15创业

数据合规检查清单:上线前要过哪几关

从采集告知、存储位置到第三方接口的记录留存。

2026-11-14合规

内容团队引入 AI 之后,岗位描述怎么写才不拧巴

把审核与判断写进职责,比强调「会用工具」更实际。

2026-11-12组织

工具索引

按用途分类

按日常工作环节归档,每个条目都标注适用规模与上手成本,方便按需挑选。

文本类:提示词版本管理与对比测试

适合两三人以上的内容团队,支持多版本并行与结果打分。

文本协作

语音类:流式合成与批量转写

直播与客服场景优先看延迟,归档场景优先看准确率。

语音

数据类:标注、清洗与去重一条龙

十万条规模以内,单机方案已经够用。

数据

本期全文

点击标题跳到对应段落

小参数模型集体升级:端侧推理开始拼「待机时长」

2026-11-18 · 模型动态 · 实测与迁移笔记

这一轮升级的共同点,是把注意力放在了「持续可用」而不是「峰值分数」。三家团队都给出了量化后的内存占用表,其中最值得注意的是 4bit 权重配合 8bit 激活的组合在中低端设备上的稳定性明显改善。我们在两台手机上做了对照:同样的上下文长度下,首字延迟下降约两成,但连续对话十分钟后的发热与降频仍是瓶颈。

迁移时先改三处:一是把批大小固定为 1,避免端侧调度抖动;二是把 KV 缓存的上限显式写死,防止长对话把内存吃满;三是关闭自动重试,改为上层做超时控制。做到这三点,多数应用的体感会先稳下来,再去谈压缩率。

需要提醒的是,量化后的输出在数字与专有名词上更容易出错,涉及金额、日期和型号的场景,建议保留一次规则校验。端侧模型的优势是隐私与离线,不必强求它替代服务端大模型,分工才是更实际的策略。

开源语音克隆项目更新:流式合成延迟降到 300ms 以内

2026-11-18 · 开源项目 · 部署要点

新版本把编码器与声码器拆成两个独立进程,中间通过共享内存传递特征,单卡可以并发跑多路会话。作者给出的测试环境是消费级显卡,短句合成的端到端延迟稳定在 300ms 以内,长句则取决于分段策略。对客服和直播场景来说,这个量级已经能接受。

部署上要注意两件事:一是采样率必须与训练配置一致,混用会带来明显的金属音;二是并发数不要一次开满,先按显存占用的七成做上限。项目没有内置鉴权,对外暴露前需要自己加一层网关。

如果只是做归档转写,其实不必用流式版本,批处理模式的准确率更高、资源占用也更低。选型时先问清楚是「实时」还是「事后」,能省掉不少调参时间。

把「结构化输出」写进系统提示的四个反例

2026-11-17 · 提示词工坊 · 线上经验

第一个反例是字段说明太长。把每个字段写成一整段解释,模型容易在输出时夹带说明文字,解析器直接失败。更稳的做法是字段名加一句示例值,把解释放到外部文档。

第二个反例是允许多种格式并存。比如同时接受 JSON 和键值对,模型会随机选一种。要么在提示里锁死一种,要么在解析层做兜底,不要指望模型自觉。

第三个反例是缺少空值约定。字段没内容时,有的模型输出空字符串,有的输出 null,有的干脆省略。提前定义「无内容写 null」,能少掉大量判断分支。

第四个反例是把校验规则写在最后。模型对靠后的指令权重不一定更高,但人类读者会以为它最重要。把格式约束放在最前,把内容要求放在后面,实际效果更稳定。

一家中型电商的 AI 客服改造复盘:先砍掉三成知识库

2026-11-17 · 产品落地 · 复盘

这家团队原本有三万多条知识库条目,上线后发现回答经常「答非所问」。排查下来不是模型问题,而是检索阶段被大量重复与过期条目干扰。他们做的第一件事不是换模型,而是删掉三成条目:重复的活动规则、已下线的品类说明、互相矛盾的旧政策。

删减之后,检索命中率提升,回答长度也变短了,人工接管率随之下降。第二步才是调整提示词,把「不确定就转人工」写成明确规则,并给出转人工的话术模板。第三步是埋点,记录采纳率与改写率,按周复盘。

他们的结论很朴素:知识库的质量比数量重要,AI 客服的第一目标是别乱说,第二目标才是答得快。这个顺序反过来,用户投诉会明显上升。

算力租赁报价连续三周走平,长租比例上升

2026-11-16 · 行业观察 · 成本

从几家服务商的公开报价看,短租价格已经连续三周没有明显波动,而签年框的团队比例在上升。这通常意味着需求端从「试水」转向「长期规划」,也意味着供给端的闲置资源被逐步锁定。

对使用方来说,长租能压低单价,但会牺牲弹性。建议按「基线负载签长租、峰值负载走短租」的组合来做,基线部分控制在日常用量的六到七成,剩下的留给波动。合同里要写清楚扩容的响应时间与计费方式,避免临时加机器时被动接受高价。

另外值得关注的是推理优化带来的等效算力提升。同样的业务量,经过量化和批处理优化后,所需显卡数量可能下降三成,这比谈价格更直接。先优化再采购,顺序不要反。

常见问题

黄果AI 夜报多久更新一次?

工作日晚间更新,遇到重要模型发布或开源项目大版本会加刊。每期包含快讯、深度笔记与工具索引更新。

内容适合哪些读者?

主要面向做 AI 应用落地的开发者、产品经理与内容团队负责人,偏实践与成本视角,不追热点榜单。

可以转载吗?

欢迎注明来源转载,涉及数据图表的部分请先联系确认,避免二次加工造成误读。