你的 AI 应用，可能正在悄悄变笨
一句话判断
企业 AI 评估更像“监控 + 测试”的综合体：变更前用测试兜底，上线后用监控盯住，把业务质量变成可测试、可监控、可回归的系统。
为什么现在值得写
企业开始频繁换模型、改 Prompt、接新供应商、调整 RAG/Agent 工作流。很多变化不会报错，用户也不一定马上投诉，但业务效果可能已经变差。
这篇不从“评估是什么”切入，而是从读者更有感的风险切入：AI 应用上线以后，效果可能在没人察觉的时候漂移。
目标读者
- 正在替换模型或压缩模型成本的技术负责人
- 负责 AI 应用质量的产品/工程团队
- 想把 AI 从 demo 推到生产的 AI 平台团队
- 需要向老板解释“AI 效果是否稳定”的负责人
文章要解决什么问题
帮助读者理解：AI 评估不是一次性模型打分，也不是看公开榜单，而是企业 AI 生产系统里的质量基线。它要回答两类问题：
- 这次改动会不会让业务效果变差？
- 系统运行过程中，质量有没有悄悄漂移？
推荐标题方向
更有网感、开放式，不提前给答案：
- 你的 AI 应用，可能正在悄悄变笨
- AI 没报错，但它可能已经变差了
- 你以为只是换了个模型
- Prompt 改了一行，AI 可能就不是原来的 AI 了
- 用户没投诉，不代表 AI 没翻车
- AI 应用最危险的时候，是它看起来没问题
- 很多企业的 AI，其实是在裸奔
主线结构
1. 开场：AI 没报错，但业务可能已经变了
用几个常见变化切入：
- 模型换成更便宜的
- Prompt 改了一行
- RAG 检索策略调了
- Agent 多了一次总结/压缩
- 上游供应商或同名模型版本变了
这些变化都可能不报错，但输出风格、事实准确性、拒答率、格式稳定性、业务规则遵守情况已经改变。
2. 公开榜单解决不了你的业务稳定性
榜单有价值，但只能说明通用能力。企业任务通常很窄：客服、销售、质检、合同审核、知识库问答、代码 Review。
真正的问题是：在你的业务样本里，它有没有变差。
3. 评估像测试：每次变更前都要跑回归
适合写：
- 换模型前跑一遍
- 改 Prompt 前后跑一遍
- 调 RAG 策略前后跑一遍
- 接新供应商前跑一遍
- 模型升级前跑一遍
评估集不需要一开始很大，先覆盖高频任务、高风险任务、历史事故样本。
4. 评估也像监控：上线后要持续盯质量漂移
适合写：
- 拒答率有没有变化
- 格式错误有没有变多
- 漏字段有没有变多
- 人工反馈有没有变差
- 某个模型/渠道/版本是否突然异常
- 成本、延迟、缓存命中率是否和质量问题同时变化
5. 企业需要自己的质量基线
质量基线不是抽象口号，而是一组业务样本、判断标准、回归结果和报警机制。
可写成：
- 什么输出可接受
- 什么输出必须人工复核
- 什么变化必须阻断上线
- 什么指标异常要报警
6. 为什么这件事需要平台化
评估要和调用日志、Prompt 版本、模型版本、用户反馈、业务场景、灰度发布关联起来。
这自然落到 AI Gateway / AI 平台能力：日志沉淀、样本采集、回归测试、线上监控、版本对比、灰度门禁。
素材/案例
- 模型成本降了，但客服回答变得更啰嗦/不稳定
- Prompt 改小范围格式要求，结果导致某些场景漏字段
- RAG 检索策略调整后，引用看起来更多，事实命中反而下降
- 模型升级后通用能力变强，但企业内部话术风格变差
- 用户没有投诉，但人工抽检发现业务规则遵守率下降
结论倾向
企业 AI 评估的目标，是让 AI 应用的业务质量可测试、可监控、可回归。没有这套基线，模型替换、Prompt 修改、供应商切换和成本优化都像是在盲飞。
如果你正在建设企业 AI Gateway、多模型管理、可观测或评估体系，欢迎交流。