为什么好的模型不一定会创造业务价值 (business value)？

有一句话我认为 AI 工程师应该尽早记住：

基准测试 (benchmark) 上的好模型不一定会造就更好的产品。

听起来有点刺耳，因为在学习机器学习时，我们通常被教导要优化准确率 (accuracy)、精确率 (precision)、召回率 (recall)、F1 和损失 (loss)。这些指标很重要。但在真实产品中，它们并不是最终答案。

Booking.com 有一篇非常值得一读的论文：150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com。他们分析了大约 150 个部署给客户的 ML 应用程序，其中最大的教训之一是：模型性能不等于业务性能。

1. 模型指标和业务指标有什么不同？

模型指标回答这个问题：

模型预测得正确吗？

业务指标回答这个问题：

该预测是否使产品变得更好？

这两个问题很接近，但并不相同。

例如，一个模型预测哪个线索 (lead) 可能会购买。离线评估显示该模型具有良好的 AUC 和良好的精确率。但当集成到 CRM 中时，销售人员并没有使用它，因为：

预测的原因不清楚；
线索得分更新太慢；
建议与销售人员的工作方式不匹配；
模型优先考虑“容易预测”的线索，而不是高价值的线索；
预测后的工作流 (workflow) 设计得不好。

结果：模型更准确了，但业务并没有改善。

2. 一个非常日常的例子

假设有一个 AI 在给线索评分：

线索 A：得分 0.91
线索 B：得分 0.77
线索 C：得分 0.64

如果只看模型，我们会说线索 A 应该被优先处理。

但业务部门可能会问更多问题：

线索 A 有预算吗？
线索 A 需要现在购买吗？
线索 A 在我们服务得好的行业吗？
销售人员有足够的上下文 (context) 来打电话吗？
如果我们给这个线索打电话，转化为真实交易的概率是多少？

因此，一个好的 AI 工作流不应仅仅显示一个分数。它需要将分数转化为行动：

线索 A 得分很高，因为他们请求了演示，提供了清晰的需求描述，并且来自合适的行业。
建议：在接下来的 2 小时内致电，如果他们回复则发送提案模板 A。

模型分数只是一部分。接下来的行动才是创造价值的地方。

3. 为什么 A/B 测试很重要？

Booking.com 强调通过随机对照试验/A/B 测试来检验业务影响。原因是有许多变化在纸面上看起来很合理，但在实际产品中却未能产生提升 (uplift)。

对于 ML 产品，A/B 测试可以回答：

使用 AI 建议的组是否有更好的成单率 (close rate)？
使用新排序的组是否有更好的点击率 (click-through rate)？
收到自动跟进的组回复得更多吗？

如果不进行测试，我们很容易陷入“模型更好，所以产品一定更好”的感觉。

但真正的产品有真实的用户、真实的行为、真实的烦恼。有些东西是离线指标看不到的。

4. 代理指标 (Proxy metrics) 可能会欺骗你

一个常见的错误是优化代理指标。

例如：

增加点击次数
增加页面停留时间
增加 AI 生成的消息
增加显示的推荐数量

但更多的点击并不一定好。更多的消息并不一定能帮助销售。更多的推荐并不一定及时。

对于 CRM 来说，更好的指标可能是：

线索响应时间减少
被遗忘的跟进数量减少
阶段转化率增加
销售人员在数据录入上花费的时间减少
客户收到更清晰的回复

意思是，指标必须与真实的工作流挂钩。

5. 部署模型前的一个小清单

在将模型放入产品之前，我认为我们应该问：

这个模型帮助用户做出什么决定？
预测是否解释得足以让用户信任它？
如果模型错了，后果是什么？
有后备方案 (fallback) 吗？
决策和结果是否有记录 (logged)？
部署后是否测量了业务指标？
有回滚 (rollback) 计划吗？

例如，在 CRM 中的 AI 跟进：

模型任务：建议跟进内容
用户操作：销售审核并发送
业务指标：回复率、跟进时间、交易阶段的移动
安全性：如果置信度 (confidence) 低或缺少上下文，则不自动发送
后备方案：使用手动模板

当写得如此清晰时，模型就开始成为产品系统的一部分了。

6. 给 AI 产品构建者的教训

我的收获是：AI 工程师不应该只用模型指标来对话。他们必须学会使用业务工作流来对话。

这不是要把工程师变成销售员，而是要知道我们构建的系统是否真正解决了问题。

一个好的模型应该回答两个方面：

技术上：模型是否足够准确、稳定，延迟是否合适？
产品上：模型是否帮助用户更好地工作？

如果只有第一部分，那就是一个研究/演示 (research/demo)。如果两者都有，那么它才是一个应用 AI 产品 (applied AI product)。

7. 结论

一个好的模型是必要条件。但业务价值来自于整个系统：正确的数据、正确的 UX、正确的工作流、正确的指标、正确的监控以及正确的反馈循环。

我认为这对于今天从事 AI 工作的人来说是一个非常重要的教训。因为为 AI 构建演示比以往任何时候都容易。但是，一个能运行的演示并不意味着就是一个能创造价值的产品。