本集简介
这个模式对企业领导者来说并不陌生:AI 演示完美无缺,企业部署却令人失望,而首席信息官(CIO)无法解释原因。DevRev 的首席技术官 Ahmed Bashir 与 Craig Smith 一起给出了一个具体且有充分依据的答案:问题不在于模型本身。而是企业数据在组织上错综复杂,分散在数十种工具中,被条件权限锁定,按自定义模式组织;而每一个主流的 AI 基准测试都是针对带有预打包数据的扁平文件来测试模型,这与企业在实际环境中使用数据的方式毫无关系。DevRev 的 Enterprise Bench 是首个针对真实分布的企业环境对完整的智能体(agent)框架进行基准测试的标准,在该环境中,智能体必须在执行任何任务之前先查找、关联并验证信息,其结果暴露出预打包基准测试完全掩盖的差距。
最引人注目的发现是:使用相同的 Opus 系列模型,DevRev 系统的准确率比 Claude Code 高出 50%。所有的差异都来自于共享的记忆层,即位于模型与企业数据之间的治理、语义理解和编排机制。Ahmed 的类比非常精准:升级 CPU 无法弥补内存不足的问题,因为它们执行的是根本不同的功能。同样地,更强大的模型也无法弥补薄弱的记忆层。对话还探讨了为什么 Enterprise Bench 旨在成为 AI 智能体的 TPC 基准——就像 TPC 基准在 20 世纪 80 年代成为数据库领域的独立标准,结束了厂商基准测试战争,并为买家提供了真正公平的比较一样——以及为什么在企业 AI 的“自建还是购买”问题上,首次出现了可量化的答案,这体现在一个公开的排行榜上,该排行榜将 DIY 配置与专有系统直接并列展示。
订阅 Eye on A.I.,每周聆听那些构建和部署 AI 未来的人们的对话。