中间的那个小黑匣子是机器学习代码。 我记得读了 Google 2015 年 ML 中的隐藏技术债务论文，并认为机器学习应用程序中真正的机器学习是多么少。 绝大多数是基础设施、数据管理和运营复杂性。 随着人工智能的出现，大型语言模型似乎将包含这些盒子。承诺很简单：加入 LLM，看着它处理从客户服务到代码生成的所有事情。不再需要复杂的管道或脆弱的集成。 但在构建内部应用程序时，我们观察到了人工智能的类似动态。 代理需要大量的上下文，就像人类一样：CRM 是如何构建的，我们在每个字段中输入什么 - 但输入是昂贵的，饥饿的 AI 模型。 降低成本意味着编写确定性软件来取代人工智能的推理。 例如，自动化电子邮件管理意味着编写工具来创建 Asana 任务和更新 CRM。 随着工具数量增加超过 10 或 15 个工具，工具调用不再有效。是时候启动经典的机器学习模型来选择工具了。 然后是观察具有可观测性的系统，评估其性能是否高，并路由到正确的模型。此外，还有一整类软件可以确保人工智能完成它应该做的事情。 护栏可防止不适当的响应。速率限制可以防止系统失控时成本失控。 信息检索（RAG - 检索增强生成）对于任何生产系统都是必不可少的。在我的电子邮件应用程序中，我使用 LanceDB 矢量数据库来查找来自特定发件人的所有电子邮件并匹配他们的语气。 还有其他围绕图 RAG 和专用向量数据库进行知识管理的技术。 最近，记忆变得更加重要。AI 工具的命令行界面将对话历史记录保存为 Markdown 文件。 当我发布图表时，我希望右下角有 Theory Ventures 的标题，以及特定的字体、颜色和样式。这些现在都保存在一系列级联目录中的 .gemini 或 .claude 文件中。 大语言模型原有的简单性，已经被企业级生产复杂度所吞噬。 这与上一代机器学习系统并不相同，但它遵循明显的相似之处。看似简单的“AI魔盒”，原来是一座冰山，大部分工程工作都隐藏在地表之下。