AI 解读/深度·10-24·约 10 分钟·作者 Colin Jarvis · OpenAI

OpenAI 的 FDE 团队:让自己原来的工作变得不再有必要,恰恰说明 FDE 做对了

从芯片验证到语音客服,前线部署工程师先把客户的问题做成,再把经验沉淀为更好用的产品和更强的模型。

作者:Colin Jarvis · OpenAI10-24 · 约 10 分钟
🎧 听播客版0:00 / --:--
0:00 / --:--

OpenAI 有一支专门与企业客户一起做项目的工程团队,叫 FDE,也就是前线部署工程师。他们要把模型接进客户的实际工作,做出员工能够可靠使用的系统。

这件事有多费劲?在一家大型半导体客户的项目里,AI 要帮工程师生成芯片测试、分析故障原因、辅助理解架构。生成的测试有没有用,找出的故障原因对不对,都需要和客户的芯片工程师一起检验。团队还得接入工具、组织模型执行任务,为不同用例搭建配套系统。

OpenAI 投入了约 15 名 FDE,推进 10 多个用例。有些成员此前没有半导体经验,只能一边进入客户团队工作,一边学习芯片设计。经过最初 3—6 个月,这些用例才全部进入生产,并获得早期用户采用。一些原本需要数周的调试工作,也被压缩到了数小时。

但 Codex 的进步,给这群刚把事情做成的工程师带来了一个新问题:如果 Codex 已经能轻松完成我们花了几个月才搭好的用例,我们接下来做什么?

他们确实开始用更成熟的 Codex 接替原有实现,把各自开发的应用迁到共用框架,最终移除了相关项目约 90% 的定制代码。

在团队负责人 Colin Jarvis 看来,让自己原来的工作变得不再必要,恰恰说明 FDE 做对了。一支工程团队,为什么会把替代自己辛苦搭建的系统,当成成功?

部署鸿沟:模型会做,为什么企业还用不稳?

模型能力的进步,比把能力用进工作的系统和流程更快。一个模型在基准测试里表现很好,进入真实业务后,却未必能应付各种变量和约束。模型看起来能做什么,与人们能够可靠地用它完成什么工作之间的距离,OpenAI 称为“部署鸿沟”。

农业机械公司约翰迪尔(John Deere)的例子很直观。它的 See & Spray 精准除草技术,利用摄像头和机器学习识别杂草,只向需要的位置喷洒,化学品使用量最高可减少 70%。但要获得这些收益,农户还得会配置设备、规划种植季,并随条件变化调整作业方式。

约翰迪尔使用 OpenAI API,把个性化支持提供给更多农户:用自然语言回答问题,给出适合具体情况的设置建议,识别设备是否没有充分发挥潜力,并帮助农户理解技术带来的价值。精准喷洒技术负责减少无差别用药,AI 支持服务则帮助人把技术用好。

这种工作没有统一的现成手册。有时,连判断结果对不对的标准答案都需要与客户一起建立。FDE 要先弄清业务结果是什么,再判断阻碍来自应用系统,还是模型本身尚不能完成任务。

结果优先:先在现场做成,再让成功可以复制

Jarvis 给团队的原则是:从结果出发,完成做成它所需的工作,再把成功推广开来。

以两代 Harrison 航海钟类比先让方案存在,再把它做好
先让方案存在,再把它做好。
OpenAI 用两代 Harrison 航海钟表达这一顺序:先做成,再改进。图中的钟表是工程类比。

芯片验证要检查设计是否按预期工作,可能占一个项目约 70% 的工作量,因此这里哪怕只省下一部分时间,也有实际价值。

团队与客户共同建立业务评估(Evals),用具体任务检验 AI 是否完成工作,而不只看回答像不像那么回事。

为各用例搭建的执行框架(Harness),负责组织模型运行、工具调用和结果处理。OpenAI 还披露了两项结果:

  • AI 定向测试生成节省约 48% 的时间。
  • 计算内核优化带来的性能提升中位数为 22%。(计算内核是执行特定计算任务的底层代码)

团队会混合配置通才与领域专家。在生命科学项目里,具有科学背景的 FDE 能与研究人员讨论临床前的靶点验证和优先排序、基因表达分析、化学合成路线重建,并据此判断工作流程可以怎样改进。快速学习和专业判断都需要有人承担。

架构重构:为什么要删掉约 90% 的定制代码?

用例已经产生价值,扩展却仍然困难:每个工作流都需要较多定制集成,推广到另一支团队时,部署和维护还有很多工作要做。

未解难题经过首个可用方案,逐步变成可复用包
从解决一个难题,走向下一位客户也能使用的能力。
三个节点依次是未解难题、从零到一的方案、可复用包。这是定性演进示意,曲线不代表量化增长率。

原文的根因分析架构图展示了当时的复杂度:提出假设的 Agent、事故分析角色、规范专家、代码分析角色和交互式分析角色共同处理日志、规范与代码,各处还连着专用工具。团队也为不同用例写了各自的终端界面和命令行入口。

随着 Codex 能力增强,一名 FDE 尝试围绕它重建应用,随后团队把用例迁到以 Codex 为核心的共同执行框架。Codex 既承担共用的运行能力,也成为使用入口,原来各自编写的终端 UI 和 CLI 得以退役。

芯片根因分析改造前后的架构对照:多个专用角色转向共用 Codex 执行框架,保留工具与规范专家
主控和执行框架集中到 Codex,专业工具与知识仍然保留。
左侧为多个分析角色与定制工具的协作,右侧保留代码库、任务产物、Skills,以及通过 MCP 接入的工具和规范专家。约 90% 的代码减少来自正文披露,不能按图中节点数计算。
查看原尺寸图 ↗

定制应用被拆成共用底座上的插件和 Skills:可反复使用的工作方法封装为技能,相应功能通过插件提供。客户内部的 AI 卓越中心(CoE,也就是集中管理企业 AI 能力的团队)可以统一管理和分享这些能力。

MCP 是把外部工具接入模型应用的一种连接协议。图里的专用工具和规范专家仍通过它参与工作;代码库与任务产物也仍是 Codex 的输入。架构简化,并不意味着行业知识、专用工具或所有专家 Agent 都消失了。

Codex 的集中改进也能惠及这些用例,团队需要分别维护的连接代码随之减少。

扩展时仍要接入新团队需要的系统、建立符合其任务的新评估。原文给出一个用例:首次部署花了两个月,扩展至第二个团队花了一天。它展示了复用的价值,但不是所有后续项目一天上线的保证。

同一项根因分析工作,哪些实现被接走了?

左右都要读取任务资料、分析故障并输出报告;变化在于由谁组织这些工作。

改造前 · 分别搭建
各自的终端入口
各自的执行框架
组织假设与分析流程
领域工作方法与芯片知识
专用日志工具 · 规范 · 代码库
根因分析报告
改造后 · 共用 Codex
Codex 统一入口
Codex 执行框架
Skills / 插件保留工作方法
MCP 连接专用工具与规范专家
代码库与任务产物仍是输入
根因分析报告

共用 Codex 接手入口和执行底座,让各用例不必分别维护这些实现;底座改进一次,各用例都能受益。

约 90%相关项目移除的定制代码;专用工具和专家 Agent 仍然保留。

团队最初为生产环境付出的工作并没有白费:它们帮助团队确认哪些行为有用、哪些要求必须满足。产品进步以后,定制实现可以被替换,已经确认的价值则继续交付给用户。

应用系统还没做好,还是模型本身还不会?

原文描述了两种工作方向。模型已经能完成任务时,FDE 与客户、产品团队一起,让方案更容易部署和复用;模型还做不到时,则与客户和研究团队共同明确能力差距,再持续改进。这两种工作可能交织在一个项目里。

从一次次现场部署中提炼可复用能力

OpenAI 的企业语音与聊天 Agent 产品 Presence,就来自现场经验的积累。相关工作从 Swarm 发展到 Agents API,再沉淀进 Presence:团队在实际部署中辨认哪些问题需要定制、哪些基础模块值得供更多团队使用,让后来的开发者不必重建同样的基础设施。OpenAI 还披露,一家客户已经用 AI 处理超过半数来电。

Thrive Holdings 与旗下 Crete 会计事务所的 Tax AI 项目,也展示了专业实践怎样变成可复用的方法。OpenAI 的 FDE 和研究人员与工程师、会计师共同建设系统。试点中,Tax AI 处理了 7,000 份报税表,吞吐量提高约 50%。

相同容量下,Tax AI 将报税处理吞吐指数从100提高到约150
相同容量下,报税处理吞吐指数从 100 提高到约 150。
100 和 150 是归一化指数,不是实际税表份数;7,000 份是试点处理量。

其中,租赁房产申报花了六周的工程工作与从业者复核,才达到 90% 的精确率和召回率。精确率关注系统判出的结果有多少正确,召回率关注应当找出的结果有没有漏掉。原文没有展开这项评估按哪些具体字段或判断计分,因此不能把 90% 理解为同样比例的整份税表可以无人处理。

攻克这一任务形成的可复用模式,让团队更容易扩展到其他复杂税务附表。团队目前还在把同样的方法用于记账、审计与 IT 支持。这个案例说明了工程与专业反馈的共同作用,不能仅凭这些信息把问题全归为产品或模型其中一类。

真实业务评估也能把模型短板送到研究团队面前

Jarvis 认为,如果只做现有模型已经能完成的任务,就难以发现研究团队接下来该补齐哪些能力。因此,不少重要合作会从模型暂时做不到的难题出发,由客户、FDE 和研究团队一起推进。

另一家大型电信客户已经有了客服平台,希望进一步扩展到语音。语音约占它客服量的 90%,却带来口音、语调、延迟与准确性等生产要求。

在项目范围界定阶段,模型在关键评估上的表现约为 60%,函数调用和指令遵循需要改进。函数调用,就是让模型在需要时调用完成业务所需的工具;如果这一步不可靠,即使对话听起来流畅,也可能办不成客户的事。

FDE 向客户说明了能力差距,并把研究团队引入项目。客户愿意共同推进尚未解决的问题;FDE 建设平台、定义模型需要完成的任务并推动交付;研究团队改进模型,提供连续的新快照,让团队按客户要求测试进展。

经过六个月,关键评估表现从约 60% 提升到 80%,再达到 90% 以上,满足了生产要求。形成的语音模型既支持这位客户,也用于其他定制客服部署和 Presence 的托管部署。

Audio Big Bench 五个实时模型版本的准确率为65.6%、81.5%、82.8%、87.7%和92.29%
这张图展示 Audio Big Bench 的版本成绩,不能直接当作上述客户的项目曲线。
五个版本准确率依次为 65.6%、81.5%、82.8%、87.7% 和 92.29%;图中覆盖约 17 个月,客户案例则是六个月的关键业务评估。图的最后一柱带星号,原图未展开解释。

这里,现场交付还承担了另一项作用:把“模型还不够好”具体化成能够测试、能够反复检验的问题。研究进步再回到现场接受验证,一位客户遇到的困难,也可能帮助后来的客户少走一段路。

同样是落地卡住,工作会走向哪里?

这两条路径归纳自原文案例,可同时发生;它们不是一份穷尽问题的诊断标准。

客户的真实任务 + 共同制定的评估
现有模型已能完成任务
让方案更容易部署与复用

FDE 与客户、产品团队提炼共用模块,减少重复集成,让下一个团队从已有能力起步。

产品得到更好的积累
业务评估暴露模型能力不足
明确差距,和研究团队共同改进

FDE 建平台、定义任务,Research 改进模型,再以新的模型快照接受客户要求的检验。

模型能够处理更难的任务
芯片方案扩展:原有用例已产生价值,迁移共用 Codex 框架后,相关项目约 90% 的定制代码被移除。

芯片扩展案例补充:原文一个用例首次部署花两个月,扩展至第二团队花一天;新团队仍要接入所需系统并建立评估。

何时需要 FDE?还要看客户能力与复用基础

OpenAI 的案例同时覆盖了“模型已能做,但方案还难部署”和“模型还达不到要求”的工作。不能把共同研发的一个案例,变成所有 FDE 项目都必须从模型能力边界起步的条件。

如果要判断自己的企业是否需要这支团队,还要看客户能否独立完成实施,以及现场做出的模块能否被其他客户复用。站内的 FDE 选型解读进一步讨论了这两个问题。

当产品接替了定制实现,继续找更难的问题

Jarvis 倾向于在多数大语言模型开发中选择更简单的解决方案。前提始终是,它能可靠地解决现场的问题。系统的复杂度,应当由任务需要来决定。

每一次合作,都应当给后来的工作留下更好的起点:一种更容易部署的产品,一项能处理更难任务的模型能力,或者更少需要重复完成的定制工程。

因此,当 Codex 能承担原来花数月搭建的用例时,团队不必守住旧实现来证明价值。把已经验证的结果保留下来,让通用产品接手它能够承担的部分,再去解决下一个更难的问题。

延伸观看:OpenAI FDE 团队官方访谈回放,讨论团队日常、客户反馈如何影响产品,以及适合这个岗位的能力。官方页面需登录观看。

来源
What FDE means at OpenAIColin Jarvis · OpenAI FDE 负责人·2026-10-22·查看主材料
本站说明
案例结果由 OpenAI 披露;语音基准图与电信客户业务评估分别标明口径。
↑ 正文结束
✓ 本篇全文免费开放

会员可复制、下载全文 Markdown,还能让你的 AI 订阅和提问。

阅读原文 ↗
📮 新解读每晚进邮箱

读完觉得有用?留个邮箱,每晚一封当天的新解读,随时退订。