牛客
牛客订阅

秋招 淘天 AI Agent / 大模型应用研发 二面

面试方向：AI 应用研发、Agent 工程化与大模型后训练相关方向
一、整体感受
这场面试和偏 Java 八股或普通项目核验型面试差异很大，面试官基本没有问传统后端基础，而是围绕我的两段 Agent 经历持续深挖：
● 幻觉治理；
● 评测集、Ground Truth 和线上数据回流；
● Ontology 与 Action 的抽象和治理；
● Agent 执行失败后的重规划；
● 多步骤任务的并行调度；
● 大规模 Agent 轨迹如何用于工程优化和后训练；
● DPO 偏好数据如何权衡正确性、效率与安全性。
整场面试最明显的特点是：面试官不仅关注“解决了什么问题”，还持续追问这个方案是否能够形成评测闭环、自动发现新问题、复用到下一类问题，并进一步沉淀为数据和模型能力。
二、面试流程
大致流程如下：

  1. 自我介绍；
  2. 完整业务链路；
  3. Code + LLM 方案的演进过程；
  4. 高频幻觉问题的发现与治理；
  5. 评测集、Ground Truth、错误率和线上回流；
  6. Ontology 与 Action 建模；
  7. 航旅排障 Agent 的失败恢复与并行调度；
  8. 十万条 Agent 轨迹的数据清洗和后训练；
  9. DPO 偏好对构造；
  10. 反问及面试官对 Agent 方向的理解。

三、自我介绍
四、项目深挖

  1. 结合一个真实请求，介绍智能面试间的完整链路，以及你本人负责的部分
  2. 第一版为什么会失败？你是如何从纯 LLM 演进为 Code + LLM 的？
  3. 高频问题是怎么发现的？
  4. 如果以后出现别的问题，原有方案能不能复用？

五、评测体系与线上数据闭环

  1. 项目指标是怎么统计的？
  2. 评测集是怎么构建的？Ground Truth 从哪里来？
  3. 正式上线以后，有没有自动回流和自迭代机制？

六、Ontology 与 Action 建模

  1. 两个项目是什么关系？
  2. Ontology 和 Action 对 Agent 有什么帮助？
  3. 项目不同领域中，哪些语义应该统一，哪些差异应该保留？
  4. 新增一个Action，要经过什么流程？

七、航旅排障 Agent：失败恢复与并行调度

  1. Planner 规划了五步，第三步失败怎么办？
  2. 日志查询、告警查询、历史故障检索能不能并行？

八、十万条 Agent 轨迹如何用于迭代与后训练

  1. 如果积累了十万条成功、失败和人工修正轨迹，应该如何处理？
  2. 两条轨迹都成功，一条三次工具调用，一条十二次，DPO 偏好对怎么构造？

九、反问环节与面试官分享
十、完整问题清单

  1. 请做一个自我介绍。
  2. 结合一个真实请求，介绍完整业务链路。
  3. 在这条链路中，你本人参与设计和编码的是哪一部分？
  4. 为什么模型会漏掉一部分内容？
  5. 第一版方案是什么？为什么失败？
  6. 你如何从纯 LLM 方案演进到 Code + LLM？
  7. 更换更强模型后，问题是否彻底解决？
  8. 高频幻觉和误判问题是怎么发现的？
  9. 如果线上还存在别的问题，如何发现？
  10. 原有治理框架能否复用到新的问题？
  11. 端到端错误率从 14.2% 降到 1.5% 是怎么统计的？
  12. 评测集是怎么构建的？
  13. Ground Truth 是怎么获得的？
  14. 评测集规模大约有多少？
  15. 上线以后，是否有线上问题自动回流和自迭代机制？
  16. Ontology / Action 建模和幻觉治理项目是什么关系？
  17. Ontology 对项目或 Agent 能力有帮助吗？
  18. 不同领域中中，哪些语义应该统一？
  19. 哪些领域差异不能被强行统一？
  20. 新增一个本体或 Action 时，如何判断是否与已有能力重叠？
  21. 新建Action 的完整流程是什么？
  22. Action 如何完成需求梳理、接口复用、评审、测试和发布？
  23. Planner 规划五步，第三步失败时怎么办？
  24. 如何判断工具返回结果是否满足当前步骤的预期？
  25. 应该整条任务重跑，还是只对失败步骤重新规划？
  26. 日志查询、告警查询和历史故障检索能否并行？
  27. Planner 如何表达任务之间的依赖关系？
  28. 如何使用 DAG、调度器或状态机完成并发执行？
  29. 并行执行中如何处理超时、失败传播和局部重试？
  30. 如果积累了十万条 Agent 轨迹，如何进行数据清洗？
  31. 哪些问题应该通过 Prompt、流程和工具优化？
  32. 哪些问题适合进入模型后训练或微调？
  33. 两条轨迹都成功，一条调用三次工具，一条调用十二次工具，如何构造 DPO 偏好对？
  34. 如何权衡正确性、效率和安全性？
  35. 短轨迹一定比长轨迹好吗？
  36. 长轨迹中的失败恢复过程是否还有训练价值？
参与讨论