V2EX
V2EX订阅

[酷工作] 上海社招， AI Infra / Agent Infra 工程师

AI Infra：GPU 算力优化工程师

工作地点： 上海徐汇

经验要求：3–5 年 薪资 30-50k

团队与岗位简介

我们负责公司 AI Infra 算力平台的建设，为企业客户提供统一的 GPU 算力调度底座。平台同时运行 Kubernetes （ Volcano / Kueue ）和 Slurm 两套调度体系，承载大规模分布式训练、批量推理与交互式开发任务，并在推进两者的融合与统一纳管；在算力之上提供 MaaS 模型服务，以 token 计费对外输出算力。我们鼓励你在日常工作中大量使用 AI 提效工具。

岗位职责

  1. 负责大模型推理服务的性能优化，提升单位 GPU 的 token 产出，支撑 MaaS 业务的成本与 SLA 目标；
  2. 负责主流开源模型在目标 GPU 平台（含 Blackwell 架构）上的性能基线建立与持续优化，输出吞吐、TTFT / TPOT 、每百万 token 成本等指标；
  3. 负责量化（ FP8 / INT8 / AWQ ）、并行策略（ TP / PP / EP ）、batching 、KV cache 与 prefix caching 等优化手段的评估与落地；
  4. 负责多机多卡推理部署与编排（ LeaderWorkerSet 等），以及推理服务基于 TTFT / 队列深度的扩缩容策略设计；
  5. 负责分布式训练任务的性能分析与优化，协同调度层提升 GPU 利用率与通信效率；
  6. 为算力容量规划、定价与成本模型提供性能数据支撑，参与推理服务的 SLA 定义；
  7. 跟踪推理引擎与 GPU 架构的前沿进展（投机解码、MoE 专家并行、分离式推理等），推动工程化验证与落地。

任职要求

基本要求

  1. 本科及以上学历，计算机、软件工程、人工智能或相关专业；
  2. 3 年以上 AI Infra / 推理系统经验；熟练使用 Python 与 Golang ，能在 Kubernetes 平台上部署与编排推理服务；
  3. vLLM / SGLang / TensorRT-LLM 至少一个的生产级调优经验——调过 batch size 、KV cache 、并行策略，并有吞吐 / 延迟的实测数据；
  4. 量化实战（ FP8 / INT8 / AWQ 任一），能评估并控制精度损失；
  5. 多机多卡推理部署经验，理解 TP / PP / EP 的选择依据与通信开销；
  6. 熟练使用 GPU profiling 工具（ Nsight Systems / nvidia-smi dmon / DCGM 指标），能定位算力、显存与通信瓶颈，并把优化结果换算为每百万 token 成本；
  7. 亲手参与过百卡以上 GPU 集群；熟悉 NVIDIA 软件栈（ driver / CUDA / NCCL / DCGM ）；
  8. 了解 PyTorch 等主流机器学习框架，理解模型训练 / 推理的基本流程；具备英文技术文档读写能力；
  9. 具备良好的学习能力、沟通协作意识和强烈的责任心；接受 NDA 与严格的权限管理流程。

加分项

  1. Blackwell 架构（ B200 / B300 ）调优经验；
  2. MoE 类开源模型的专家并行部署经验；
  3. 投机解码、prefix caching 、prefill / decode 分离式推理等前沿手段的落地经验；
  4. 有分布式训练（ PyTorch DDP / FSDP 、DeepSpeed 、Megatron 等）任务编排与优化经验；
  5. 了解 RDMA / InfiniBand 高性能网络，有 NCCL 通信性能诊断经验；
  6. 有 Volcano / Kubernetes 调度与 GPU 切分（ MIG / MPS ）配合推理服务的实践；
  7. 有 vLLM / SGLang 等项目的源码级开发经验或社区贡献；
  8. 有 Prometheus + Grafana 监控体系建设经验，能自建推理服务性能看板；
  9. 有算力成本模型或容量规划的实践经验。

我们提供

  • 有竞争力的薪资与年终奖金
  • 五险一金
  • 弹性工作制
  • 带薪年假与定期体检
  • 与顶尖技术团队共事，参与前沿 AI 基础设施建设的成长机会

Agent Infra：Agent 运行时工程师

工作地点： 上海徐汇

经验要求：3–5 年 薪资 30-50k

团队与岗位简介

我们正在把大模型从「对话」推进到「干活」：Agent 要长时间运行、调用大量工具、读写外部系统、出错后自我修正。Agent Infra 团队负责这套运行时底座——执行沙箱、模型与工具网关、上下文与记忆、编排与评测、可观测与安全边界。这里不做单个模型的极致调优，你要解决的是「上千个 Agent 并发跑起来时，不互相污染、不失控、可回放、可度量」。我们鼓励你在日常工作中大量使用 AI 提效工具。

岗位职责

  1. 负责 Agent 执行沙箱的设计与实现：强隔离（ microVM / 容器 / gVisor 等）、资源限额、文件系统与网络策略、超时与回收， 保证不可信代码与工具调用的安全执行；
  2. 负责模型接入与调用网关：多模型 / 多供应商路由、限流与配额、重试与降级、缓存与成本核算，屏蔽上游 API 差异；
  3. 负责上下文与记忆基础设施：长上下文分层存储与压缩、会话状态持久化、向量 / 结构化检索、窗口长度与成本的平衡策略；
  4. 负责 Agent 编排运行时：多步任务的状态机 / 图编排、断点续跑、人工介入（ HITL ）、多 Agent 协作与任务分发、并发与背压 控制；
  5. 负责工具生态与协议接入（ MCP 、OpenAPI 、内部系统对接），建设工具注册、鉴权、审计与权限最小化机制；
  6. 负责 Agent 评测与回归体系：数据集、轨迹回放、自动打分与人工标注、线上效果与失败归因，支撑模型与策略持续迭代；
  7. 负责全链路可观测性：trace / span 级调用链、token 与延迟成本、失败模式统计，建设告警与容量规划；
  8. 与算法、安全、业务团队协作，把 Agent 能力产品化，跟踪领域前沿（长任务、Computer Use 、RL 环境等）并做工程验证。

任职要求

基本要求

  1. 本科及以上学历，计算机、软件工程或相关专业；
  2. 3 年以上后端 / 平台研发经验，其中 1 年以上 LLM 应用或 Agent 系统相关；精通 Python ，并至少熟悉 Go / TypeScript / Rust 之一；
  3. 有高并发服务的设计与落地经验：熟悉消息队列、异步任务、流式传输（ SSE / WebSocket ）、限流与背压，能给出 QPS / P99 实 测数据；
  4. 有容器与沙箱实操经验：Docker / Kubernetes 是基本功，理解 namespace 、cgroup 、seccomp ，做过 microVM 、gVisor 、 Firecracker 或浏览器沙箱任一；
  5. 熟悉 LLM 应用的关键工程问题：上下文构造、function / tool calling 、结构化输出、多轮状态管理、失败重试与幂等；
  6. 有可观测性与评测的工程经验：OpenTelemetry 链路追踪、日志指标体系，能设计可回放的评测流水线；
  7. 熟悉至少一种状态 / 存储组件（ Postgres 、Redis 、对象存储、向量数据库）在长会话场景下的选型与调优；
  8. 具备英文技术文档读写能力；接受 NDA 与严格的权限管理流程。

加分项

  1. 生产级 Agent 平台或工作流引擎（ DAG 编排、Temporal 类持久化执行）的建设经验；
  2. MCP 协议、工具生态或插件市场的落地经验；
  3. Computer Use / 浏览器自动化 / 代码执行沙箱（如内核池化 Jupyter ）的工程经验；
  4. Agent 评测体系与 RL 环境（环境接口、轨迹采集、reward 对接）的建设经验；
  5. Prompt / 语义缓存、模型路由的成本优化实践，且有量化收益；
  6. 安全对抗视角：提示注入防护、越权工具调用拦截、数据外泄审计；
  7. 推理服务调用侧经验（理解 TTFT 、KV cache 对 Agent 交互体验的影响）；
  8. 开源 Agent 框架（ LangGraph 、AutoGen 、OpenAI Agents SDK 等）源码级经验或社区贡献。

我们提供

  • 有竞争力的薪资与年终奖金
  • 五险一金
  • 弹性工作制
  • 带薪年假与定期体检
  • 与顶尖技术团队共事，参与前沿 AI 基础设施建设的成长机会

简历投递

邮箱：echo "Z2FsYXhpZW5ld2FnZUBnbWFpbC5jb20=" |base64 -d

标题请写明：AI Infra 工程师 +姓名+工作经验

备注：请把简历投递到邮箱，后台私信很少看，感谢！！

参与讨论