腾讯混元AI Infra一面

牛客，牛客网是中国求职备考社区，提供编程题库、面试经验和笔试真题，帮助技术求职者准备面试。关注
  1. 讲解张量并行 TP 的核心逻辑，如何对 Linear、Attention、FFN 完成权重切分？列并行、行并行分别切哪一维、通信发生在哪个阶段？
  2. 大模型 QKV 矩阵与多头注意力头，具体如何做张量并行切分？
  3. FFN 两层网络为什么通常采用「列并行+行并行」的组合方式？
  4. TP 并行规模越大训练速度一定越快吗？请说明瓶颈与限制。
  5. 张量并行中 All-Gather、Reduce-Scatter、All-Reduce 分别解决什么问题？如何根据 Tensor Shape 计算实际通信量？
  6. 如何判断大模型训练进入通信瓶颈？通信量和序列长度、隐层维度的关系是什么？
  7. 详细区分 DP 数据并行与 TP 张量并行的本质差异，集群扩容时如何判断该加 DP 还是 TP？
  8. 数据并行能否解决单卡放不下模型的问题？训练DP和推理Serving-DP有什么区别？
  9. 流水线并行如何切分模型 Stage？流水线 Bubble 气泡如何产生、怎么优化降低损耗？
  10. 为什么 PP 流水线并行会增加推理延迟？多 Stage 负载不均衡如何处理？
  11. 上下文并行为什么适配超长序列场景？序列切块后，跨卡如何完成完整的 Attention 计算？
  12. 简述QQ空间好友动态推荐开发思路，如何实现数据管理、行为仿真、内容打分排序、TopN推荐全流程？
添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论