字节推荐大模型算法岗一二面面经

1️⃣一面

1. 简要介绍你的论文项目
2. BatchNorm 和 LayerNorm 有哪些区别
3. Transformer 中改用 BatchNorm，为什么训练、推理结果会不一致
4. Softmax 发生数值溢出，该如何处理
5. Pre-Norm 和 Post-Norm 的区别
6. Attention 为什么要除以 \sqrt{d_k}？不除会出现什么现象，对Softmax输出和梯度有什么影响
7. 手撕算法：最长有效括号

2️⃣二面

1. MoE 和多头注意力（Multi-Head Attention）的区别
2. Sparse MoE 的“稀疏”体现在什么地方
3. Router、Top-K Expert 的工作流程
4. 什么是 Expert Collapse（专家坍缩）
5. MoE 为什么要做专家负载均衡
6. 给 Attention 加上 Gate 机制，和 MoE 还有什么本质差别
7. 模型效果提升时，如何排除参数量变大等无关变量的影响
8. 消融实验里，怎么证明性能提升来自新增模块
9. 手撕算法：编辑距离