百度实习一面面经
'%20fill-opacity='.8'%20d='M3.256%203.913a3.083%203.083%200%200%200-.003%204.397L8%2012.998l4.743-4.684a3.085%203.085%200%200%200%20.001-4.4c-.6-.593-1.4-.914-2.233-.914a3.17%203.17%200%200%200-1.91.635L8%204.087l-.601-.452A3.17%203.17%200%200%200%205.489%203c-.834%200-1.634.321-2.233.913m10.19%205.111-4.748%204.69a.996.996%200%200%201-1.397%200L2.549%209.02a4.083%204.083%200%200%201%20.004-5.82A4.17%204.17%200%200%201%205.488%202c.907%200%201.787.29%202.512.835A4.17%204.17%200%200%201%2010.51%202c1.093%200%202.146.422%202.936%201.202a4.085%204.085%200%200%201%200%205.822'%20/%3e%3c/svg%3e)
'%20stroke-opacity='.75'%20stroke-width='1.5'%20stroke-linejoin='round'/%3e%3c/svg%3e)
- 介绍项目对应的业务场景，说明基座模型大小、部署位置、数据规模与算力资源
- SFT训练时并行参数如何配置，训练过程遇到过哪些问题
- 解释packing技术的作用
- MODP和SFT有什么区别，融合版本MODP如何实现
- OPD里forward KL和reverse KL的区别，各自适配什么场景
- OPD能够生效背后的数学原理是什么
- OPD和GRPO之间有哪些差异
- on-policy与off-policy的区别是什么
- 多轮对话场景，例如100轮交互，会存在哪些难点
- SFT和RL分别解决模型的什么问题
- 训练过程有没有遇到reward hacking，是怎么处理的
- 手撕代码：实现多头注意力MHA
参与讨论