纯C实现的MicroGPT在Apple M5上达到每秒1000万token一个纯C实现的字符级Transformer，仅用libc无外部依赖，在Apple M5 Pro上推理速度突破1000万token/秒。模型仅4192参数，在3.2万名字上训练后能泛化而非死记，生成新名字质量超过近5倍参数的插值n-gram模型。训练和推理使用独立的前向路径，推理路径针对单token做了专门优化。 评论点赞收藏1 天前
评论
点赞
收藏