CRLF

RSS: https://crlf.link/feed.xml
Cristi Constantin 的个人博客与 Wiki。

从零打造复古风LLM聊天机器人

作者从零开始微调一个复古风格的聊天机器人,使用19世纪书籍和考试问答作为数据集。过程中遇到模型幻觉严重、语气不伦不类的问题,并详细记录了数据清洗和合成数据的尝试。 作者还测试了模型对现代概念(如Minecraft)和历史人物(如爱因斯坦)的混淆回答,展示了大模型在特定领域微调时的有趣缺陷。
评论点赞收藏57 天前

从零打造复古LLM:我的训练实战与踩坑记录

作者分享从零开始训练一个仅基于1900年前文本的3.4亿参数LLM的全过程。内容涵盖数据清洗的踩坑细节(如去重、质量过滤算法)、自定义Tokenizer的设计、以及基于LitGPT和nanoGPT修改训练脚本的工程实践。包含具体的硬件配置、云算力成本(约80美元)及代码开源链接,具有极强的工程参考价值。
评论点赞收藏66 天前

复古大模型:用历史数据训练AI

介绍“复古大语言模型”(Vintage LLMs)这一新兴研究方向,即使用历史数据训练模型以测试AI推理能力而非单纯记忆。文章列举了Talkie、TypewriterLM、MonadGPT等7个具体开源项目,涵盖从1875年到1930年的不同历史时期数据,并提供了相关论文、HuggingFace链接及社区资源。
评论点赞收藏110 天前

本站点已全面迁移至自研工具 TwoFold

作者分享将静态站点生成器从Eleventy迁移至自研工具TwoFold的技术细节,包括模板引擎实现、AST解析、缓存机制及页面渲染策略,并表达了对开源项目缺乏用户的失落与坚持。
评论点赞收藏216 天前

TwoFold v0.12 发布:重构AST与C语言Lexer性能实验实录

作者发布静态网站生成器TwoFold v0.12,重写标签评估与AST结构,新增TemplateEngine引擎及intoVar插件。作者分享将个人MEMEX笔记迁移至该工具的实战经验,并详细记录了尝试使用C语言重写Lexer以提升性能但最终因交互开销未达预期的技术实验过程。
评论点赞收藏360 天前

悠悠球入门与分类简介

作者分享了自己因孩子而迷上悠悠球的经历,简要介绍了循环、响应和非响应三种悠悠球的区别及学习资源。
评论点赞收藏806 天前

TwoFold v0.6 发布:迁移至 Bun 与 TypeScript 重写

作者发布 TwoFold 模板引擎 v0.6 版本,核心亮点包括从 Node.js 迁移至 Bun 运行时、重写为 TypeScript、原生支持 fetch 和 spawn 调用外部程序,以及新增零属性标签和忽略渲染标签等特性。文章提供了详细的代码示例和更新日志,属于典型的开发者项目更新记录。
评论点赞收藏1142 天前

登录芦苇

登录后关注作者、收藏内容和参与讨论。