从零打造复古风LLM聊天机器人作者从零开始微调一个复古风格的聊天机器人,使用19世纪书籍和考试问答作为数据集。过程中遇到模型幻觉严重、语气不伦不类的问题,并详细记录了数据清洗和合成数据的尝试。 作者还测试了模型对现代概念(如Minecraft)和历史人物(如爱因斯坦)的混淆回答,展示了大模型在特定领域微调时的有趣缺陷。 评论点赞收藏57 天前
从零打造复古LLM:我的训练实战与踩坑记录作者分享从零开始训练一个仅基于1900年前文本的3.4亿参数LLM的全过程。内容涵盖数据清洗的踩坑细节(如去重、质量过滤算法)、自定义Tokenizer的设计、以及基于LitGPT和nanoGPT修改训练脚本的工程实践。包含具体的硬件配置、云算力成本(约80美元)及代码开源链接,具有极强的工程参考价值。 评论点赞收藏66 天前
复古大模型:用历史数据训练AI介绍“复古大语言模型”(Vintage LLMs)这一新兴研究方向,即使用历史数据训练模型以测试AI推理能力而非单纯记忆。文章列举了Talkie、TypewriterLM、MonadGPT等7个具体开源项目,涵盖从1875年到1930年的不同历史时期数据,并提供了相关论文、HuggingFace链接及社区资源。 评论点赞收藏110 天前
本站点已全面迁移至自研工具 TwoFold作者分享将静态站点生成器从Eleventy迁移至自研工具TwoFold的技术细节,包括模板引擎实现、AST解析、缓存机制及页面渲染策略,并表达了对开源项目缺乏用户的失落与坚持。 评论点赞收藏216 天前
TwoFold v0.12 发布:重构AST与C语言Lexer性能实验实录作者发布静态网站生成器TwoFold v0.12,重写标签评估与AST结构,新增TemplateEngine引擎及intoVar插件。作者分享将个人MEMEX笔记迁移至该工具的实战经验,并详细记录了尝试使用C语言重写Lexer以提升性能但最终因交互开销未达预期的技术实验过程。 评论点赞收藏360 天前
TwoFold v0.11 发布:引入插件系统与 BFS 标签机制TwoFold v0.11 版本发布,引入插件系统(Addons)、BFS 标签执行机制、React JSX 风格属性语法及天气查询等新功能,同时包含多项破坏性更新。 评论点赞收藏442 天前
TwoFold v0.9 发布:让 Markdown 笔记“写回”你的个人工具作者发布个人项目TwoFold v0.9,支持Deno,新增变量系统、文本动画、本地LLM流式对话及日志功能,旨在增强Markdown笔记文件的交互性。 评论点赞收藏462 天前
TwoFold v0.6 发布:迁移至 Bun 与 TypeScript 重写作者发布 TwoFold 模板引擎 v0.6 版本,核心亮点包括从 Node.js 迁移至 Bun 运行时、重写为 TypeScript、原生支持 fetch 和 spawn 调用外部程序,以及新增零属性标签和忽略渲染标签等特性。文章提供了详细的代码示例和更新日志,属于典型的开发者项目更新记录。 评论点赞收藏1142 天前