你无法激励一条从未出错的管道数据工程中最有价值的维护工作往往是隐形的。将激励与指标挂钩不仅无法揭示这些工作,反而可能掩盖它们。核心观点是:不能为不会出错的管道设计激励机制,因为预防性工作的价值难以量化。这挑战了传统的KPI导向管理思维,适合对工程管理和团队激励感兴趣的技术人员思考。 评论点赞收藏43 天前
你的团队已有模式,只是尚未察觉数据工程团队其实已经拥有了解决问题的模式,只是缺乏共享词汇来识别它们。建立“模式库”可以帮助团队统一语言并提升估算信心。关键在于协作构建,避免将其变成官僚主义的负担。这是一个关于团队知识沉淀和工程效率的实用建议,适合技术管理者参考。 评论点赞收藏50 天前
Keep MovingWhy forward momentum — not planning, not tooling, not the perfect architecture — is the only thing that actually ships a data platform. 评论点赞收藏54 天前
幽灵技能:教AI代理像数据工程师一样思考介绍一个开源技能库,旨在让AI编码代理掌握数据工程师的思维方法,如粒度处理、键管理、SCD2类型变化及事故沟通等,具有强烈的前沿探索性和争议潜力。 评论点赞收藏63 天前
别让自己变透明:可见性是数据工程师的核心技能引用Jeff Atwood的经典建议,探讨数据工程师在长期迁移、隐形管道和分布式团队环境中如何保持工作可见性,避免“暗箱操作”带来的职业风险。 评论点赞收藏85 天前
为什么你的数据管道每个月都完成得更晚?针对数据管道每月完成时间推迟的问题,提供诊断瓶颈、修复不必要依赖关系的实用指南,并结合Snowflake和AWS的具体模式帮助读者加速数据交付。 评论点赞收藏120 天前
别再从零开始构建Salesforce集成Hands-on guide to using Snowflake's OpenFlow Salesforce connector, arguing that managed connectors are superior to custom code due to features like schema evolution. 评论点赞收藏134 天前
你的数据模型没坏,第二部分:重构实战手册作为系列第二篇,探讨如何通过绞杀者模式(Strangler Fig)和写后审计发布(Write-Audit-Publish)等技术,在不中断服务的情况下逐步重构数据仓库,避免推倒重来。 评论点赞收藏141 天前
数据模型没坏,只是旧了:为什么重构优于重建文章强烈反对数据团队因代码混乱而进行整体重建(Rewrite),主张渐进式重构(Refactoring)。作者以Netscape重写浏览器导致市场丢失的历史教训开篇,指出旧代码中的“脏逻辑”往往是处理生产环境边缘案例和业务规则的“战斗疤痕”,蕴含着无法文档化的隐性知识。文章引用Fred Brooks的“第二系统效应”和规划谬误,解释为何重建项目往往延期且失败。核心观点是:数据模型的复杂性大多源于业务本质(Essential Complexity),而非工程失误。盲目重建不仅无法消除复杂性,还会丢失宝贵的制度记忆。建议采用类似Strangler Fig模式的渐进式重构,在保留现有功能的同时逐步优化架构。 评论点赞收藏141 天前
朋友会在那里,但你的工作不会引用成人幸福感最长研究,指出人际关系比职业成就更重要,但现代人常因工作牺牲朋友聚会。文章探讨了这种选择的代价及真正友谊的样子。属于生活感悟类,对高压的技术人群有情感共鸣,但技术讨论价值较低。 评论点赞收藏151 天前
迈向更好数据工程的12个步骤提供一个包含12个是非题的快速评分框架,用于评估数据团队的工程成熟度,并结合dbt、Snowflake、GitHub Actions和AWS给出具体基准。 评论点赞收藏162 天前
在 Snowflake 中基于 Iceberg 表的 WAP 模式实战介绍在 Snowflake 中使用 Apache Iceberg 表实现 WAP (Write-Audit-Publish) 模式的实操教程。重点在于利用分支功能进行数据质量检查,并通过零 I/O 的发布步骤确保生产环境安全。适合关注数据仓库工程和变更安全的工程师。 评论点赞收藏170 天前
自愈表:当逐日回填变成一场缓慢的灾难指出传统逐日回填(SCD2)容易累积错误且耗时的问题,提出“自愈表”框架。该框架允许维度表在一次遍历中重建并恢复数据质量问题,解决了长期回填带来的工程灾难。观点鲜明,直击数据工程痛点。 评论点赞收藏190 天前
NBA 教练给数据领导者的团队建设课从 NBA 马刺队教练 Gregg Popovich 的管理哲学中提炼出对数据团队领导的启示。强调晚餐社交、情感在场和严格标准在远程工作和技术精英文化中的重要性。跨界类比新颖,对技术管理者有较强吸引力。 评论点赞收藏195 天前