Google Open Source

Google 开源博客，发布 Google 开源项目的最新动态、故事与社区贡献。

我们做出了首个向量化快速排序

Google 开源了基于 Highway 库的向量化 Quicksort，宣称在多种现代 CPU 架构上比 C++ std::sort 快约 10 倍，并超过此前针对特定架构优化的排序实现。核心思路是利用 SIMD 的“compress-store”（或可用 permute 模拟）加速 Quicksort 中最耗时的 partition 步骤：先用小于 pivot 的 yes/no 掩码把元素压入一段连续内存，再取反掩码写入另一段，直到子数组小到可用特殊方式排序。实现通过 Highway 的统一 SIMD 接口同时支持 Arm SVE、RISC-V V、x86 AVX-512/AVX2 等六种指令集、三大架构，避免为每个平台重写约 3000 行 C++，并支持 16 到 128 位整数/浮点输入。性能方面，Apple M1（NEON）上 100 万个 32/64/128 位数的排序吞吐约 499/471/466 MB/s；Skylake AVX-512 约 1120 MB/s；AVX2 约 798 MB/s，高于此前 AVX2 专用最优的 699 MB/s，而标准库在同一 CPU 上只有 58-128 MB/s，整体达到 9-19 倍加速。代码以 Apache-2.0 发布在 Google Highway 仓库，附带 arXiv 论文详细介绍实现与评测。

收藏14 天前

为 Agent 时代保驾护航：CEL 形式化验证框架开源

Google 开源 CEL 形式化验证框架，基于 Z3 定理证明器，可对 CEL 表达式进行数学级正确性证明。支持等价性检查、有效性检查和安全不变量验证三种能力，能自动找出逻辑漏洞的反例输入。采用三阶段污点追踪消除误报，支持有界模型检查防止 SMT 求解器无限循环。

收藏36 天前

谷歌以首席成员身份加入OpenROAD开源芯片设计倡议

谷歌以最高会员级别正式加入OpenROAD Initiative，派Aaron Cunningham进入治理委员会。OpenROAD是开源数字芯片设计工具链，可在24小时内完成RTL到GDSII全流程，已被500多篇同行评审论文引用，由NSF的POSE计划支持，主要面向学术界和初创公司降低芯片设计门槛。

收藏46 天前

Go语言pkg.go.dev推出全新结构化API

Go官方宣布推出的结构化API，旨在替代不稳定的网页抓取方式，为开发者提供稳定、高效的元数据访问接口。该API支持搜索、模块信息查询及漏洞检测等功能，并配套发布了参考CLI工具，特别强调了对AI辅助编程和自动化工作流的支撑能力。

收藏110 天前

JPEG XL 诞生之路：开源实验如何重塑图像编码的未来

Google 工程师亲述 JPEG XL 图像编码标准十年研发历程，充满一手经验和具体工程细节。核心看点：团队从试图优化已有 JPEG 标准起步，一路经历了 WebP Lossless（熵图像概念）、Brotli 压缩格式、Butteraugli 人眼视觉感知模型与 XYB 色彩空间、Guetzli 渐进式编码器、Brunsli 无损重压缩等关键实验，最终在 2017-2019 年将自家 PIK 方案与 Cloudinary 的 FUIF 合并，形成今天的 JPEG XL 标准。文章坦诚讲述了每个实验的目的、失败与突破——包括如何通过 Butteraugli 模拟人类视觉系统实现更高压缩率、VarDCT 可变块大小架构的引入原因、以及 PIK 与 FUIF 在熵编码策略上的技术取舍。 JPEG XL 已被 DNG 1.7、Apple ProRAW、DICOM 医学影像标准、PDF/EPUB 出版标准等采纳，Adobe 和主流操作系统均已原生支持。这不是一篇营销通稿，而是真正的工程师视角复盘，有实质技术判断和开源社区互动经验，适合对图像编码、文件格式演进、技术标准制定感兴趣的读者。

收藏119 天前

谷歌云：持续加大对PostgreSQL的投入

谷歌云官方发布技术回顾，详述2025下半年对PostgreSQL内核的多项贡献：逻辑复制方面实现了自动冲突检测与序列同步两大功能，为active-active双活复制奠定基础；升级体验方面优化了大对象pg_upgrade迁移性能（从数天提升数个数量级），修复了插槽WAL保留及NOT NULL约束继承等bug；此外还改进了pgstattuple对空页的鲁棒性、修复了动态库嵌套路径加载和WAL刷写一致性问题。文章列出了Dilip Kumar、Hannu Krosing等核心贡献者及具体commit链接，适合关注PG内核开发、逻辑复制或升级实践的DBA和架构师参考。

收藏182 天前

OpenTitan 正式投产并随 Chromebook 出货

OpenTitan——全球首个开源硅芯片信任根（Root of Trust）——正式随商用 Chromebook 出货。该项目由 Google 与开源社区历时 7 年打造，Nuvoton 生产。 OpenTitan 支持后量子密码学安全启动（SLH-DSA），在商用级开源 RoT 中尚属首次。设计与代码覆盖率超 90%，每日运行 4 万+ 测试。下一步将部署至 Google 数据中心，并启动支持格密码（ML-DSA/ML-KEM）的第二代版本。社区贡献者 275+，代码提交量较发布时增长超 10 倍。

收藏209 天前

Google 为 Go 语言推出的官方 JSON Schema 包

Google 正式开源了 Go 语言的官方 JSON Schema 包 jsonschema-go，已用于 MCP 的 Go SDK。文章解释了为什么在 LLM 时代 JSON Schema 变得至关重要——它成为定义 LLM 结构化输入输出的标准语言。作者对比了现有四个 Go JSON Schema 库（invopop/jsonschema、santhosh-tekuri/jsonschema 等），发现没有一个能同时满足 schema 创建、序列化、校验和类型推断四项需求，于是决定自建。文章展示了核心 API：开放的 Schema 结构体支持直接构造复杂 schema；Resolve 方法完成引用解析后返回优化后的校验器；For/ForType 函数可从 Go 类型自动推断 JSON Schema，利用 struct tag 提取字段名和描述。团队诚实地解释了为何移除对 struct 直接校验的功能（无法判断 omitempty 字段在原始 JSON 中是否存在）。整体是扎实的工程决策分享，对 Go + LLM 开发者有直接参考价值。

收藏233 天前

通过 REST 目录公开 Apache Iceberg 公共数据集

项目创建者分享，为降低 Apache Iceberg 的入门门槛，团队在 BigLake 上搭建了生产级 Iceberg REST 目录，并免费开放 NYC Taxi 等公共数据集。开发者只需提供 Google Cloud Project ID 用于认证和配额，即可用 Spark、Trino 或 Flink 直接查询，省去了配置存储桶、目录和导入数据的开销。文章还向社区征集希望添加的数据集或 Iceberg 功能建议。

收藏258 天前

Wasefire：面向嵌入式设备的安全优先固件开发框架

Google 开源了一个叫 Wasefire 的固件开发框架，帮助开发者更容易地为微控制器和 IoT 设备构建安全的嵌入式系统。框架使用 Rust 编写，依靠 WebAssembly 沙箱隔离 applet，兼顾安全性与可移植性。文章详细对比了 WebAssembly 解释器、Pulley 解释器和 Native 三种运行方案的性能与资源开销，用 FIDO2 安全密钥和 BLE 嗅探器两个真实例子展示了性能差异（如 WebAssembly 下 BLE 嗅探器每秒只能处理约 55 个包且丢包，Pulley 方案可达 195+ 且不丢包）。目前仍为实验项目，仅支持单 applet 运行，后续计划引入资源声明清单和并发执行。适合嵌入式、Rust、WebAssembly 方向的开发者了解最新工具动态。

收藏261 天前

Eclipsa Audio：面向所有人的沉浸式开源音频格式（2025）

Google 与 Samsung 联合发布基于开放媒体联盟（AOM）IAMF 规范的开源沉浸式音频格式 Eclipsa Audio，任何人都可免费使用音频工具创建三维声场文件。文章介绍该格式的技术背景、开源渲染器与网页演示工具，并公布 2025 年路线图：YouTube 将支持上传 Eclipsa Audio 音轨，Samsung 全线 2025 电视（从 Crystal UHD 到 Neo QLED 8K）首批集成，后续还将推出 Pro Tools 插件、Chrome 原生播放与 Android AOSP 支持。面向专业音频从业者和对空间音频技术感兴趣的开发者，但行文为标准的机构发布稿，缺乏个人观点与讨论入口。

收藏267 天前

用TPU、JAX和一点坚持，一个开放实验室能训练出什么——Marin 32B模型训练回顾

仅1名研究员整个夏季在Google TPU上独立维护训练，斯坦福Marin项目就造出了32B开源基座模型，在42项评测中24项超越Gemma 3 27B，与Olmo 3 32B打平。这不是英雄故事，而是"好工具+小团队+全透明"的真实验证。文章详细记录了训练全过程的坑：loss尖峰问题用架构切换（Llama3→Qwen3加QK-Norm）解决、数据混洗bug（线性同余→Feistel置换）修复、preemptible TPU的可靠恢复、v5p到v4的平滑迁移等。所有代码、数据配方、实验岔路全部开源，任何团队都能复现或在此基础上继续。对做LLM训练的人是一手可复用经验，对行业观察者是"开源模型不需要几百人团队"的生动案例。

收藏272 天前

面向移动端微调Gemma 3模型

移动端运行大模型面临隐私与延迟约束，但多数开发者并非ML专家。本文介绍Cactus公司如何借助Google的Tunix后训练库和Colab免费版，实现从零微调Gemma 3并部署到Flutter/原生App的完整流程：在Colab Notebook中加载模型、上传数据集、运行SFT作业、导出权重并转为Cactus图格式。关键在于"克隆即运行"的低摩擦体验，无需搭建本地环境或承担前期云成本。适合想为App接入本地AI能力但缺乏ML工程经验的移动开发者参考。

收藏292 天前

Blockly 移师树莓派基金会，谷歌开源库开启新篇章

谷歌正式宣布，其开源拖拽式编程库 Blockly 将于 2025 年 11 月 10 日移交至树莓派基金会管理。Blockly 自 2011 年诞生以来已成为可视化编程标准，被 Scratch、MakeCode、LEGO Education 等平台广泛采用，此次迁移的核心原因是树莓派基金会在计算教育领域的使命与 Blockly 高度契合。项目将继续保持免费开源，现有项目无需任何改动，也将持续提供支持。文章包含基金会 CEO 的官方声明、迁移时间线及 FAQ 入口，信息完整但属于标准的机构项目交接通告，缺乏个人叙事或争议性观点。

收藏325 天前

Magika 1.0 发布：基于 Rust 重写，更快更智能

Google 开源文件类型识别工具 Magika 达到 1.0 稳定版。核心引擎用 Rust 从零重写，支持的文件类型从约 100 种翻倍到 200 多种，新增 Jupyter Notebook、PyTorch 模型、ONNX、Parquet、HDF5 等数据科学/ML 格式，以及 Swift、Kotlin、TypeScript、WebAssembly 等编程语言检测。技术亮点包括：利用 Gemini 生成合成训练数据以解决稀缺格式的训练难题；训练数据超 3TB，借助 SedPack 库流式处理避免 I/O 瓶颈；单核每秒可扫描数百个文件，采用 ONNX Runtime 做推理、Tokio 做异步并行。开发者可通过 curl/PowerShell 一键安装命令行工具，也提供 Python、TypeScript、Rust 等 SDK 集成。

收藏327 天前

Apache Iceberg 1.10 发布：增量分区统计、V3 规范成熟与 REST API 强化

Apache Iceberg 1.10.0 正式发布，核心看点：compute_partition_stats 支持增量刷新，避免全量重算节省大量计算资源；原生兼容 Spark 4.0 和 Flink 2.0，Flink 新增动态 sink 支持自动处理 schema 演变和热建新表；Deletion Vectors 进入生产就绪阶段，V3 规范（row lineage、variant type）落地；REST Catalog 修复了 5xx 错误下的重试冲突风险，使开放 HTTP 协议真正可用于生产环境。 Google 贡献了两项关键功能：BigQuery Metastore Catalog 原生实现，以及 Google AuthManager 对接标准认证体系，让开源引擎可通过 REST 协议直接管理 BigLake 表。整篇是官方版本解读，信息密度高，适合正在评估或使用 Iceberg 的技术决策者；但属于机构博客，缺乏个人经验与争议观点，阅读吸引力有限。

收藏370 天前

GSoC 2025：贡献者统计数据一览

Google Summer of Code 2025 官方数据公布：今年注册人数达98,698人（创历史新高，较此前最高增长124.4%），来自172个国家；15,240人提交了23,559份申请提案（较去年增长159%）。最终从68个国家选出1,280名贡献者，服务185个开源组织。92.32%为首次参与GSoC，43.04%此前从未贡献过开源项目，89.02%在校在读。项目以12周标准周期为主（77.9%），大型项目（约350小时）占53.68%。超过2,100名导师来自75个国家参与指导，近三分之二已连续指导四年以上。对关注开源入门、开源社区生态的读者有一定数据参考价值。

收藏412 天前

Apache Iceberg V3 新特性：更高效灵活的数据湖设计

Apache Iceberg V3 规范正式发布，引入二进制删除向量（基于 Roaring bitmap 压缩，替代 V2 按位置删除文件方案，将删除信息本地化到每个数据文件，大幅提升 CDC 和行级更新查询性能）、默认列值（元数据层即时生效，添加列无需回填重写数据文件）、行级血统追踪（支持审计与下游复制）以及更丰富数据类型（VARIANT 处理半结构化数据、GEOMETRY/GEOGRAPHY 地理空间类型、纳秒级时间戳）。 V3 在元数据层解决了数据湖长期面临的细粒度更新慢、Schema 演进成本高两大痛点。文章由 Google 开源办公室与 BigQuery 团队联合技术解读，末尾导向 BigLake 托管 Iceberg 方案推广，是具体技术介绍而非个人经验分享。

收藏415 天前

用 Google 开源秘密扫描器 Veles 阻止凭据泄露

Google 正式开源秘密凭据扫描工具 Veles，可检测代码仓库、容器镜像和支持工单中意外泄露的 API 密钥、服务账号令牌等敏感凭证。当前版本支持识别 GCP API 密钥、GCP 服务账号密钥和 RubyGems API 密钥，已集成到 Google 内部源码扫描、数亿级开源制品检测，以及 Artifact Registry 和 Security Command Center 等云安全产品中。 Veles 是 OSV-SCALIBR 生态的独立模块，可单独接入 CI/CD 流水线使用，未来计划扩展检测类型、增加活性验证和自动化修复工作流。

收藏427 天前

LMEval：谷歌开源跨模型评估框架

谷歌开源了LMEval大模型评估框架，支持跨多个模型提供商（Google/OpenAI/Anthropic等）进行统一基准评测。核心亮点：基于LiteLLM实现多供应商兼容、增量评估机制（只跑新模型的必要测试、节省算力）、支持文本/图像/代码多模态评测及多种评分格式。配套LMEvalboard提供可视化仪表盘，可进行模型横向对比、单模型深度分析和两两对决。由Google安全研究团队开发，Giskard已用于其Phare安全基准。

收藏503 天前

OpenTitan 生产级芯片开始流片制造

核心看点：全球首个开源硅片信任根（RoT）项目 OpenTitan 正式进入生产流片阶段，由合作方 Nuvoton 制造的芯片已可用于实验室测试，2025 年春季起批量供应。背景方面，Google 自 2009 年起使用商用 RoT，2014 年转向自研以获得全生命周期安全可见性与控制力。OpenTitan 始于 2018 年，由 lowRISC 托管，合作方包括 Google、Nuvoton、ETH Zurich、Seagate、Western Digital 等。该芯片支持基于 SLH-DSA（原 SPHINCS+）的后量子安全引导。项目社区增长显著：提交数从 2500 增至 24200+，贡献者 176 人，合并 PR 超 1.7 万，代码量 150 万行。已开始集成进入 Chromebook 和数据中心产品。这是一篇典型的开源项目里程碑公告，信息扎实但为机构 PR 风格，无个人观察或争议观点。

收藏601 天前

Pebble Smartwatches Open-Sourced

收藏611 天前