Jake Tao

RSS: https://jaketao.com/feed/
Jake Tao 的个人网站,分享软件工程、技术管理与团队领导经验。

首 Token 延迟:大模型多久才开口回答

使用大模型时,我们对“快”通常有两种感受:一种是问题发出后,第一个字多久出现;另一种是开始回答后,后面的文字生成得是否流畅。 这很像与人对话:你问完问题后,对方可能会先停顿一下,然后才开口。TTFT(… The post 首token延迟-大模型多久才开始回答 appeared first on Jake blog.
评论点赞收藏8 天前

OwlVigil 开源 SDK:接入 AI 管控能力

OwlVigil 上线之后,我一直在思考一件事情:如何将它的能力真正开放给开发者,让大家能够更轻松地接入 AI 管控能力,并在此基础上开发自己的产品。 于是,我们专门设计了一套完整的 API,并陆续开… The post OwlVigil 开源SDK:一套SDK轻松接入完整的 AI 管控能力 appeared first on Jake blog.
评论点赞收藏27 天前

Syrovex的这两个月——OwlVigil上线与融资启动

不知不觉已经到了8月底,时间总是在忙碌中过得特别快。每天都有无数的问题需要解决,等偶尔停下来回头看时,才惊讶地发现原来二个月走的路还挺远。创业的乐趣就是思考如何在资源有限的情况下实现最好的结果。但真正… The post Syrovex的这两个月 – OwlVigil上线 & 融资正式启动 appeared first on Jake blog.
评论点赞收藏34 天前

从模型调用到生产治理:OwlVigil Go SDK 实战指南

面向计划在企业生产环境中接入 AI 能力的 Go 开发者、架构师与平台团队。本文使用 Go 1.25 编写,示例基于 OwlVigil Go SDK 的公开 API;实际工具链要求以 SDK 当前 g… The post 从一次模型调用到生产治理:OwlVigil Go SDK 实战 appeared first on Jake blog.
评论点赞收藏35 天前

比亚迪护航丝路万里行,深圳收官开启海外征程

8月14日,2026丝绸之路万里行·启迪之路国内段在深圳收官。由比亚迪全程护航的新能源车队完成国内段行程,并将由深圳继续驶向海外。此次活动沿千年丝路展开,将文化寻访、新能源技术体验与中国品牌出海连接起… The post 比亚迪全程护航丝路万里行,深圳收官再启海外征程 appeared first on Jake blog.
评论点赞收藏36 天前

再先进的机器人也学不会手工缝线

如果你去参观世界上最顶尖的汽车制造厂: 几百台重型工业机械臂在空气中精准挥舞,点焊、喷涂、搬运,误差控制在 0.1 毫米以内。整条流水线几乎看不到一个人影,一台几吨重的汽车几分钟就能组装下线。 但如果… The post 再夯的机器人也学不会【手工缝线】 appeared first on Jake blog.
评论点赞收藏36 天前

两天重构一份 823 美元的 AWS 账单:低负载生产系统月费压到 180~220 美元

云成本优化不是简单地“换小服务器”,而是先理解业务负载,再用账单和监控寻找真正的成本来源,最后通过滚动发布、健康检查和冷启动测试,证明调整后的系统仍然可靠。 背景:正式生产环境中的固定成本 这是一套已… The post 两天重构一份 823 美元的 AWS 账单:一套低负载生产系统如何把月费压到预计 180~220 美元 appeared first on Jake blog.
评论点赞收藏47 天前

KV 缓存与提示缓存:区别与联系

KV Cache 是推理引擎在单次生成过程中缓存历史 token 的 K/V 向量,避免解码时重复计算;Prompt Cache 是跨请求复用相同前缀预处理结果(如系统提示、工具定义)的优化策略,能显著降低首 token 延迟和成本。 两者关系是:Prompt Cache 通常依赖 KV Cache 的预计算结果实现跨请求复用。
评论点赞收藏53 天前

KV Cache 与 Prompt Cache:区别在哪,又有什么关系

大模型每生成一个 token,都会用到前面的内容。如果每一步都从头计算,回答会慢很多。做 Agent 时,同一套 system prompt、工具定义和对话历史还会被反复携带;如果每次都重新处理,延迟… The post KV Cache 与 Prompt Cache:区别在哪,又有什么关系 appeared first on Jake blog.
评论点赞收藏53 天前

从单体应用到 SaaS:现代 Web 系统架构演进实践

随着互联网应用的发展,越来越多的软件服务正在从传统部署模式转向 SaaS(Software as a Service)模式。 无论是企业内部系统还是互联网产品,大多数现代 Web 应用都会经历从单体架… The post 从单体应用到 SaaS:现代 Web 系统架构演进实践 appeared first on Jake blog.
评论点赞收藏60 天前

加入 Syrovex 中国团队:助力企业 AI 落地

关于我们 AI 正在改变企业创造价值的方式。但对于绝大多数企业来说,真正的挑战并不是如何接入 AI,而是如何让 AI 安全、可控、高效地融入业务,并持续创造真正的价值。 Syrovex Inc. 是一… The post 加入 Syrovex 中国团队|助力企业 AI 落地 appeared first on Jake blog.
评论点赞收藏75 天前

对,我终于全职创业了!和大家正式介绍下我们的Syrovex

终究还是走上了创业的道路。估计会有不少朋友感叹:你还是没忍住! 记得读书的时候就有人问过我为什么不创业。涉世不深的我也是答不上来,一方面我确实能够迅速的把脑海里的想法变成现实,也享受从零到一创造东西的… The post 对,我终于全职创业了!和大家正式介绍下我们的Syrovex appeared first on Jake blog.
评论点赞收藏97 天前

AI正在加速暴露人与人的差距

2026 年,生成式 AI(GenAI)逐渐升级并落地成所谓的智能体,并以惊人的速度走进大家的生活(无论什么概念,本文统称AI方便描述)。从内容创作、信息检索到日常办公,越来越多的人开始依赖 AI 提… The post AI正在加速暴露人与人的差距 appeared first on Jake blog.
评论点赞收藏101 天前

未来6-12月AI发展的几个确定性趋势

最近资本市场对AI的观点非常有意思,从去年下半年开始降温,到今年年初质疑产出比,再到最近的重拾信心,短短的几个月像坐观山车一般。虽然顾虑没有完全解除,但最坏的时刻应该已经过去。不管资本怎么看,AI 的… The post 未来6-12月AI发展的几个确定性趋势 appeared first on Jake blog.
评论点赞收藏160 天前

合金装备Metal Gear系列作品整理

喜闻Metal Gear Collection Vol. 2 今年发售,加上之前的vol.1 就完整补齐了合金装备所有的系列。但是由于科乐美的操作,这个系列发行版本和命名变得无比的混乱。这里帮大家整理… The post 合金装备Metal Gear系列作品整理 appeared first on Jake blog.
评论点赞收藏172 天前

白色相簿2 原版安卓移植 分享

最近在捣鼓开源掌机的时候,偶然发现了有个大神移植了白色相簿2到安卓系统上(github:),自己试了下确实弄的不错… The post 白色相簿2 原版安卓移植 分享 appeared first on Jake blog.
评论点赞收藏174 天前

远离那些空谈者

小公司的乐趣 我现在在一家大约 100 人的初创公司工作,已经半年了。相比之前 25 年在大型企业工作的经历——那些公司动辄十万员工,还有两家大约四千人的企业——这几乎是换了一个世界。 在 IT 领域… The post 远离那些空谈者 appeared first on Jake blog.
评论点赞收藏201 天前

AI编年史 – 人工智能发展的里程碑大记事(持续更新)

前言 作为互联网时代的参与者,我亲眼见证了互联网的发展与爆发,也见证了人工智能从长期停滞、方向不明,到近年来的爆发期。回想读研时选择研究方向的时候,人工智能还在争论究竟是生物智能还是数据智能更为正确;… The post AI编年史 – 人工智能发展的里程碑大记事(持续更新) appeared first on Jake blog.
评论点赞收藏203 天前

博客2026改版再启程

趁着过年有些时间,我升级了下自己的小破站。时间过得是真的快,转眼已经2026了,小时候坐在自行车后面想着未来遥不可及,而转瞬间已经身在其中。这四年就连连续更新十二年的年货“一年又一年”也没能幸免。 不… The post 博客2026改版再启程 appeared first on Jake blog.
评论点赞收藏217 天前

登录芦苇

登录后关注作者、收藏内容和参与讨论。