我写了一套视频内容解析的 skill
入职新公司还不到半个月,但满打满算,实际也就上了 4、5 天班。刚入职就赶上中秋和国庆,工作还没展开,假倒是先放了不少。
新公司有一点让我很喜欢:之前的各类培训视频存档很多。对于刚来的人,这些内容很适合拿来 onboarding,不用等谁有空,就能了解一些业务和工作背景。
只是,它们基本都是培训录屏。一段动辄 1 小时,2 小时的也不少。我愿意学,也喜欢有资料可查,但要把这些视频逐个看完,时间成本确实不低。我想更快地获取里面的知识。
于是我想到,让 Agent 帮我看。
我看过、比较过一些同类工具,没找到能完整满足我需求的。有的从网页里获取视频的能力比较弱,有的解析内容很依赖 CC 字幕,也就是视频自带的字幕。另一个让我不满意的地方,是最后得到的往往只有内容大纲。
大纲能告诉我讲了什么,却未必能让我理解讲的东西。对于 onboarding,这个差别挺大。我刚接触一个新环境,很多词还没有背景,几个标题加几句概括,很容易读完之后,还是得回去看视频。
我想要的是一份繁简兼顾的报告。先用简报判断哪些内容和我有关,再展开章节读细节;遇到不确定的地方,还能查到对应的转写和画面。如果为了省时间,把理解所需的内容一起省掉,这份总结对我就没什么用。
没有找到合适的,我就自己做了一套给 Agent 用的 Skills,叫「🎪 Video Circus」。
我把这个过程想成看一场马戏,安排了三个角色。
🎩 circus-conjurer 是魔术师,负责把视频「变」出来。它接收视频链接、网页播放器或本地文件,获取并验证素材,再把媒体包交给下一环节。能不能拿到网页里的视频,仍然取决于来源、访问权限和 Agent 宿主的能力,拿不到时也可以改用本地文件。
🤹 circus-juggler 是杂技演员,同时照看声音、字幕和画面。它负责转写语音、阅读字幕、查看画面,并核对疑点。没有字幕时,可以用本地 Whisper 转写。这个阶段交出去的是带时间和证据的内容包,让后面的报告有依据可查。
🎫 circus-ticket 则负责把已经审阅的内容整理成阅读报告。前面的表演准备好了,这张票才算能带我进去看。默认交付的是自包含 HTML,打开就能读,先看简报,再按章节展开,里面还保留了关键画面、可检索转写和待确认事项。
这也是我比较在意的一点:识别不清的地方应该留下来,不能因为报告要好看,就把猜测写成确定的结论。我是拿它来学习新公司的知识,读错了还以为自己懂了,比多花一点时间核对更麻烦。
三个子技能可以分开用,也可以通过 video-circus 总入口组合起来。已有素材,就从理解内容开始;已有审阅好的内容包,就只做报告。我不希望每次为了用其中一段,都得把整套流程重新走一遍。
项目需要一些依赖,安装 Skills 不会顺手把工具和模型都装好。获取素材、处理音视频和本地转写,各自需要对应的工具,具体可以按 README 和自己的使用范围来装。只整理已有内容包,就没必要把语音转写的依赖也全部配上。
做这个项目的起点很具体:公司有很多值得看的培训视频,而我的时间有限。我希望 Agent 把获取素材、理解内容、整理报告这些工作接起来,最后交给我一份能打开、能阅读、能核对的东西。
对我来说,这样才算把活干完。接下来遇到新的培训录屏,我想先读这份报告,再决定哪些片段值得回去细看。
项目放在 GitHub,需要的话可以拿去试试。