StackScope：我爬取了4万个独立产品发布，看看他们用了什么技术栈

大家好！我开发了 StackScope——一个用于追踪新产品发布并展示其背后所用技术栈的爬虫/目录工具。它会监控 Product Hunt、Show HN 和 PeerPush 上的各类新品发布，同时对每个发布背后的公开网站进行抓取。我们的目标是揭示人们实际使用了哪些技术：例如托管服务、框架、分析工具、DNS、安全头设置、法律合规页面、AI 生成器信号以及其他公开可用的线索。
我开始开发这个工具，是因为大多数堆栈检测网站往往从整个网络的角度来审视问题。而我更关注当下独立开发者的新品发布动态：在人们首次将某项内容公开发布的那一刻，他们究竟在选择什么样的技术方案。
以下是一些具体的实现细节：该工具基于 .NET 构建，使用 Playwright 来处理渲染后的页面，并且采用了自研的第三方指纹库，而非直接照搬 Wappalyzer 等工具中的指纹库。此外，该工具尊重 robots.txt 文件规范，并能有效识别和标记自身身份。
令人沮丧的是，我至今仍在等待 Cloudflare 提供的已验证机器人状态信息；目前，这一过程大约会阻断所有站点中约 10% 的流量。
此外，我们还提供了一项私密的“就绪检查”功能：只需粘贴一个 URL，即可获得相同风格的报告，修复相关问题，并重新进行抓取。无需注册账户或填写电子邮件地址。
我很期待收到大家对这款工具实用性的反馈、对其方法论的评价，以及任何显而易见的误报情况。
乔纳森。