为什么AI代理开始主动学它，而不是别的爬虫库？

它不是浏览器插件，也不用注册账号，更不发广告弹窗——就是一个命令行小工具，专帮你把网页里的标题、价格、商品列表、新闻正文这些内容，干净利落地抓下来。

你可能正用 Excel 手动复制粘贴电商页面的价格，或者靠截图+OCR 识别招聘网站的岗位要求，又或者花几十块买一个“网页采集器”会员，就为了导出一百条豆瓣电影短评。

其实这类事，根本不用花钱，也不用学编程。只要你会点鼠标、会输几行命令，就能让电脑替你干完。

它不依赖云服务，所有数据只经过你本地机器；不上传任何页面内容，也不偷偷记录你的请求历史。

运行时看不到图形界面，但每一步都可查、可停、可改——就像你亲手调教一台小挖掘机，而不是租用别人遥控的铲车。

它背后是 GitHub 上持续维护五年的开源项目，最新版已全面支持 TypeScript，并内置了现代 Web 抓取所需的底层适配逻辑。

它替你省掉了什么

它不替代某个具体付费软件的名字，但替代了你正在为「网页内容搬运」付出的所有隐性成本：比如每月30元的采集SaaS订阅费，比如花两小时研究怎么用Excel Power Query连网页，比如请人写一段Python脚本收500块。

你不是在买工具，是在买时间

很多所谓“网页爬虫软件”，界面做得像Excel，功能却只支持固定几个网站模板；一旦换到新页面，就得等厂商更新，或者自己开票加急定制。而这个工具，从第一天起就只做一件事：给你一套稳定、可调、能自己改的底层能力。

价格直接砍到零。

它不强制你用预设规则，也不把选择器语法藏在二级菜单里；你看到网页源码里有个 <div class="price">¥299</div>，就能立刻写 $(".price").text() 提取。

遇到需要登录才能看的内容，它不拦你，也不假装能自动过验证码，而是留好 cookie、header、form data 的入口，让你按需填。

主要能干这几件事

• 自动识别网页编码，中文网页不用手动调UTF-8或GBK，它自己判断，抓下来就是正常汉字，不会出现一堆“”。
• 你想批量抓100个知乎问答页的标题和回答数？只要把这100个链接列成一行一个的文本文件，丢给它，三分钟就存成CSV，打开就能看。
• 它内置了类似jQuery的操作方式，比如写$("#price").text()就能拿到商品价格，不用学XPath或CSS选择器原理，照着网页源码抄就行。
• 遇到反爬强的网站，它能自动控制请求速度、设置重试次数、甚至预留代理接口，不是让你立刻搞定，而是把所有可控开关都交到你手上。
• 如果你只是想临时抓一个页面看看结构，连安装都不用：直接用Docker拉一个现成镜像，输一条命令就跑起来，用完删掉不留痕迹。
• 它还专门给AI代理写了技能包，意思是，如果你在用OpenClaw、Claude Code这类AI工具，可以直接让AI帮你写爬虫逻辑，不用你手敲代码。

三步上手

1. 先确认你电脑装了Node.js（官网nodejs.org下载安装包，选LTS版本，Windows/Mac都支持，Linux用户一般自带或apt install即可）；
2. 打开终端（Mac/Linux用Terminal，Windows用PowerShell），输入npm install crawler回车，等它下载完成；
3. 新建一个crawl.mjs文件，粘贴README里那段带import Crawler from "crawler"的示例代码，改两行网址和打印语句，然后运行node crawl.mjs，第一行结果就出来了。

项目信息