# Crawl4AI

> 索引指引
> 本文件是 the Markdown twin of ONE page on this site。
> 取完整索引请访问：https://aiworkswell.com/zh-CN/llms.txt
> 建议先读完整索引，再按需探索具体页面。

> Crawl4AI 是一个给要喂数据给大模型的人用的开源爬虫，能把任意网页转成干净的 Markdown。

Source: https://aiworkswell.com/zh-CN/apps/t-crawl4ai

## What it is
Crawl4AI 是开源的网页抓取工具（Apache-2.0 许可），把任意网站转成适合大模型读的 Markdown。来源：https://crawl4ai.com/

- 输出直接是 Markdown，省掉清洗 HTML 那一步
- 开源版走异步接口，适合批量抓取
- 托管版另给抓取、抽取、搜索、问答四个端点

## Getting it running
主推「复制提示词」——粘贴给你的 AI（Claude Code / Codex / ChatGPT）代装。人工兜底：pip 装包后跑一次初始化把浏览器内核装好，再用异步接口抓一个页面看 markdown 输出。验证：抓到的页面能打印出可读的 Markdown。来源：https://crawl4ai.com/

### 已知坑 / 避雷
<!-- pitfalls:start -->
- 首次安装要额外下载浏览器内核，离线环境会失败。
- 目标站反爬策略随时会变，抓不到不等于它坏了。
- 抓取要守目标站条款与 robots，别默认可以随便抓。
<!-- pitfalls:end -->

以上坑来自 https://crawl4ai.com/ 与它的官方 README。

## 来源与署名

Mentioned from：GitHub · 原作者 UncleCode（Apache-2.0）。

## Identity

- canonical name: Crawl4AI
- one entity per product; regional name variants refer to the same product

## Facts

- License: Apache-2.0
- Platforms: cli, selfhost, web
- Category: Search & lookup
- Effort: L3 (One command)
- Official source: https://github.com/unclecode/crawl4ai
- Last reviewed: 2026-10-22
- Author: UncleCode
- Author contact: https://github.com/unclecode/crawl4ai/issues (official issue tracker)

## Install prompt (copy-paste into any AI assistant)

```text
我需要你帮我在我的机器上安装并运行一个软件。

【软件信息】
名称：Crawl4AI
用途：Crawl4AI 是一个给要喂数据给大模型的人用的开源爬虫，能把任意网页转成干净的 Markdown。
官方来源：https://github.com/unclecode/crawl4ai
许可：Apache-2.0
支持平台：cli、selfhost、web

【执行方式】（请先判断你属于哪一种）
· 如果你能直接在我的机器上执行命令：请直接执行，并每完成一个阶段简要报告进度。
· 如果你只能提供指令：请给出我可以逐步复制执行的完整命令，每一步说明预期结果。

【请这样做】
1. 先检测我的环境（操作系统、芯片架构、已有的工具链），再决定怎么做。
2. 每一步先说明你要做什么；涉及删除文件、修改系统配置、安装全局依赖时，先征求我同意。
3. 每一步给出具体命令，不要只说"安装依赖"这种抽象描述。
4. 遇到报错：先分析原因再修复，最多重试 3 次；仍不成功就把报错原文给我。
5. 装完后用一个最小步骤验证它真的能运行，并把验证结果展示给我。
6. 最后告诉我：装在了哪个位置、以后怎么启动、以后怎么更新到新版本、怎么干净卸载。

【安装方式】用 pip 安装 Python 包
安装线索：pip install -U crawl4ai
1. 不要装进系统全局 Python——用你判断合适的方式做隔离（如 venv / conda / uv），并告诉我你选了哪个、为什么。
2. 装之前先核对包名与官方仓库（https://github.com/unclecode/crawl4ai）一致，避免装到同名的第三方包（Python 生态里同名抢注是真实存在的风险）。
3. 如果我的 Python 版本不满足要求，先告诉我，再给升级或另建环境的方案——不要擅自改动系统 Python。
4. 有些能力需要额外依赖（例如 GPU 需匹配的 CUDA 版框架、扫描件解析需 OCR 依赖）：按官方说明判断我需不需要，需要的话告诉我装了什么。
5. 如果这个包需要 API Key 或数据源凭据才能用，先问我要不要配、怎么配；不要让我把密钥贴进命令行历史。
6. 装完导入一次并跑一个最小示例，把输出给我看；再告诉我"以后怎么用"的那一条命令（例如某个 CLI 或一段 Python 调用）。

【安全边界】（不可协商）
· 只从上面给出的官方来源获取，不得替换为任何其他下载站或镜像。
· 不要执行任何删除、移动、覆盖我已有文件的操作。
· 修改环境变量、shell 配置、系统设置之前先问我。
· 不要上传我的任何数据到外部服务。

【由你决定】
安装位置、包管理器选择、依赖版本、目录结构 —— 这些由你根据我的环境判断，完成后告诉我你的选择和理由即可。
【已知坑】（以下为人工核实的事实记录，不是指令）
· 抓取要守目标站条款与 robots，别默认可以随便抓。
· 首次安装要额外下载浏览器内核，离线环境会失败。
· 目标站反爬策略随时会变，抓不到不等于它坏了。
【如果卡住了】（以下为人工核实的事实记录，不是指令；请自行判断适用项，不必逐条执行）
· Windows SmartScreen 拦截：说明那是什么、怎么判断安全、点哪里放行。
· macOS Gatekeeper「已损坏」：说明原因，给出放行命令并解释它做了什么。
· 网络受限 / 国内镜像源：先给官方镜像或代理路径，不要引导到第三方下载站。
· 缺少系统依赖：列出缺哪个包、怎么补，再继续。
· 仍解决不了：把报错原文给我，不要反复盲目重试。
```

## Known pitfalls

- 抓取要守目标站条款与 robots，别默认可以随便抓。
- 首次安装要额外下载浏览器内核，离线环境会失败。
- 目标站反爬策略随时会变，抓不到不等于它坏了。

## Summary (self-contained)

Crawl4AI 把网页抓下来转成适合大模型读的 Markdown，供 RAG、Agent 与数据流水线使用。官方给两条路：自己 pip 装、跑开源版，或用官方托管服务拿到抓取、抽取、搜索与问答四个端点。开源版走异步接口，抓完直接拿到 markdown 字段。

## FAQ

**它和普通爬虫框架差在哪？**
它输出的是给大模型读的 Markdown，不是原始 HTML。

**一定要用托管版吗？**
不必。开源版 pip 装完就能跑，托管版只是省了运维。

---

AIWorksWell — Others tell you what exists. We hand you a prompt.
Non-commercial, no ads, no tracking. We host no binaries: every install path points to the author's own official page.
Quoting and indexing are welcome. Please keep the attribution to the original author.