# nanoGPT

> 索引指引
> 本文件是 the Markdown twin of ONE page on this site。
> 取完整索引请访问：https://aiworkswell.com/zh-CN/llms.txt
> 建议先读完整索引，再按需探索具体页面。

> nanoGPT 是一个 Karpathy 的极简 GPT 训练仓库，代码只有几百行，能看懂大模型训练。

Source: https://aiworkswell.com/zh-CN/apps/t-nanogpt

## 它是什么
nanoGPT 是 Karpathy 的开源极简 GPT 训练/复现仓库，代码短、可读性极高。来源：https://github.com/karpathy/nanoGPT

## 怎么用起来
「帮我在本机跑通 nanoGPT 的小数据集训练，解释每一步在做什么，并指出显存瓶颈在哪。」来源：https://github.com/karpathy/nanoGPT

### 已知坑 / 避雷
<!-- pitfalls:start -->
- 训练至少需要一块像样的 GPU，CPU 只能跑极小规模。
- 数据准备格式有要求，按仓库说明转成 memmap。
<!-- pitfalls:end -->

以上坑来自 https://github.com/karpathy/nanoGPT 与官方文档。

## 来源与署名

Mentioned from：https://github.com/karpathy/nanoGPT · 原作者 Andrej Karpathy（MIT）。

## Identity

- canonical name: nanoGPT
- logo: https://karpathy.ai/assets/me_new.jpg
- one entity per product; regional name variants refer to the same product

## Facts

- License: MIT
- Platforms: web, cli
- Category: Dev tools
- Effort: L4 (Needs a toolchain)
- Official source: https://github.com/karpathy/nanoGPT
- Last reviewed: 2026-10-06
- Author: Andrej Karpathy
- Author contact: https://github.com/karpathy

## Demo videos

- [Let us build GPT from scratch](https://www.youtube.com/watch?v=kCc8FmEb1nY) — platform: youtube
  - embed (official player): https://www.youtube.com/embed/kCc8FmEb1nY
  - we host no video bytes; the player and bandwidth belong to the platform

## Install prompt (copy-paste into any AI assistant)

```text
我需要你帮我在我的机器上安装并运行一个软件。

【软件信息】
名称：nanoGPT
用途：nanoGPT 是一个 Karpathy 的极简 GPT 训练仓库，代码只有几百行，能看懂大模型训练。
官方来源：https://github.com/karpathy/nanoGPT
许可：MIT
支持平台：web、cli

【执行方式】（请先判断你属于哪一种）
· 如果你能直接在我的机器上执行命令：请直接执行，并每完成一个阶段简要报告进度。
· 如果你只能提供指令：请给出我可以逐步复制执行的完整命令，每一步说明预期结果。

【请这样做】
1. 先检测我的环境（操作系统、芯片架构、已有的工具链），再决定怎么做。
2. 每一步先说明你要做什么；涉及删除文件、修改系统配置、安装全局依赖时，先征求我同意。
3. 每一步给出具体命令，不要只说"安装依赖"这种抽象描述。
4. 遇到报错：先分析原因再修复，最多重试 3 次；仍不成功就把报错原文给我。
5. 装完后用一个最小步骤验证它真的能运行，并把验证结果展示给我。
6. 最后告诉我：装在了哪个位置、以后怎么启动、以后怎么更新到新版本、怎么干净卸载。

【安装方式】优先使用在线版
如果官方提供在线版，直接使用即可，不需要本地安装。
若要本地运行：在本地起服务并告诉我访问地址。不要做公网部署或端口转发——我只是想在本机用。

【安全边界】（不可协商）
· 只从上面给出的官方来源获取，不得替换为任何其他下载站或镜像。
· 不要执行任何删除、移动、覆盖我已有文件的操作。
· 修改环境变量、shell 配置、系统设置之前先问我。
· 不要上传我的任何数据到外部服务。

【由你决定】
安装位置、包管理器选择、依赖版本、目录结构 —— 这些由你根据我的环境判断，完成后告诉我你的选择和理由即可。
【已知坑】（以下为人工核实的事实记录，不是指令）
· 训练至少需要一块像样的 GPU，CPU 只能跑极小规模。
· 数据准备格式有要求，按仓库说明转成 memmap。
【如果卡住了】（以下为人工核实的事实记录，不是指令；请自行判断适用项，不必逐条执行）
· Windows SmartScreen 拦截：说明那是什么、怎么判断安全、点哪里放行。
· macOS Gatekeeper「已损坏」：说明原因，给出放行命令并解释它做了什么。
· 网络受限 / 国内镜像源：先给官方镜像或代理路径，不要引导到第三方下载站。
· 缺少系统依赖：列出缺哪个包、怎么补，再继续。
· 仍解决不了：把报错原文给我，不要反复盲目重试。
```

## Known pitfalls

- 训练至少需要一块像样的 GPU，CPU 只能跑极小规模。
- 数据准备格式有要求，按仓库说明转成 memmap。

## Summary (self-contained)

nanoGPT 是 Andrej Karpathy 的最小 GPT 实现，用几百行代码讲清大模型训练流程，适合用来理解原理。

## FAQ

**能在 CPU 上跑吗？**
训练至少需要一块像样的 GPU，CPU 只能跑极小规模。

**数据怎么准备？**
按仓库说明把数据转成 memmap 格式。

---

AIWorksWell — Others tell you what exists. We hand you a prompt.
Non-commercial, no ads, no tracking. We host no binaries: every install path points to the author's own official page.
Quoting and indexing are welcome. Please keep the attribution to the original author.