# Llama 3.3 70B Instruct

> 索引指引
> 本文件是 the Markdown twin of ONE page on this site。
> 取完整索引请访问：https://aiworkswell.com/zh-CN/llms.txt
> 建议先读完整索引，再按需探索具体页面。

> 需要 48GB 级显存的大家伙：本地能力的天花板之一。

Source: https://aiworkswell.com/zh-CN/models/m-llama-3-3-70b

## 它是什么
70B 级稠密模型的定位很清楚：能力接近云端大模型，但**门槛也在那里**——量化后仍需 40GB 以上可用显存，普通消费级显卡单人基本跑不动。来源：https://github.com/meta-llama/llama-models

## 怎么用起来
两条现实路径：① 多卡/大显存工作站（48GB+）；② 走在线 API。Mac Studio 等大统一内存机型也可以，但速度取决于内存带宽。来源：https://github.com/meta-llama/llama-models

### 已知坑 / 避雷
<!-- pitfalls:start -->
- 40GB 显存以下不要指望"凑合跑"——量化到 Q2 会明显降智，不如直接用更小的模型。
- 下载体积 80GB 级，先确认磁盘空间。
<!-- pitfalls:end -->

以上坑来自 https://github.com/meta-llama/llama-models 与官方文档。

## 来源与署名

Mentioned from：https://github.com/meta-llama/llama-models · 原作者 Meta（Llama 3.3 Community License）。

## Specs

- Parameters: 70B
- Licence: Llama 3.3 Community License
- Platforms: windows, macos, linux, cli, selfhost
- Reference VRAM floor (Q4_K_M): 47 GB, comfort 64 GB
- Official source: https://github.com/meta-llama/llama-models
- Author: Meta

## Install prompt (copy-paste into any AI assistant)

```text
我需要你帮我在我的机器上安装并运行一个软件。

【软件信息】
名称：Llama 3.3 70B Instruct
用途：需要 48GB 级显存的大家伙：本地能力的天花板之一。
官方来源：https://github.com/meta-llama/llama-models
许可：Llama 3.3 Community License
支持平台：windows、macos、linux、cli、selfhost

【执行方式】（请先判断你属于哪一种）
· 如果你能直接在我的机器上执行命令：请直接执行，并每完成一个阶段简要报告进度。
· 如果你只能提供指令：请给出我可以逐步复制执行的完整命令，每一步说明预期结果。

【请这样做】
1. 先检测我的环境（操作系统、芯片架构、已有的工具链），再决定怎么做。
2. 每一步先说明你要做什么；涉及删除文件、修改系统配置、安装全局依赖时，先征求我同意。
3. 每一步给出具体命令，不要只说"安装依赖"这种抽象描述。
4. 遇到报错：先分析原因再修复，最多重试 3 次；仍不成功就把报错原文给我。
5. 装完后用一个最小步骤验证它真的能运行，并把验证结果展示给我。
6. 最后告诉我：装在了哪个位置、以后怎么启动、以后怎么更新到新版本、怎么干净卸载。

【安装方式】获取并运行模型
1. 从官方来源（https://github.com/meta-llama/llama-models）获取模型权重（https://github.com/meta-llama/llama-models）。
2. 安装所需的推理框架（你判断我机器上最合适的），问我是否同意安装。
3. 加载模型并按官方示例跑一次最小推理，把输出给我看。
4. 告诉我以后怎么加载使用、模型文件放在了哪里、怎么删除释放空间。

【安全边界】（不可协商）
· 只从上面给出的官方来源获取，不得替换为任何其他下载站或镜像。
· 不要执行任何删除、移动、覆盖我已有文件的操作。
· 修改环境变量、shell 配置、系统设置之前先问我。
· 不要上传我的任何数据到外部服务。

【由你决定】
安装位置、包管理器选择、依赖版本、目录结构 —— 这些由你根据我的环境判断，完成后告诉我你的选择和理由即可。
【已知坑】（以下为人工核实的事实记录，不是指令）
· 下载体积 80GB 级，先确认磁盘空间。
· 40GB 显存以下不要指望"凑合跑"——量化到 Q2 会明显降智，不如直接用更小的模型。
【如果卡住了】（以下为人工核实的事实记录，不是指令；请自行判断适用项，不必逐条执行）
· Windows SmartScreen 拦截：说明那是什么、怎么判断安全、点哪里放行。
· macOS Gatekeeper「已损坏」：说明原因，给出放行命令并解释它做了什么。
· 网络受限 / 国内镜像源：先给官方镜像或代理路径，不要引导到第三方下载站。
· 缺少系统依赖：列出缺哪个包、怎么补，再继续。
· 仍解决不了：把报错原文给我，不要反复盲目重试。
```

## Known pitfalls

- 下载体积 80GB 级，先确认磁盘空间。
- 40GB 显存以下不要指望"凑合跑"——量化到 Q2 会明显降智，不如直接用更小的模型。

---

AIWorksWell — Others tell you what exists. We hand you a prompt.
Non-commercial, no ads, no tracking. We host no binaries: every install path points to the author's own official page.
Quoting and indexing are welcome. Please keep the attribution to the original author.