跳到主要內容
參數量 8BLlama 3.1 Community License參考估算

Llama 3.1 8B Instruct

能在 8GB 显存的普通显卡上本地跑起来的中等模型。

官方來源:https://github.com/meta-llama/llama-modelsMeta你將離開 AIWorksWell,前往 Meta。該網站不受我們控制,其內容、隱私與安全由其自行負責,請自行判斷。

需要什麼硬體

參考估算
參數量
8B
架構
稠密
上下文
128K
授權條款
Llama 3.1 Community License
最低顯存
6G
內存(純 CPU)
8G
下載體積
—G

按量化檔看門檻

同一模型選不同量化檔,體積與門檻差別很大——這是本地模型最常被誤判的一件事。

推薦量化檔體積最低顯存質量
F1632G37G原版精度
Q8_017G20G幾乎無損
Q6_K13.1G15G接近無損
Q5_K_M11.4G13G很好
Q4_K_M★9.8G11G性價比最高
Q3_K_M8G9G有可感知損失
Q2_K6.1G7.5G明顯降智,僅應急

口徑:显存为 Q4_K_M 档参考

你的設備

簡明介紹每一個能自己跑的模型:參數量、需要的硬體、能跑在什麼檔位。我們不排名、不寫價格——只告訴你它要多少機器。

在個人中心填一次設備檔位,這裡就會顯示"你這臺能不能跑"。去填設備·不想登錄?直接試算一次

安裝提示詞

複製它,貼給你正在用的 AI(Claude Code、Codex、ChatGPT…),它會替你裝好並驗證。

43 行
我需要你帮我在我的机器上安装并运行一个软件。

【软件信息】
名称:Llama 3.1 8B Instruct
用途:能在 8GB 显存的普通显卡上本地跑起来的中等模型。
官方来源:https://github.com/meta-llama/llama-models
许可:Llama 3.1 Community License
滑鼠滾輪在框內上下查看,複製到的仍是完整提示詞1249 字

複製 → 貼給你的 AI → 它替你裝好

這條講什麼

它是什么

Llama 3.1 8B Instruct 是"本地跑得动"和"够用"之间最常见的那个平衡点:8B 参数量、支持 128K 上下文,社区量化版本(GGUF)齐全,几乎每个本地推理工具都支持。来源:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models

怎么用起来

本地跑:装一个推理工具(Ollama / LM Studio / llama.cpp),拉 Q4_K_M 量化版本即可。它不是一个网站,而是一份权重——需要在你自己的机器上运行。来源:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models

以上坑来自 https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models 与官方文档。

来源与署名

Mentioned from:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models · 原作者 Meta(Llama 3.1 Community License)。