I want to
怎麼在自己電腦上跑大模型,斷網也能用
斷網可用 = 模型權重和推理都在**本機**。Ollama 把這件事收成一條指令:裝好後拉一個模型下來,之後整個對話都在你自己的電腦上完成,資料不出機器。代價是模型大小受你的記憶體/顯卡記憶體限制,且需要先下載幾 GB 的權重。
从这里开始
- OllamaMIT · 一條指令
Ollama 是一个给想在本地跑大模型的人用的运行时,能让你一条命令就在自己的电脑上开聊
- Open WebUIOpen WebUI License · 需要折騰
Open WebUI 是一个给本机的大模型配一个自己的聊天界面,数据不出门,能。
先看哪个
如果你**機器記憶體小**、想快速試,先看 Ollama 裡的**小參數模型**;如果你要**在瀏覽器裡用、不裝命令列**,先看支援網頁介面的那條路徑。