跳到主要內容

I want to

怎麼在自己電腦上跑大模型,斷網也能用

斷網可用 = 模型權重和推理都在**本機**。Ollama 把這件事收成一條指令:裝好後拉一個模型下來,之後整個對話都在你自己的電腦上完成,資料不出機器。代價是模型大小受你的記憶體/顯卡記憶體限制,且需要先下載幾 GB 的權重。

从这里开始

  • OllamaMIT · 一條指令

    Ollama 是一个给想在本地跑大模型的人用的运行时,能让你一条命令就在自己的电脑上开聊

  • Open WebUIOpen WebUI License · 需要折騰

    Open WebUI 是一个给本机的大模型配一个自己的聊天界面,数据不出门,能。

先看哪个

如果你**機器記憶體小**、想快速試,先看 Ollama 裡的**小參數模型**;如果你要**在瀏覽器裡用、不裝命令列**,先看支援網頁介面的那條路徑。