布莱恩喵
折腾教程已复盘

Ollama + OpenClaw 本地部署:看起来很美,真正折腾时要注意什么

本地 AI Agent 的卖点是免费、断网和可控,但真正决定体验的不是安装命令,而是模型能力、上下文、硬件和你愿不愿意长期维护。

OllamaOpenClaw本地模型AI Agent

Ollama + OpenClaw 这类组合很容易让人心动:本地运行,不用云端接口密钥,断网可用,还能切换不同开源模型。

但我的判断是:它适合拿来学习本地 Agent 的结构,也适合做低风险实验;如果你期待它立刻替代云端大模型,容易失望。

为什么折腾

我对本地 AI 一直有兴趣。原因很简单:很多私人资料、笔记、脚本和本地文件,不适合无脑交给云端服务。能在自己机器上跑一个 agent,至少听起来更可控。

Ollama 解决模型运行,OpenClaw 解决 agent 入口和 workspace 管理。两者合在一起,就有了一个很典型的本地 AI 助手雏形。

我的公开版环境

公开版可以这样理解:

  • Ollama 负责拉取和运行本地模型。
  • OpenClaw 作为 agent 层,管理对话、workspace 和一些工具能力。
  • workspace 里放 AGENTS、SOUL、USER、TOOLS、MEMORY 这类上下文文件。
  • 需要远程聊天时,可以再接 Telegram 之类的入口。

这里最重要的不是某条安装命令,而是 workspace 思路:把 agent 的身份、规则、长期记忆和工具说明放在一个固定目录,让每次会话都能读到。

实际怎么做

第一步是先装好基础运行环境。Ollama 是本地模型底座,OpenClaw 是 agent 入口。你可以先从小模型开始,不要一上来就冲最大参数量。

第二步是配置一个干净的 workspace。

我会优先写这几类文件:

  • SOUL.md:语气、边界、不要胡说八道的规则。
  • AGENTS.md:操作流程、工作目录、什么时候要确认。
  • USER.md:用户偏好和常用场景。
  • TOOLS.md:本地工具、路径和注意事项。
  • MEMORY.md:长期经验和容易犯错的教训。

第三步是测试一个很小的真实任务。

不要一开始就让它“管理我的全部人生”。先让它总结一段文档、整理一个文件夹、生成一个小脚本,看看模型理解和工具调用是否稳定。

第四步才是考虑远程入口。

Telegram、移动端或其它入口会让它看起来更像助手,但也会带来身份、配对、安全和在线状态问题。先本机跑通,再接外部入口更稳。

哪里卡住

第一个现实问题是模型能力。

Agent 不是普通聊天。它需要读规则、理解上下文、调用工具、拆步骤,还要记得边界。上下文窗口太小或模型能力不够时,它会变得很“努力但不靠谱”。

第二个问题是硬件。

本地运行看似免费,但它吃内存、吃显存、吃时间。小模型轻快但能力有限,大模型效果更好但成本转移到了你的机器上。

第三个问题是 workspace 会膨胀。

一开始每个文件都很有用,后来什么都想塞进去,agent 反而会被自己的背景材料淹没。规则越多,越需要定期修剪。

第四个问题是“免费”容易误导判断。

不用 API 费用不等于没有成本。你的时间、硬件、调试、维护、失败重来,都是成本。

值不值得

如果你的目标是理解本地 Agent 怎么组织记忆、身份和工具,值得。

如果你的目标是省钱替代云端顶级模型,要谨慎。很多任务上,本地模型能跑,但不一定能让你省时间。

我的建议是:把 Ollama + OpenClaw 当成本地 AI 工作台,而不是万能助手。它能帮你建立对 agent 的感觉,也能承担一些隐私敏感的小任务。真正高强度的内容生产、代码修改和复杂推理,仍然要根据效果选择模型。

下一步

后面如果继续折腾,我会先做三件事:

  • 给 workspace 做瘦身,只保留真正影响行为的规则。
  • 对比小模型和云端模型在同一任务上的差距。
  • 把本地 Agent 限定在几个具体场景里,而不是让它什么都管。

本地 AI 的魅力不是“完全替代云端”,而是给自己多一条可控的路。