个人 AI 工具链搭建实战：从模型推理到自动化工作流的完整架构

引言：为什么需要工具链

单个 AI 工具很容易上手，但真正发挥 AI 的威力需要把多个工具串联成一条流水线。想象一下：你的文档入库到知识库后，当新邮件到达时，AI 自动读取内容，搜索相关文档，生成回复草稿，并推送到你的聊天窗口。整个过程不需要你手动打开任何一个 AI 应用。这就是工具链的价值。

第一章：模型服务层

1.1 Ollama 集群部署

Ollama 不仅支持单机运行，还可以组成推理集群。多个 Ollama 实例通过统一的 API 网关对外提供服务。实现方式是在 Nginx 中配置轮询负载均衡，把请求分发到不同的 GPU 节点。每个节点只部署 1 到 2 个模型，避免显存争抢。

1.2 API 网关的统一接口

不同模型提供商的 API 格式不同。使用 One API 或 LiteLLM 作为网关层，把 Ollama、OpenAI、Claude、DeepSeek 等不同来源的模型统一暴露为 OpenAI 兼容的 API 格式。上层应用不需要关心底层用的是什么模型，切换模型只需修改网关配置。

1.3 模型路由策略

网关层还可以实现智能路由：简单任务自动路由到本地小模型节省 API 费用，复杂任务自动转向云端大模型，数据分析任务路由到代码专用模型。可以根据 prompt 的关键词、长度、任务类型自动决策。

第二章：检索增强层

2.1 向量数据库选型

Milvus 适合大规模生产环境，支持分布式部署和 GPU 加速。Qdrant 适合中小规模，部署简单，Rust 编写的并发性能优秀。Chroma 适合个人和小团队，纯 Python 实现。

2.2 嵌入模型选择

BGE-M3 是 BAAI 出品，支持多语言，在中文上表现优异。GTE-Qwen2 是阿里出品，与 Qwen 模型配合使用效果最佳。E5-mistral 适合纯英文场景。

2.3 文档入库自动化

建立文档入库管道：监测文件夹变化，新文件自动触发，解析文件格式，语义切片，生成嵌入，存入向量库。使用 Watchdog 监听文件系统的变更事件。

第三章：自动化工作流层

3.1 n8n 可视化编排

n8n 是一个开源的工作流自动化工具，支持 400 多个集成节点。在 n8n 中可以拖拽搭建 AI 工作流：用 Webhook 节点接收请求，用 OpenAI 节点处理文本，用 HTTP Request 节点调用外部 API，最后用 Slack 节点发送结果。

3.2 智能邮件处理工作流

工作流逻辑：Gmail 新邮件触发，提取邮件内容，用 LLM 总结要点，搜索知识库找到相关文档，根据邮件和知识库生成回复草稿，发给用户审核。这个工作流可以处理日常邮件量的 60% 到 70%。

3.3 自动周报生成

每周五自动生成：读取本周 Git commit 日志，提取关键变更，查询 Jira 任务状态，用 LLM 生成周报草稿，发给用户确认。

第四章：监控与运维层

Langfuse 是目前最流行的 LLM 可观测性平台。每次模型调用都会记录请求和响应的完整内容、消耗的 token 数、响应延迟、使用的模型版本。

通过 Langfuse 的仪表盘可以看到每日 token 消耗趋势、各模型的使用占比、每个用户的调用量。这些数据可以用来优化模型路由策略。

第五章：全套部署架构

使用 Docker Compose 编排所有服务，按依赖顺序启动：先启动数据库和向量库，再启动 Ollama 和模型服务，最后启动 n8n 和 Langfuse。

总结

个人 AI 工具链的搭建核心就是把模型、知识库、工作流引擎、监控系统串联起来，让 AI 能力渗透到日常工作的各个环节。投入一定的时间搭建这套基础设施后，每天可以节省大量重复劳动的时间。