30分钟搭好本地知识库问答Langchain-Chatchat 完整部署指南【免费下载链接】Langchain-ChatchatLangchain-Chatchat原Langchain-ChatGLM基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain项目地址: https://gitcode.com/GitHub_Trending/la/Langchain-ChatchatLangchain-Chatchat 是一套本地知识库问答系统让 ChatGLM、Qwen 等大模型基于你的私有文档回答问题可完全离线运行。读完本文你能在自己的机器上完成环境准备、首次启动、导入私有资料并开始知识库问答。五步命令跑通服务这个项目 0.3.x 版本起不直接加载模型而是靠 Xinference、Ollama 等推理框架托管模型。两个部分建议放在不同的 Python 虚拟环境避免依赖冲突。第一步装主程序要求 Python 3.8–3.11pip install langchain-chatchat -U第二步单独的环境里装模型推理框架并启动。以 Xinference 为例它能加载 GLM-4、Qwen 等对话模型和 Embedding 模型pip install xinference --force xinference-local等 Xinference 页面里 LLM 和 Embedding 两类模型都加载完成后回到 chatchat 环境执行初始化它生成 model_settings、basic_settings、kb_settings 三个配置文件并复制 samples 示例知识库chatchat init打开 model_settings.yaml把 DEFAULT_LLM_MODEL、DEFAULT_EMBEDDING_MODEL 改成你加载的模型名MODEL_PLATFORMS 里填上平台地址Xinference 默认 http://127.0.0.1:9997/v1。第三步为 samples 知识库建向量库日志打印出知识条目数即成功chatchat kb -r最后一步同时启动 API 服务和 WebUIchatchat start -a这就是启动成功后的主界面。左侧面板选LLM对话模式和模型右侧输入问题即可得到第一个结果。把私有文档变成可检索的知识库切到左侧导航的知识库管理页新建一个知识库向量库类型用默认的 FAISS 即可。⚠️ 上传前确认 Embedding 模型仍在运行。图中中间的上传知识文件区域就是放你自己数据的地方。支持 txt、md、pdf、docx、csv、xlsx 和带 OCR 的图片单文件 200MB 以内拖拽或点选都行。导入时有两个参数要注意单段文本最大长度文件切分后每段的上限越短检索越准但上下文越碎相邻文本重合长度段与段之间保留的重叠防止一句话在切分处被截断点添加文件到知识库等向量化完成。回到对话页模式改知识库问答选中你的知识库即可提问答案下方的知识库匹配结果会展开检索到的源文件片段点开核对就能判断回答是否真的出自你的文档。调参让回答更贴合数据对话页左侧的常用参数调高或调低的效果各不相同Temperature调高表达更多样、易跑题调低更稳定贴题。知识库问答建议 0.1–0.3历史对话轮数调高模型携带的上下文更多、连贯性更好但更耗 token调低响应快但可能丢上下文匹配知识条数调高检索覆盖更广适合需要跨文件归纳的问题调低答案更聚焦知识匹配分数阈值调高只采纳高相关片段噪音少调低则可能混入无关内容每调一次就拿同一个问题对比验证。若回答总引用不到你的文档先调大匹配条数再检查阈值。处理常见卡点其他设备访问不了 WebUI现象本机 localhost 正常别的机器访问超时。原因默认监听本地回环地址。处理basic_settings.yaml 中把 DEFAULT_BIND_HOST 改为 0.0.0.0 后重启。知识库初始化卡住现象chatchat kb -r 长时间无输出新虚拟环境常见。原因python-magic-bin 依赖冲突。处理卸载后重装同版本的 python-magic-bin再重建知识库。对话超时现象模型加载慢、对话中途报错。原因默认请求超时 300 秒。处理调大 basic_settings.yaml 的 HTTPX_DEFAULT_TIMEOUT。模型下载缓慢现象Xinference 拉取模型很慢。原因默认源速度有限。处理手动下载模型文件启动 Xinference 后用 tools/model_loaders/xinference_manager.py 指定本地路径。下一步可以做什么跑通闭环后建议按方向继续用 API 把问答能力接进你自己的系统docs/contributing/api.md想在服务器上一键部署docs/install/README_docker.md想改代码或加功能docs/contributing/README_dev.md更多配置项都带中文注释直接打开对应 yaml 阅读即可。【免费下载链接】Langchain-ChatchatLangchain-Chatchat原Langchain-ChatGLM基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain项目地址: https://gitcode.com/GitHub_Trending/la/Langchain-Chatchat创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考