快捷导航

rag搭建的本地部署实践笔记

[复制链接]
查看: 43|回复: 0
发表于 2026-10-21 16:26:30 | 显示全部楼层 |阅读模式
  最近帮部门搭建内部文档问答工具,需要处理运维手册、产品规范等近百份存量文档,要求所有数据都留在本地服务器,不能传到外部平台。之前尝试过简单的关键词检索,但遇到模糊提问时找不到准确结果,还没法结合最新的文档内容实时更新回答,卡在了效果和数据安全的平衡点上。

  后来了解到可以通过rag搭建的方式解决这个问题,选择用FastGPT来快速实现,具体可以参考[用本地模型搭建rag知识库]的步骤,把本地部署的大模型接入平台,再上传需要的文档并做好切片处理,就能生成符合需求的问答工具,整个过程不需要复杂的代码修改,新手也能一步步完成。

  实操的时候要注意本地模型的显存占用,根据文档总量调整切片的大小和重叠度,避免出现回答脱节的情况,另外部署时要做好端口的访问限制,保障内部数据的安全性。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

精彩推荐

让起名更简单

  • 反馈建议:麻烦到管理处反馈
  • 我的电话:这个不能给
  • 工作时间:周一到周五

关于我们

云服务支持

精彩文章,快速检索

关注我们

Copyright 笑点多低  Powered by©  技术支持:飛    ( 闽ICP备2023005211号 )