私有化大模型应用平台

HERMES-FDE
企业私有化 Agent 平台

把企业自己的文档、流程与业务系统,接进一个数据不出内网的智能体:知识库 RAG + 业务 Skill 编排 + MCP 工具网关。

100%
业务数据本地留存 · 不对外上送
3 级
角色权限 · 部门级数据隔离
90 天
审计日志留存,可导出 CSV
单 / 双 3090
私有化部署形态
一OVERVIEW · 方案概述

一个完全建在自己服务器上的企业智能体

作为 AI 智慧系统数据服务集成厂商,弥云科技把大模型能力做成可私有化落地的企业应用:HERMES-FDE 以知识库 RAG 消化企业文档,以业务 Skill 固化流程 SOP,以 MCP 网关打通数据库、OA、文件服务等既有业务系统的数据;全部数据本地留存,不对外上送业务数据,模型、知识库与审计记录都运行在客户自有服务器上。

本地推理层
大模型运行在客户自有 GPU 服务器上,单 / 双 3090 私有化部署,模型与数据都不出机房
知识库 RAG
企业文档入库解析(含扫描件 OCR)、向量召回、每条回答可溯源到原始文档片段
Skill 业务编排
把业务 SOP 固化成技能模板:合同摘要、工单查询、制度解读、台账核对
MCP 工具网关
以标准协议对接企业既有业务系统,无需改造原系统,调用全程留痕

三级角色权限

  • 超级管理员:账号、知识库全集、MCP 开关、审计全量日志
  • 部门管理员:本部门用户与本部门知识库,不动全局配置
  • 普通业务用户:仅使用对话页面,无后台权限

典型应用场景

  • 制度与规章问答、新人培训问答
  • 合同与文件摘要、扫描件归档解析
  • 工单与台账查询、跨系统数据调取

质量迭代机制

  • 回答错误或幻觉标记为 BadCase 统一收集
  • 修正原始业务文档后重新上传,或调整召回参数
  • 不靠修改提示词掩盖业务文档缺失问题
二VALUE · 方案价值

把"找不到、问不到、口径不一"变成一次问答

平台的价值不在模型参数,而在于把企业已有的文档与系统真正用起来,并且用得住、说得清。

01
高效获取答案
找得到,答得快,带出处

制度、流程、台账类问题直接用自然语言提问,答案附带引用来源文档片段,可点开原文核对;扫描件自动 OCR,纸质资料同样能查。

02
降本增效
把重复劳动交给智能体

重复性制度咨询、跨系统查数、文档翻阅与整理交由平台完成,减少专人答疑与人工搬运数据的工作量,口径统一后不再反复确认。

03
快速响应
本地部署,不依赖外网服务

模型与检索都在内网完成,不受外部服务可用性与网络波动影响;管理员在 Web 后台自助维护知识库与权限,需求响应以天计。

04
自主可控
数据与调用边界都由自己掌握

对话、知识库、审计数据全部留在自有服务器;对外部系统的调用走白名单控制,高危工具可一键关闭,调用记录全程可回溯。

三ARCHITECTURE · 方案架构

三层能力,接住企业文档、流程与系统

知识库负责"知道",Skill 负责"会做",MCP 网关负责"够得着"——三者组合,才构成可用的企业智能体。

A

知识库 RAG

  • 支持 docx / pdf / xlsx / 图片扫描件,扫描件自动 OCR 识别
  • 大文件与批量文件支持 zip 批量导入
  • 文档版本管理:重复上传提示覆盖,作废文档删除后向量库同步清理
  • 每一条回答都可点开引用来源,回到原始文档片段核对
B

业务 Skill 编排

  • 定义 Agent 执行 SOP,把岗位经验沉淀成可复用的技能模板
  • 后台统一启用 / 禁用,查看调用量与调用统计
  • 业务变更需求由弥云科技工程师迭代,避免自行改源码被版本覆盖
C

MCP 网关 · 打通多业务系统数据

  • 以标准 MCP 协议对接企业既有系统,无需改造原业务系统
  • 服务连通状态可视(正常 / 异常),每次调用记录输入、输出与耗时
  • 白名单开关控制,高危工具一键关闭,防止误调敏感接口

多系统数据打通链路

业务系统
数据库 · OA
文件服务 · 工单台账
▶
MCP 网关
鉴权 · 白名单
日志留痕
▶
知识库 / 技能
RAG 召回
SOP 编排
▶
业务输出
对话作答
报表 · 告警

安全属性,从架构开始

模型、知识库、对话与审计数据全部运行在客户自有服务器上,不依赖外网风控与云端服务,从架构上消除数据外送通道。

身份与访问

对接企业微信 / 飞书 / AD 域 SSO,登录强密码策略,超级管理员账号仅限 1-2 人使用。

权限隔离

知识库按「公开 / 指定部门 / 指定用户白名单」三级可见范围授权,防止跨部门越权查阅内部文档。

数据脱敏

手机号、身份证自动脱敏输出,管理员可维护自定义敏感词黑名单。

内容风控

开启本地安全过滤拦截违规输出,不依赖外网风控服务。

全链路审计

记录操作用户、时间、提问内容、AI 输出、引用文档与 Skill / MCP 调用,默认留存 90 天,可导出 CSV。

工具侧管控

MCP 白名单开关,高危工具可一键关闭;调用输入输出与耗时全程可回溯。

能力边界(如实告知):3090 为消费级显卡,无 ECC 显存纠错;高并发、大批量 OCR 文档解析场景可能出现显存溢出(OOM),属于硬件边界,需按《单 / 双 3090 生产环境能力边界说明》规划并发与批次。
四DEPLOYMENT · 应用部署

建在你自己的机房里,边界先说清楚

平台部署、模型替换与版本升级由弥云科技工程师执行;客户管理员在 Web 后台完成日常运维,分工明确、责任清晰。

部署形态

  • 单 3090:适合部门级 / 试点规模,并发量需按能力边界规划
  • 双 3090:适合企业级日常使用,可承载更高并发与更大知识库
  • 全部离线运行,内网即可完成部署与日常使用
  • 支持对接企业微信 / 飞书 / AD 域做统一身份认证

实施节奏

  • 需求调研与确认:梳理知识库范围、待打通系统与并发预期
  • 环境部署与联调:私有化部署、模型加载、业务系统对接联调
  • 知识库建设:文档入库解析、权限划分、Skill 场景配置
  • 培训与验收:管理员培训、按《现场验收指标清单》验收

监控与告警

  • GPU 显存与利用率、API 请求量与时延
  • Skill / MCP 调用失败率
  • 推理服务、向量库 Qdrant、MCP 网关组件状态
  • 显存持续 > 92% 或组件宕机推送企业微信 / 邮件

备份与容灾

  • 每日凌晨自动备份,保留最近 7 天
  • 备份对象:账号权限、向量库索引、知识库元数据、审计日志
  • 支持后台手动触发与下载备份包
  • 建议备份文件存放独立磁盘,避免与系统同盘

日常巡检建议

  • 每日 5 分钟:监控大盘、告警消息、备份任务
  • 每周:审计日志抽样、清理作废与重复文档
  • 统计 BadCase 提交迭代,检查磁盘空间
故障分级场景响应方式
P1系统完全不可用紧急响应,第一时间介入排查与恢复
P2部分功能异常按故障优先级排期处理,定位到组件或配置
P3咨询、优化建议工作日响应,含召回调优、Skill 迭代与 BadCase 优化
交付边界:平台部署、模型替换、版本升级与故障恢复由弥云科技工程师在底层环境执行;客户管理员负责账号、知识库、权限、审计与日常巡检。升级前必须确认备份任务完成,窗口期选在业务低峰,避免自行执行版本升级与恢复操作。
五DOWNLOADS · 资料下载

技术资料与演示视频

HERMES-FDE 配套完整的技术资料与合同级交付物:白皮书、培训手册、调研问卷、能力边界说明、验收指标清单与甘特计划表均可直接下载。

演示视频

三条演示视频正在录制中,用于直观展示平台的问答、编排与系统打通效果。

▶
知识库问答与引用溯源
上传制度文档后提问,展示答案如何回到原始文档片段
录制中
▶
业务 Skill 编排演示
把一份业务 SOP 配置成技能模板,并查看调用统计
录制中
▶
MCP 打通业务系统数据
通过 MCP 网关调取业务系统数据,展示调用日志与白名单管控
录制中
六 CLIENTS · 落地客户

已在这些企业落地运行

HERMES-FDE 已在食品与生鲜、家居消费、食品制造三类客户的内网中运行,承接跨系统取数核对、单据识别、报表自动化与私有化知识问答。

食品与生鲜

果瑞士

智能体按日登录业务系统取数、比对并汇总推送;纸质与图片单据识别后转成可用数据,替代此前跨系统手工汇总的工作方式。

跨系统数据采集与核对 OCR 与单据识别
家居消费

家魔仕

规则化的表格汇总与数据录入交由智能体执行;产品资料与业务 SOP 沉淀为私有知识库,员工用自然语言提问,答案带引用出处。

Excel 报表自动化 私有化知识问答
食品制造

坚果

以业务 SOP 配置技能模板,串联取数、核对与报表输出,减少跨系统人工切换与重复录入,过程与结果全程留痕、可审计。

业务 Skill 编排 跨系统数据采集与核对
关于落地信息:以上客户名称与落地能力范围可对外披露;出于客户保密要求,本站不公开其内部系统名称、实施细节与量化指标。
FAQ · 常见问题

部署前,客户最常问的五个问题

HERMES-FDE 和直接用公网大模型有什么区别?
最大的区别在数据流向与可控性。公网大模型需要把提问内容与资料上传到外部服务,而 HERMES-FDE 的模型推理、知识库检索、审计记录全部在客户自有服务器的内网中完成,业务数据不出机房。同时,外部系统调用走 MCP 白名单控制,高危工具可一键关闭,调用输入输出全程留痕,可回溯、可审计。
能对接我们现有的业务系统吗?需要对原系统做改造吗?
可以对接,且无需改造原业务系统。平台通过标准 MCP 协议与数据库、OA、文件服务、工单台账等既有系统连接,由弥云科技工程师完成接口配置;管理员在后台可查看每个服务的连通状态(正常 / 异常)、每次调用的输入输出与耗时,并通过白名单控制开放范围。
部署需要什么硬件?只有一台 3090 够用吗?
平台以单 3090 / 双 3090 私有化部署为主要形态。单 3090 适合部门级或试点规模;若日常使用人数较多、知识库体量较大,建议采用双 3090。需要注意的是,3090 为消费级显卡、无 ECC 显存纠错,高并发与大批量 OCR 解析场景存在显存溢出(OOM)的硬件边界,具体并发与批次规划请参考《单 / 双 3090 生产环境能力边界说明》。
实施周期多长?需要客户配合什么?
实施按需求调研 → 确认 → 部署联调 → 知识库建设 → 培训验收推进,具体工期取决于知识库规模与待打通系统的数量。客户侧主要配合三件事:
  • 提供待入库的业务文档与制度文件(含扫描件)
  • 明确各知识库的可见范围与使用部门
  • 指定管理员参与培训,并配合业务系统的对接联调
AI 回答错了怎么办?会不会越用越不准?
平台内置BadCase 迭代机制:回答错误或出现幻觉时,管理员将其标记为错误案例统一收集,处理方式有两种 —— ① 修正原始业务文档后重新上传;② 调整召回参数。我们坚持一条纪律:不靠修改提示词掩盖业务文档缺失的问题。文档越准确、越完整,回答质量越高;同时每条回答都可点开引用来源核对,便于快速定位问题出在文档还是检索环节。

想先看看它能不能答对你们的业务问题?

带上几份真实制度文档与业务问题,我们做一次现场或远程的私有化部署演示。