弥云科技 · MY-TEC
HERMES-FDE
企业私有化 Agent 平台技术白皮书
知识库 RAG · 业务 Skill 编排 · MCP 工具网关 —— 把企业自己的文档、流程与业务系统，接进一个数据不出内网的智能体。
摘要：HERMES-FDE 是弥云科技面向企业客户推出的私有化大模型应用平台。平台以本地推理为基础，以知识库 RAG 消化企业文档，以业务 Skill 编排固化流程 SOP，以 MCP 工具网关打通数据库、OA、文件服务等既有业务系统的数据；模型、知识库、对话与审计数据全部运行在客户自有服务器上，不对外上送业务数据。
本白皮书说明平台的设计原则、总体架构、核心能力、安全与合规设计、部署形态与运维要求，供客户技术负责人、信息化管理者与项目实施方在方案评估、部署规划与验收准备阶段参考。
1 产品概述与设计原则
企业在引入大模型时通常面临三重矛盾：能力想要，数据不敢给；系统很多，数据用不起来；问答有了，但答案不敢信。HERMES-FDE 的设计正是围绕这三重矛盾展开。
1.1 目标定位
HERMES-FDE 是部署在企业自有服务器上的企业级智能体平台，面向三类使用者：
| 角色 | 职责范围 |
|---|---|
| 超级管理员 | 用户账号管理、知识库全集、MCP 工具开关、审计全量日志查看、系统配置 |
| 部门管理员 | 仅管理本部门用户与本部门知识库，不能修改 MCP 与全局 Skill |
| 普通业务用户 | 仅使用对话页面，无后台管理权限 |
1.2 五条设计原则
- 模型推理、知识库检索、对话记录与审计日志全部在客户内网完成
- 不依赖外网风控与云端服务，从架构上消除数据外送通道
- 每条回答都可点开引用来源文档片段
- 不靠修改提示词掩盖业务文档缺失的问题
- 通过标准 MCP 协议对接既有业务系统，无需改造原系统
- 对接范围由白名单控制，可随时收紧
- 管理员只做 Web 后台运维，不接触底层
- 容器、CUDA、模型与硬件由实施工程师维护
- 消费级显卡无 ECC 显存纠错，高并发存在 OOM 硬件边界
- 并发与批次按《单 / 双 3090 生产环境能力边界说明》规划
- BadCase 统一收集，修正文档或调整召回参数
- 文档越完整，回答质量越高
2 总体架构
平台自下而上分为四层，每层职责单一、可独立替换：
2.1 多系统数据打通链路
企业数据往往分散在多个系统中。平台通过 MCP 网关把分散的数据汇聚到同一个问答入口：
文件服务 · 工单台账
日志留痕
SOP 编排
报表 · 告警
MCP 是模型与外部工具交互的标准协议。采用标准协议意味着：新增一个业务系统的成本集中在接口配置而非平台改造；同时鉴权、白名单、调用日志这三类管控可以在网关层统一实现，不必在每个系统上重复建设。
3 核心能力
3.1 知识库 RAG
| 能力项 | 说明 |
|---|---|
| 文档格式 | 支持 docx、pdf、xlsx，以及图片扫描件 PDF（自动 OCR 识别） |
| 批量导入 | 大文件与批量文件支持 zip 批量导入 |
| 版本管理 | 同一文件重复上传时系统提示版本覆盖；建议删除旧版本文档后再上传新版，避免新旧文档冲突；作废制度文件删除后向量库同步清理 |
| 问答溯源 | 每一条回答都可点开引用来源文档片段，回到原文核对 |
| 权限隔离 | 每个知识库可设置访问权限：公开 / 指定部门 / 指定用户白名单 |
扫描件 PDF 占比高会显著消耗显存。单 3090 环境下不建议同时批量导入大量扫描件，应分批上传，具体批次建议见《单 / 双 3090 生产环境能力边界说明》。
3.2 业务 Skill 编排
- 技能定义：把业务任务流程模板化，定义 Agent 执行 SOP，例如合同摘要、工单查询、制度解读。
- 统一管控：后台可启用 / 禁用技能，并查看调用统计与运行状态。
- 迭代责任：自定义 Skill 开发由实施工程师完成；管理员不直接编辑底层 Skill 源码，避免修改被版本覆盖。业务变更需求提交实施方迭代。
3.3 MCP 工具网关
- 连接：标准 MCP 协议对接数据库、OA、文件服务等外部业务系统，原系统无需改造。
- 可视：MCP 服务列表展示每个服务的连通状态（正常 / 异常）。
- 留痕：每次调用的输入、输出、耗时与失败报错均可查看。
- 管控：管理员可开关工具白名单，关闭高危 MCP 工具，防止 Agent 调用敏感接口。新增 MCP 服务与接口参数修改由实施工程师配置。
4 安全与合规设计
私有化的核心价值在于：所有对话数据本地存储，不上外网。平台在此基础之上提供六项管控。
- 对话与知识库数据全部本地存储，不对外上送
- 不依赖外网风控与云端服务
- 支持企业微信 / 飞书 / AD 域 SSO 对接
- SSO 开启后优先通过身份源同步账号
- 开启登录密码强策略；超级管理员账号仅限 1-2 人使用
- 知识库三级可见范围：公开 / 指定部门 / 指定用户白名单
- 按部门划分独立知识库，实现数据隔离
- 内置手机号、身份证自动脱敏输出
- 管理员可维护自定义敏感词黑名单
- 开启本地安全过滤，拦截违规输出
- 不依赖外网风控服务
- MCP 白名单开关
- 高危工具可一键关闭
- 调用输入输出与耗时全程可回溯
4.1 审计日志
| 项目 | 说明 |
|---|---|
| 记录字段 | 操作用户、时间、提问内容、AI 输出、引用知识库文档、Skill / MCP 调用记录 |
| 保存周期 | 默认 90 天，可按企业内控要求调整 |
| 导出 | 支持导出 CSV |
5 部署形态与硬件要求
平台以私有化部署为主要交付形态，当前支持单 3090与双 3090两种规格，全部离线运行、内网即可使用。
5.1 形态选择
| 形态 | 适用场景 | 规划要点 |
|---|---|---|
| 单 3090 | 部门级使用或项目试点，并发量相对可控 | 避免高并发同时叠加 OCR 批次任务 |
| 双 3090 | 企业级日常使用，知识库体量与并发更高 | 按能力边界说明规划并发上限与导入批次 |
5.2 能力边界（如实告知）
3090 为消费级显卡，无 ECC 显存纠错。高并发访问、大批量 OCR 文档解析场景会出现显存溢出（OOM），属于硬件能力边界。显存持续高于 90% 时极易发生 OOM 导致服务崩溃，需降低并发、减少同时执行的 OCR 任务。出现系统偶发自动重启时，大概率即为显存溢出，应优先降低业务并发而非重启服务器。具体并发量、批次与显存占用对应关系，以《单 / 双 3090 生产环境能力边界说明》为准。
5.3 网络与端口
| 服务 | 说明 |
|---|---|
| Web 管理后台 | 默认端口 9119，供管理员与业务用户访问 |
| API 网关 | 默认端口 8642，仅内网调用，不对外开放 |
| 对外网络 | 除对接内部业务系统所需策略外，平台本身不需要外网访问 |
6 运维、监控与容灾
客户管理员不需要登录 Linux 服务器，所有状态在 Web 后台查看；底层硬件与容器异常通知实施工程师处理。
6.1 监控与告警
| 监控项 | 关注点 |
|---|---|
| GPU 显存 / 利用率 | 单 3090 显存持续高于 90% 极易 OOM，需降低并发与 OCR 任务量 |
| API 请求量与响应时延 | 判断当前负载与用户体验变化 |
| Skill / MCP 调用失败率 | 过高通常指向网络策略或接口配置问题 |
| 组件运行状态 | 推理服务、向量库 Qdrant、MCP 网关 |
告警触发条件：GPU 显存持续 > 92%；组件服务宕机；MCP 工具调用失败率过高。告警推送至企业微信机器人 / 邮件。
6.2 备份与恢复
- 备份对象：用户账号与权限配置、向量库索引与知识库元数据、审计日志。
- 备份策略：每日凌晨自动执行，保留最近 7 天备份包；管理员可在 Web 后台手动触发备份、下载备份包。
- 存储建议：备份文件存放独立磁盘，不要与系统同盘，防止磁盘损坏导致全部丢失。
- 模型权重：不纳入日常备份，体积巨大，损坏可重新导入。
- 恢复操作：由实施工程师在底层环境执行；管理员仅负责备份下载，禁止自行恢复。
6.3 日常巡检建议
| 周期 | 动作 |
|---|---|
| 每日（约 5 分钟） | 查看监控大盘（显存无持续高负载、组件状态正常）；查看告警消息；确认备份任务执行成功 |
| 每周 | 审计日志抽样；清理作废与重复文档；统计 BadCase 提交迭代；检查磁盘空间 |
7 实施与交付
实施按弥云科技标准流程推进，与客户既有信息化项目管理方式对齐：
| 阶段 | 主要工作 |
|---|---|
| 需求调研 | 梳理知识库范围、待打通业务系统、使用部门与并发预期 |
| 需求分析与确认 | 确定部署形态、知识库权限方案与 Skill 场景清单 |
| 部署与联调 | 私有化部署、模型加载、MCP 接口联调、身份源对接 |
| 知识库建设 | 文档入库解析、权限划分、技能配置与初步效果验证 |
| 培训与验收 | 管理员培训与业务人员操作培训，按《现场验收指标清单》验收 |
| 运行期支持 | 按 P1 / P2 / P3 分级响应，持续迭代召回策略与业务 Skill |
7.1 配套交付物
- 客户现场实施前置调研问卷
- 单 / 双 3090 生产环境能力边界说明
- 现场验收指标清单
- HERMES-FDE 管理员培训手册（客户侧管理员使用）
- 业务人员操作手册
- 项目实施甘特计划表
7.2 服务分级
| 分级 | 场景 | 响应方式 |
|---|---|---|
| P1 | 系统完全不可用 | 紧急响应，第一时间介入排查与恢复 |
| P2 | 部分功能异常 | 按故障优先级排期处理，定位到组件或配置 |
| P3 | 咨询、优化建议 | 工作日响应，含召回调优、Skill 迭代与 BadCase 优化 |
7.3 责任边界
| 事项 | 执行方 |
|---|---|
| 平台部署、模型替换、版本升级 | 弥云科技实施工程师 |
| 故障恢复、底层容器与硬件维护 | 弥云科技实施工程师 |
| 账号、知识库、权限、审计查看、日常巡检 | 客户管理员（Web 后台） |
| Skill 开发与业务变更迭代 | 弥云科技实施工程师 |
升级前必须确认备份任务已完成，升级窗口期选择业务低峰；管理员禁止自行执行版本升级与数据恢复操作。不要手动重启服务器，以免造成业务中断；确需重启请提前通知业务人员并优先联系实施工程师。
8 典型应用场景
- 把公司制度、管理办法入库，员工直接提问，答案带出处
- 新员工常见问题自助查询，减少老员工重复答疑
- 以 Skill 定义摘要口径，批量处理合同与文件要点
- 纸质资料扫描入库后自动 OCR，可检索、可追溯
- 通过 MCP 网关读业务系统数据，自然语言直接查台账
- 一个入口聚合数据库、OA、文件服务的数据，免去反复切系统
9 技术参数速查
| 项目 | 参数 / 说明 |
|---|---|
| 部署形态 | 单 3090 / 双 3090 私有化部署，离线内网运行 |
| Web 管理后台端口 | 9119 |
| API 网关端口 | 8642（仅内网调用） |
| 向量数据库 | Qdrant |
| 支持文档格式 | docx / pdf / xlsx / 图片扫描件（OCR）；支持 zip 批量导入 |
| 角色层级 | 超级管理员 / 部门管理员 / 普通业务用户 |
| 知识库可见范围 | 公开 / 指定部门 / 指定用户白名单 |
| 审计日志留存 | 默认 90 天，可调整，支持导出 CSV |
| 自动备份 | 每日凌晨执行，保留最近 7 天 |
| 告警阈值 | GPU 显存持续 > 92%；组件宕机；MCP 调用失败率过高 |
| 告警通道 | 企业微信机器人 / 邮件 |
| 身份源对接 | 企业微信 / 飞书 / AD 域 SSO |
| 外部系统对接 | 标准 MCP 协议，无需改造原业务系统 |
| 服务分级 | P1 紧急响应 / P2 按优先级排期 / P3 工作日响应 |
10 术语表
| 术语 | 说明 |
|---|---|
| Agent | 智能体。能够理解自然语言指令、调用工具并完成多步任务的 AI 应用形态 |
| RAG | 检索增强生成。先从企业文档中检索相关片段，再交由大模型组织答案，从而使回答有据可依 |
| Skill | 业务技能。把业务任务流程模板化为可复用的技能，定义 Agent 执行 SOP |
| MCP | Model Context Protocol，模型上下文协议。Agent 调用外部业务系统工具的标准网关协议 |
| OCR | 光学字符识别。将图片扫描件中的文字提取为可检索文本 |
| 向量库 | 存储文档向量表示的数据库，用于相似度召回（本平台使用 Qdrant） |
| BadCase | 错误案例。回答错误或出现幻觉的问答记录，用于驱动文档修正与召回优化 |
| OOM | Out Of Memory，显存溢出。显卡显存不足以支撑当前任务时发生，会导致服务异常 |
| SSO | 单点登录。通过企业微信、飞书或 AD 域等统一身份源登录系统 |