AI 陪伴智能体系统界面示意（方案设计稿）
本页依据「小智 WorkMan」端到端工程验证整理：ESP32 语音终端 → 小智平台 broker → 本机 WorkMan / OpenClaw 智能体 → 工具执行 → 语音播报，链路已跑通，属于工程验证案例。文中的时延、成本为方案口径，实际以硬件、网络与模型配置为准；尚未做大规模用户验证。
项目概况
| 应用场景 | 独居老人日常陪伴、儿童互动、家庭语音助手、门店 / 展馆迎宾 |
|---|---|
| 方案形态 | 小智语音终端（ESP32-S3）+ 接入层 + 智能体大脑 |
| 核心能力 | 唤醒对话、连续追问、长期记忆、提醒、工具调用、设备控制 |
| 交互方式 | 语音为主；可选带屏版本显示字幕、图片与视频 |
| 部署方式 | 终端即插即用；智能体可本地部署，数据留在家庭 / 企业内网 |
| 当前阶段 | 端到端链路已验证，样机阶段 |
| 方案日期 | 2026 年 10 月 |
| 实施方 | 深圳市奇点大数据科技有限公司 |
一、会聊天，不等于陪伴
把「智能音箱」和「陪伴智能体」放在一起对比，差别不在音色，而在四件事：
| 维度 | 普通语音助手 | 陪伴智能体 |
|---|---|---|
| 对话 | 一问一答，答完即止 | 多轮上下文，听不懂会追问 |
| 能力 | 固定指令、内容播放 | 调用工具：提醒、日历、设备、业务系统 |
| 记忆 | 基本不记 | 跨对话记住偏好、习惯、重要事实 |
| 边界 | 不涉及责任 | 必须明确「我是 AI」「这件事我做不了」 |
我们内部把陪伴的硬指标归纳成三句话：
- 记得住：昨天说过的药名、孙子的名字、喜欢听的戏，下次不用再说一遍。
- 接得住：用户说「那个」「还是老时间」，系统能结合上下文问清楚，而不是重头再来。
- 停得下：随时能打断、能静音、能删除记忆。没有这个，陪伴就会变成监视。
二、系统怎么搭：端、云、脑三层
| 01 端 | 小智语音终端：ESP32-S3、麦克风、功放、喇叭、Wi-Fi、唤醒词、物理静音键、OTA。负责拾音、唤醒、播放与本地兜底。 |
|---|---|
| 02 接入层 | 小智平台 broker：设备鉴权、长连接、会话与音频通道。它把设备侧的能力以 MCP 工具的形式暴露出来。 |
| 03 大脑 | WorkMan / OpenClaw 智能体：意图理解、多轮对话、工具调用、长期记忆、角色卡与安全策略。 |
| 04 能力层 | 天气、提醒、日历、家电控制、ERP、视觉识别等，通过 MCP 或本地技能接入，按需开关。 |
这里有个容易被忽略的工程点：这是反向 MCP。不是本机去连音箱，而是设备所在的平台作为 MCP 客户端，主动连到本机的服务，依次完成 initialize → tools/list → tools/call。这意味着家里只需要一个能出网的环境，不需要公网 IP，也不需要路由器端口映射。
握手顺序：initialize(id:0) → notifications/initialized → tools/list → ping；对话时走 tools/call，执行完把结果回给平台播报。
三、一次对话的完整链路
用户说一句话，背后是七步：
- 唤醒词命中，终端亮灯，开始收音；
- VAD 判断一句话说完了，停止录音；
- ASR 转文字，顺便判断语种与情绪；
- 智能体判断意图：是聊天、查信息，还是要调用工具；
- 需要工具就调用，拿到结构化结果；
- LLM 组织成口语化回答；
- TTS 流式合成，边生成边播放。
| 环节 | 目标耗时 | 超时怎么办 |
|---|---|---|
| 唤醒 | 0.2–0.4 秒 | 本地唤醒，不依赖网络 |
| 断句（VAD） | 0.3–0.6 秒 | 按键说完，手动结束 |
| ASR | 0.3–0.8 秒 | 转本地小模型或提示重说 |
| 首个 token | 0.5–2 秒 | 先说「我查一下」，避免干等 |
| TTS 首包 | 0.3–0.8 秒 | 缓存常用问候与确认语 |
| 端到端 | 1.5–3.5 秒 | 超过 5 秒必须给进度提示 |
体验上有个反直觉的结论：用户对「首包多久出声」的敏感度，远高于「整段说完要多久」。所以优化顺序是先降首包，再降总时长；先流式，再压缩模型。
四、它真的能做什么：四个场景
| 场景 | 用户说 | 系统做 | 边界 |
|---|---|---|---|
| 老人日常 | 「提醒我八点吃药」「今天冷不冷」 | 建本地提醒、查天气、陪聊、转达子女留言 | 不做跌倒检测、不做医疗诊断 |
| 儿童互动 | 「讲个恐龙的故事」「这道题怎么做」 | 讲故事、启发式提问、家长端查看对话摘要 | 不直接给作业答案，内容需白名单 |
| 家庭助手 | 「空调调到 26 度」「我手机放哪了」 | 控制已接入设备、拨打手机、记购物清单 | 未接入的设备控制不了 |
| 门店 / 展馆 | 「这里有什么活动」「洗手间在哪」 | 迎宾、讲解、活动播报、扫码引导 | 知识库不更新就会说错 |
四个场景里，老人场景最容易被过度承诺。我们的写法是：它能提醒、能陪聊、能在约定时间没回应时通知联系人；但它不是紧急呼叫器，也不是护理员。这句话必须写进销售材料和说明书，否则迟早出事。
五、记忆怎么做，才不会变成「偷听」
陪伴感来自记忆，隐私风险也来自记忆。方案把记忆分成三层，并规定谁能写、存多久：
| 层级 | 存什么 | 存哪里 | 保留策略 |
|---|---|---|---|
| 会话上下文 | 当前这轮对话的前几句 | 内存 | 会话结束即清 |
| 用户偏好 | 称呼、语速、喜欢的戏曲、常用提醒时间 | 本地 | 可查看、可修改 |
| 长期事实 | 用户明确说「记住」的信息 | 本地加密 | 可逐条删除，支持一键清空 |
- 写入规则：只有用户明确表达「记住这个」才写入长期记忆；健康、财务、住址等敏感信息默认不写。
- 检索规则：按时间和主题召回相关片段，不把全部历史塞进 prompt；召回结果要在调试面板可见。
- 多成员识别：不用声纹做唯一身份（远场准确率不够），用「谁最后唤醒 + 手动切换 + 家庭成员列表」组合判断。
- 可见可删：记忆不是黑箱。用户问「你记得我什么」，系统要能一条条说出来。
六、断网、弱网、模型挂了怎么办
家庭网络不像机房。方案按「最坏情况」设计，而不是假设永远在线：
| 故障 | 用户看到什么 | 兜底动作 |
|---|---|---|
| Wi-Fi 断开 | 指示灯变色，短提示音 | 本地唤醒与固定指令可用（停止、音量、开灯） |
| 云端超时 | 「网络不太好，我先记下」 | 本地 TTS 播报，提醒写入本地队列 |
| 模型报错 | 「这个问题我暂时答不了」 | 降级到轻量模型或固定话术，不装懂 |
| OTA 失败 | 重启后回到旧版本 | 双分区 + 自动回滚 |
提醒功能必须存在本地，不依赖云端。老人按点吃药这件事，不能因为家里断网就消失。
七、工程踩坑：这几条是真金白银换来的
- 只支持 2.4GHz Wi-Fi。很多 ESP32 方案连不上 5GHz 频段，用户按路由器上的 5G 名称配网一定失败。说明书第一页就要写清楚，配网失败时提示「请选择 2.4G 网络」。
- NVS 分区写满会清空配网信息。我们把 NVS 四个分区都写满后，设备启动直接报无空闲页，固件执行擦除，SSID 和密码全丢。量产前必须预留分区、别把日志写进 NVS，并做反复掉电测试。
- 唤醒词会误触发。电视里出现相似发音、旁边另一个音箱应答，都会误唤醒。对策是双阈值 + 二次确认 + 物理静音键，且允许用户改唤醒词。
- 喇叭回授。麦克风和喇叭装得太近，会把 AI 自己的声音再收进去。结构上要隔离，软件上要 AEC，音量默认别开满。
- 老人不会说唤醒词。这是最现实的问题。保留按键唤醒，或做「免唤醒」模式（只在特定时段开启），比优化唤醒词识别率更有效。
- 时延体感。首包慢 0.5 秒，用户就会觉得「它没听见」；先出声再说完，体感差别很大。
八、隐私与合规：把「不做」写进产品
| 数据 | 默认策略 | 可选 |
|---|---|---|
| 唤醒前音频 | 不上传、不落盘 | 无 |
| 唤醒后命令段 | 上传识别，播报完成即删 | 可改本地识别 |
| 对话文本 | 本地保存 7 天，用于排错 | 可改 1 天 / 关闭 |
| 长期记忆 | 本地加密，用户可逐条删除 | 可一键清空 |
| 儿童对话 | 家长端可见摘要，内容白名单 | 可设使用时长 |
另外两条是产品原则，不是技术选项：明确告知「我是 AI」，不伪装真人；不提供医疗、法律、投资的专业结论。陪伴产品最容易越界的地方，就是让用户误以为对面是一个能做主的人。
九、成本与量产
| 阶段 | 周期（方案口径） | 主要工作 |
|---|---|---|
| 样机 | 1–2 周 | 开发板 + 麦克风 + 功放 + 喇叭，跑通唤醒与对话 |
| 小批量 | 2–4 周 | 结构、电源、散热、稳定性、配网与 OTA |
| 量产 | 2–4 个月 | 模具、3C、SRRC 无线认证、产测工装 |
硬件物料可以做到百元级（方案口径，随配置波动），真正持续的成本是模型调用与语音合成。按每天 30 次对话估算，单台每月的模型成本通常低于一杯咖啡；但如果长时间开放连续对话、频繁调用视觉模型，成本会明显上升——所以要有用量上限和降级策略。
十、边界：它不能做什么
- 不能替代真人陪伴。它可以缓解孤独，但不能替代家人、朋友和照护者。
- 不能做医疗诊断，也不能保证紧急救助。跌倒、突发疾病需要专门的传感设备与救援体系。
- 方言、噪声、多人环境识别会下降。这不是调参能完全解决的，要在目标人群里实测。
- 不能控制未接入的设备。「智能家居」的前提是设备本身支持被控制。
- 会记错、会说错。重要信息（用药、金额、地址）必须让用户复述确认。
- 儿童内容需要人工审核。模型生成的故事不能直接给孩子听，要有白名单和抽检。
- 断网时能力大幅下降。本地只能保证唤醒、固定指令和提醒。
十一、适合谁
- 居家养老、社区养老服务机构，需要低成本的情感陪伴与提醒入口；
- 儿童教育、玩具品牌，想把「会聊天」升级成「能做事」；
- 智能家居厂商，需要一个能调用设备、又能本地部署的语音大脑；
- 门店、展馆、园区，需要迎宾讲解与活动播报。
反过来，如果只是想做一款一次性语音玩具、不需要记忆和工具调用，那用现成的语音方案更便宜，没必要上智能体。