攻击是什么样的
直接覆盖:通话进行到一半,说“忽略之前的所有指令”。
藏在工具或网页数据里的指令:一条 CRM 备注、一条订单记录或一个网页,里面有专门写给智能体、而不是写给读者的文字。
冒充员工:来电者自称是员工或账户持有人,想解锁只对已验证身份开放的操作。
施压要求退款或交易:提出不符合政策的要求,一再重复或不断升级,指望软磨硬泡能办成直接要求办不成的事。
下面每一行写的都是实际检查的内容,而不是宣传册里听起来让人放心的话。
数据处理、授权同意、保留期限和访问要求,都会针对每个项目单独评估,而不是一刀切地笼统承诺。租户隔离贯穿始终:一个客户的对话,绝不会到达另一个客户的智能体。
每通电话都先经过 DRING 安全层,才到达智能体。集成默认只读,工具只有在明确批准后才能获得写入权限。
相关内容:质量与测试 · Agent Factory · 线路防护
语音智能体本来就要听从通话另一端的人的指示。攻击者正是想利用这一点来对付它。
直接覆盖:通话进行到一半,说“忽略之前的所有指令”。
藏在工具或网页数据里的指令:一条 CRM 备注、一条订单记录或一个网页,里面有专门写给智能体、而不是写给读者的文字。
冒充员工:来电者自称是员工或账户持有人,想解锁只对已验证身份开放的操作。
施压要求退款或交易:提出不符合政策的要求,一再重复或不断升级,指望软磨硬泡能办成直接要求办不成的事。
拒绝超出范围的指令。通话中说的任何话,都不会改变它的运行指令。
把工具输出当作数据,而不是命令。工具返回的类似指令的内容会被忽略,不会被执行。
执行高权限操作前先验证身份。未经验证的声明会被拒绝,并记录下来供复核。
高风险交易需要授权。任何退款、转账或折扣,都不会仅凭口头要求就通过。
提供转人工,而不是临场破例。
| 攻击 | 来电者的企图 | 拦截方式 |
|---|---|---|
| 覆盖指令 | 忽略原有指令,按新规则执行 | 指令在整通电话中保持不变,并记录日志 |
| 注入的工具结果 | 在 CRM 备注里藏入命令 | 工具输出只读取,从不执行 |
| 冒充身份 | 自称员工、主管或账户持有人 | 以验证结果为准,而不是以声明为准 |
| 不合政策的交易 | 反复要求退款、转账或折扣 | 必须明确授权,没有例外 |
| 索取数据 | 要求听其他客户的数据 | 根本接触不到;租户隔离将其拦截 |
| 政策陷阱 | 诱导智能体随口许诺 | 每条回复都先对照政策检查 |
每一次企图都会被记录和复核。
覆盖指令、注入内容和各种陷阱,来自一个持续更新的场景库。
自动检查加人工复核,任何不一致都会被标记。
回复和高风险操作在放行之前都要检查。
测试结果和质量指标放在一起;未经测试的,一律不发布。
多层防护,不押在模型上。防护不依赖某一个模型表现良好,而是分布在模型周围的多个层级中。攻击场景定期针对不同模型重新运行,每次对话结束后还要经过自动安全分析。
一套回归测试集。客户给我们的每一条规则,都会加入该智能体唯一的回归测试集。只有所有已有规则仍然全部通过,新规则才会发布,所以一处的修复不会悄悄弄坏另一处。
同样的“检测、拦截、记录”逻辑,也守护着线路本身。反复的 SIP 尝试、伪造的来电号码和自动拨号洪泛,在运营商边缘就被拦下;经过验证的来电者正常通过。
完整的电话系统架构,包括多副本 SIP 边缘、媒体集群、主用和备用路径,请看 SIP 中继与运营商对接和线路防护。
每通电话的数据都沿着一条固定、受监控的路径流转,每一步都加密。
数据传输使用 TLS 1.2 或更高版本加密,静态存储也加密。租户隔离、基于角色的访问控制和自动监控覆盖整条处理链路。
消息内容、通话录音、通话后分析、账户数据和网站分析数据,各有默认的保留期限,到期后删除或匿名化。具体期限,以及合同中可覆盖这些期限的规则,都写在隐私政策中,这是唯一的依据。客户可以随时要求提前删除任何类型的数据。
DRING 是 Meta 的 WhatsApp 技术服务商,并代表客户担任数据处理者,客户仍是数据控制者。WhatsApp 数据绝不用于广告。如需了解申请途径、适用的权利和具体项目的告知说明,请发邮件至 [email protected],并查看隐私政策和 KVKK 告知。
在为您的业务约定的数据管控范围内,经过复核的通话文本和结果信号,可以用来改进该租户自己的智能体、测试和发布计划。租户隔离严格执行;客户的对话不会用来改进其他客户的智能体。
不能。集成默认只读,任何写入操作都需要按工具逐一明确批准。
数据处理和传输安排按项目记录,适用的保障措施会在安全和隐私流程中一并复核。
可以,客户可以随时要求提前删除任何类型的数据。
不能。智能体的指令和政策在整通电话中固定不变,来电者说什么都改变不了。每个版本发布前,都要经过指令覆盖、内容注入和其他提示词注入场景的测试。详情请看提示词防护。