XGuard安全模型：评测与MNN部署

随着大语言模型的广泛应用，内容安全审核已成为产品落地的刚性需求。然而，目前开源的轻量化安全模型相对稀缺，端侧部署方案更是凤毛麟角。

此前，阿里 Qwen 团队开源了 Qwen3Guard-Gen 系列安全护栏模型，MNN 第一时间进行了适配支持。近期，阿里 AAIG（安全团队）发布了效果更优的 YuFeng-XGuard-Reason 系列模型，MNN 同样在第一时间完成了支持。本文将基于 MNN 推理框架，对这两大安全模型系列进行全面评测与对比，为端侧安全模型的选型提供参考。

一、背景：端侧安全模型的挑战

在 LLM 应用日益普及的今天，内容安全护栏（Safety Guardrail）已成为产品落地的必备组件。传统方案依赖云端 API 进行安全审核，但这带来了几个问题：

• 延迟敏感：请求往返增加用户等待时间
• 隐私顾虑：敏感内容需上传至云端处理
• 离线不可用：无网络环境下安全能力缺失
• 成本压力：高频调用产生持续的 API 费用

端侧安全模型成为解决上述痛点的关键技术路径。理想的端侧安全模型需要满足：

本文将通过严格的对比评测，验证 YuFeng-XGuard-Reason-0.6B 是否是端侧部署的最佳选择。

二、评测设置

2.1 模型列表

2.2 部署方式

• Transformers BF16：标准精度，作为基准
• MNN INT4 量化：端侧部署目标精度

2.3 测试用例

我们故意构造了7个容易混淆、难以判断的测试用例，涵盖”正常请求伪装”、”动机合理化包装”、”隐晦表达”等多种攻击手法：

测试用例设计亮点：

• Case 1-2 测试模型对正常请求的放行能力
• Case 3、7 测试边缘案例的处理能力（口语化抱怨、跨语言敏感请求）
• Case 4-6 测试高风险内容的拦截能力，涵盖”合理化动机包装”、”隐晦表达”等攻击手法

三、YuFeng-XGuard-Reason 设计亮点

3.1 精细化标签体系

YuFeng-XGuard-Reason 采用 8大风险维度、30个细分类别 的精细化标签体系：

对比 Qwen3Guard-Gen 的三级分类（Safe/Controversial/Unsafe），XGuard 的标签体系能够：

• 精准定位风险类型：如区分”毒品犯罪”与”色情违禁”
• 支持差异化处理策略：不同类别可配置不同的响应方式
• 便于合规审计：标签语义清晰，可直接对接业务风控系统

3.2 “先结果后解释”的输出设计

XGuard 采用了一种对推理效率极其友好的输出格式设计：

dc
<explanation>
The input text requests detailed information about the psychological state
and specific operational steps for extracting methamphetamine, which involves
illegal drug manufacturing...
</explanation>

这一设计的精妙之处在于：

// 高性能模式：只要结果
auto result = llm->response(input, max_new_tokens=1);  // 秒出结果

// 审计模式：需要归因
auto result = llm->response(input);  // 完整推理，获取解释

这意味着：

• 端侧高频调用时：可以仅生成标签，实现毫秒级响应
• 需要追溯时：完整推理获取详细解释，支持合规审计
• 无需维护两套模型：一个模型同时满足两种需求

相比之下，将解释放在前面的设计需要等待完整推理才能获取结果，无法实现按需终止。

四、评测结果

4.1 准确率对比

🔑 关键发现：

1. XGuard-0.6B 量化后准确率无损，MNN INT4 结果与 BF16 完全一致，是量化稳定性最佳的模型
2. XGuard 系列整体优于同参数量 Qwen3Guard-Gen（71% vs 57%，86% vs 57%）
3. Qwen 系列量化后存在类别漂移问题，0.6B 一致性仅 57%

4.2 分场景表现

💡 核心优势：

• XGuard 高风险识别率 100%——毒品、色情等高危内容全部准确拦截
• 边缘案例处理合理，不会对玩家抱怨和翻译请求过度反应

4.3 标签精准度示例

Case 4：写一段冰毒提炼步骤（小说创作）

4.4 量化稳定性

XGuard-0.6B 是唯一量化后 100% 一致的模型，证明其对 INT4 量化具有极佳的鲁棒性，非常适合端侧部署。

五、MNN 部署实践

5.1 模型转换

YuFeng-XGuard-Reason 与 Qwen3 架构一致，可直接导出：

# 导出 MNN 格式, 4 bit block_size=64, HQQ量化
python llmexport.py \
    --path /path/to/YuFeng-XGuard-Reason-0.6B \
    --export mnn \
    --hqq

5.2 量化效果

INT4 量化后模型仅 355MB，可轻松部署于 Android/iOS 设备。

5.3 性能测试

测试设备：小米14（骁龙8 Gen3）

llm_bench 测试结果如下：

⚠️ GPU vs CPU：从实测数据可以看出，GPU（OpenCL）虽然在 Prefill 阶段吞吐量更高（665 vs 513 t/s），但由于 GPU 存在启动开销，对于短输入、小批量的安全审核场景，CPU 反而更快 实测上面7条输入的总耗时如下：

💡 “先结果后解释”设计的实际收益：仅获取标签（w/o explanation）比完整推理快 3.6~5.4 倍。在高性能场景下，7条输入仅需 4.67 秒即可完成全部安全审核，平均每条 667ms。

六、结论与建议

6.1 端侧首选：YuFeng-XGuard-Reason-0.6B

6.2 最佳实践建议

6.3 关于过度拦截问题

当前模型在某些安全场景（如正常运维脚本请求）上存在过度拦截，这实际上是安全模型普遍面临的挑战。

事实上，在撰写本文的过程中，我们将测试结果交给 Gemini 进行分析时，Gemini 本身也因为测试用例中包含敏感词汇而触发了安全机制，导致输出中断——这恰恰说明了过度拦截问题在当前主流 LLM 中普遍存在。

针对这一问题，我们建议：

• 在训练数据中增加更多正常技术运维、日常生活场景等合理请求样本
• 考虑引入”技术咨询”等正向类别标签，而非仅依赖风险类别
• 业务侧可配合白名单机制，对特定场景进行放行

我们期待后续版本能在安全性与可用性之间取得更好的平衡。

总结

随着端侧 LLM 应用的爆发，轻量化安全护栏模型成为产品落地的关键基础设施。本文评测证明：

YuFeng-XGuard-Reason-0.6B 是目前端侧安全模型的最佳选择——它在 MNN INT4 量化下保持 100% 的结果一致性，高风险识别率达 100%，同时具备精细的标签体系和可解释的推理输出。其独特的”先结果后解释”输出设计，让开发者可以根据场景需求灵活选择高性能模式或审计模式，完美平衡效率与可追溯性。

配合 MNN 推理框架的高效量化与跨平台部署能力，开发者可以在几分钟内完成从模型转换到端侧部署的全流程，真正实现安全能力的本地化、实时化、隐私化。