Snow AI Companion：在设计儿童安全 AI 时需要考虑什么？

我开始考虑 Snow 是出于一种相当简单的感觉：如果技术能够帮助到某个群体，无论多小，它都是有意义的。

对于患有自闭症或在沟通、学习和情感方面有困难的儿童来说，一个 AI 伴侣听起来非常吸引人。它可以很有耐心，重复指令，使用更温柔的语气，从不发脾气，也从不催促。

但正因为产品是面向儿童的，第一个问题不应该是：

如何让 AI 变得更聪明？

而应该是：

如何让 AI 更安全、更容易控制，并真正支持儿童，而不是取代人类？

1. Snow 不应该是“取代父母的 AI 挚友”

这是一条非常重要的界限。

Snow 可以是一个温柔的伴侣。但 Snow 不应该取代父母、老师、医生或治疗师。

更安全的定位：

Snow = 一个支持温和互动、学习、习惯和情绪的伴侣。
不是医生。
不是诊断专家。
不是家庭的替代品。

这应该立即在产品中体现出来：

• 回复的语言必须谦逊，
• 遇到敏感话题时，必须鼓励与成年人交谈，
• 不提供医疗建议/诊断，
• 不要让孩子产生“只需要 AI 就足够了”的感觉。

2. 儿童安全的 AI 必须从儿童的权利开始

联合国儿童基金会关于 AI 和儿童的指南 (UNICEF Guidance on AI and Children) 提出了以下要求：儿童的安全、数据保护和隐私、非歧视、透明度、可解释性、问责制、支持儿童的最大利益、发展和福祉。

将其转化为 Snow 的设计，我将其概括为几个原则：

1. 儿童在被个性化之前必须受到保护，
2. 父母/监护人必须拥有控制权，
3. 儿童的数据必须被视为敏感数据，
4. AI 必须有明确的界限，
5. 危险情况需要移交给人类处理。

面向儿童的产品不能使用与普通聊天机器人相同的标准。

3. 你应该拥有的控制层

我会使用多个层级来设计 Snow，而不是仅仅在开头放置一个安全提示 (safety prompt)。

儿童 UI (Child UI)
    ↓
输入安全检查 (Input safety check)
    ↓
对话策略 (Conversation policy)
    ↓
AI 响应 (AI response)
    ↓
输出安全检查 (Output safety check)
    ↓
记忆策略 (Memory policy)
    ↓
家长仪表板 / 警报 (Parent dashboard / alerts)

每一层都有其作用：

层级	目的
儿童 UI	简单的界面，减少信息过载
输入安全检查	检测敏感或危险内容
对话策略	限制 AI 的响应方式
输出安全检查	防止不适当的响应
记忆策略	决定保存什么内容
家长仪表板	供成年人查看和控制

重点：安全性不应该只是一句“请保持安全”的提示词。安全性必须融入架构中。

4. 示例：早晨惯例 (morning routine)

Snow 的一个相当良性的用例是支持日常惯例。

Snow：嗨，今天我们一起做 3 件小事。
1. 洗脸
2. 喝水
3. 收拾书包

你想先从哪一个开始？

如果孩子不想做：

Snow：没关系，让我们先试最简单的。你想先喝水还是先拿书包？

在这里 Snow 不需要过于“聪明”。它需要：

• 有耐心，
• 使用短句，
• 清晰的选择，
• 不施加压力，
• 不做评判。

有时候一个好产品并不是因为它能说很多，而是因为它知道说得恰到好处。

5. 示例：当孩子说出敏感话题时

如果孩子说：

我不想再去上学了。我觉得很害怕。

Snow 不应该扮演治疗师的角色。更安全的回复可能是：

Snow：听起来你今天很害怕。那种感觉一点也不好受。
让我们一起慢慢地深呼吸一下。
之后，你应该和你的父母或你信任的成年人谈谈，这样他们能更好地帮助你。

系统可以根据风险级别，在家长仪表板上记录一个轻微的安全提示。

6. 记忆应该服务于支持，而不是操纵

Snow 可以记住一些有用的事情：

• 孩子喜欢通过图像学习，
• 孩子容易接受短句，
• 孩子喜欢雪人角色，
• 孩子已经完成了哪些惯例，
• 父母限制了哪些话题。

但 Snow 不应该在没有明确目的和明确控制的情况下，不加选择地将每一种私密情绪都保存为“心理档案”。

一个好的记忆应该是这样的：

{
  "type": "learning_preference",
  "content": "Prefers visual instructions and short choices",
  "visibility": "parent_visible",
  "retention": "until_deleted",
  "source": "parent_setting"
}

更敏感的事情需要不同的规则、不同的保留期限，也许还需要审批。

7. 家长仪表板不应该仅仅是一个设置页面

家长仪表板应该帮助成年人理解和控制系统。

应包括的部分：

• 开启/关闭长期记忆，
• 查看保存的记忆，
• 删除记忆，
• 限制话题，
• 查看惯例进度，
• 查看重要警报，
• 管理屏幕时间，
• 配置合适的语音/界面。

我认为家长仪表板是安全性的一部分，而不是次要功能。

8. Snow 应该避免什么

我想坚持的几个原则：

• 不做医疗诊断，
• 不建议孩子向父母隐瞒事情，
• 不鼓励依赖 AI，
• 不使用施压语言，
• 除非必要，否则不保存敏感数据，
• 不惜一切代价优化参与度 (engagement)，
• 不要把伴侣变成“唯一的朋友”。

对于儿童产品来说，有时知道不该做什么和知道该做什么一样重要。

9. 结论

Snow 不应该被设计成一个聪明的聊天机器人，然后在最后加上几层保护。

Snow 应该从一开始就被设计成一个安全、温柔、受控的系统，将儿童和家庭置于中心位置。

对我来说，正确的方向是：

AI 不取代人类。AI 为需要它的人创造了一个额外的温柔、易于访问且负责任的支持层。

这就是为什么一个面向儿童的 AI 产品值得被构建的原因。

参考资料

• UNICEF — Guidance on AI and Children: https://www.unicef.org/innocenti/reports/policy-guidance-ai-children
• NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
• NIST AI RMF 1.0 PDF: https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
• AI Risk Repository paper: https://arxiv.org/abs/2408.12622