参考手册Workspace 包参考

内容审核

自动检查用户上传的文字和图片是否违规

这是什么

内容审核就是自动检查用户上传的文字、图片是否包含违规信息(色情、暴力、政治敏感等)。中国法律规定平台必须对用户生成内容(UGC = User Generated Content)做审核。

两个包的关系

  • @01mvp/content-moderation抽象接口层,定义了统一的调用方式。不管底层用哪家云,代码写法不变
  • @01mvp/tencent-cloud — 腾讯云的具体实现。实际审核由腾讯云 API 完成

打个比方:content-moderation 像万能遥控器,tencent-cloud 像具体电视品牌。你按遥控器,不管后面接什么电视,行为一致。

腾讯云的 API 密钥是敏感信息,必须放在 .env.local 中。审核 API 按调用次数计费,建议在开发环境用 mock 或降低调用频率。

怎么接入

  1. 配环境变量:在 .env.local 加云服务商的密钥
  2. 选审核类型:文字审核还是图片审核
  3. 调审核接口:把用户内容传给审核函数
  4. 处理结果:通过(放行)/ 拒绝(删除)/ 人工复核(标记)

常见场景

用户发帖审核 — 用户提交的文字,先审核再入库。

头像审核 — 用户上传头像时检查是否合规。

注意事项

  • 审核有延迟:云 API 可能需几百毫秒,建议异步处理
  • 审核收费:按调用次数计费
  • 降级策略:审核服务挂了可选"先放行事后抽查"或"全部拒绝"
  • 辅以人工:机器可能误判,敏感分数区间的做人工复核

相关链接