Civitai 内容审核体系解析用户控制、自动化标签与社区协同的完整实现【免费下载链接】civitaiA repository of models, textual inversions, and more项目地址: https://gitcode.com/GitHub_Trending/ci/civitaiCivitai 是一个面向 AI 生成模型、图像与文本反转textual inversions的开源社区平台其内容治理目标是在开放包容的环境中赋予用户选择感兴趣内容的工具。本文以仓库中的官方治理文档 src/static-content/moderation.md 为主体结合 src/server/jobs/entity-moderation.ts 等源码实现系统拆解 Civitai 的三层内容治理体系用户自主控制、自动化内容标注与审核、社区协同与人工复核帮助读者理解一个大型 UGC 平台如何在开放与安全之间取得平衡。一、治理总览三层机制如何协同Civitai 的审核体系并非单一过滤器而是由三层机制叠加而成层级核心机制承担方触发时机用户控制标签过滤、选择性隐藏、内容分类用户本人浏览内容之前个性化设置自动化标注与审核Amazon Rekognition、开源图像标注系统、Clavata 文本策略引擎、词表/URL 黑名单平台后端服务内容上传与生成时社区协同与人工复核标签投票、举报、Guardian 排行榜、人工审核社区用户 审核团队内容标注之后、特定标签组合触发时这三点正好对应官方文档中 User Control、Automated Content Labeling and Moderation、Manual Reviews 三部分下文逐一展开。二、用户控制把看什么的决定权交给用户官方文档 src/static-content/moderation.md 明确将用户控制列为治理第一优先级提供三类能力基于标签的过滤Tag-Based Filtering用户可按标签隐藏特定内容。例如不想看到动漫内容只需隐藏anime标签相关图像、模型即从浏览流中剔除。选择性隐藏Selective Hiding用户可隐藏特定图像、特定模型甚至某个创作者的全部模型。这为只对人不满意的场景提供了粒度极细的屏蔽手段。内容分类Content Categories用户可以按自己的舒适度选择可查看的受管内容类别例如允许裸体nudity但关闭明显裸露explicit nudity。此外受管内容在用户注册账号并完成个人内容可见性偏好设置之前始终保持隐藏状态——这是对未注册访客的默认保护。与源码对应图像可见性visibility正是按 NSFW 等级驱动的src/server/common/image-visibility.ts 集中定义了图像可见性的判定逻辑而 src/server/common/enums.ts 中的枚举则描述了从 SFW 到 Explicit 的等级体系。也就是说启用裸体但关闭明显裸露这样的用户偏好最终会落到图像可见性计算中与标签标注结果共同决定内容是否展示。相关争议处理还可在 src/server/common/tos-reacceptance.ts 与 src/server/common/tos-reasons.ts 中看到与《服务条款》重接受流程的衔接。三、自动化内容标注与审核图像与文本的双轨流水线官方文档提到两个自动化标注来源Amazon RekognitionAWS 的图像识别服务与开源图像标签系统二者共同完成自动应用内容标签 筛查受管内容。在仓库中可以找到这两条轨道的实际落点图像服务 src/server/services/image.service.ts 与标签服务 src/server/services/tag.service.ts 承担标签与图像审核的编排图像标签 ID 的获取逻辑被独立封装并有专门测试覆盖src/server/services/tests/image-tagids-fetcher.test.ts可作为了解图像如何拿到标签 ID 集合的入口。3.1 实体文本审核队列entity-moderation 任务对于图像以外的文本实体评论、模型、帖子、文章、悬赏、合集、用户资料、聊天消息等仓库实现了完整的自动化审核任务 src/server/jobs/entity-moderation.ts。该文件是理解文本审核流水线的最佳源码样本核心结构如下const queues { Comment: { fields: { content: true }, selector: dbRead.comment }, CommentV2: { fields: { content: true }, selector: dbRead.commentV2 }, User: { fields: { username: true }, selector: dbRead.user }, UserProfile: { fields: { bio: true, message: true }, selector: dbRead.userProfile }, Model: { fields: { name: true, description: true }, selector: dbRead.model }, Post: { fields: { title: true, detail: true }, selector: dbRead.post }, ResourceReview:{ fields: { details: true }, selector: dbRead.resourceReview }, Article: { fields: { title: true, content: true }, selector: dbRead.article }, Bounty: { fields: { name: true, description: true }, selector: dbRead.bounty }, BountyEntry: { fields: { description: true }, selector: dbRead.bountyEntry }, Collection: { fields: { name: true, description: true }, selector: dbRead.collection }, } as const satisfies QueuesConfig;可见每条实体类型都声明了需要审核的字段与对应的 Prisma 数据模型选择器新增审核实体只需按此模式扩展并在EntityType枚举中登记类型文件中注释给出了添加新条目的完整清单。3.2 两级过滤先黑白名单后策略引擎entity-moderation的审核流程是粗筛 精判的两级结构词表/URL 黑名单粗筛hasIssue()函数src/server/jobs/entity-moderation.ts先对文本做小写化然后依次匹配modWordBlocklist敏感词与modURLBlocklist恶意 URL正则未命中黑名单的内容直接放行并从 JobQueue 删除。黑名单可通过getBlocklists()动态获取支持按实体类型开关。Clavata 策略引擎精判命中黑名单的内容进入runClavata()按每批 100 条chunkSize 100调用外部 Clavata 审核服务并携带policyId策略 ID从 Redis 配置REDIS_SYS_KEYS.ENTITY_MODERATION读取可按实体类型配置不同策略缺省回退到default。策略由 Redis 中的 JSON 动态下发实现不改代码即可调整审核口径。值得注意的细节当结果仅命中NSFW且实体类型不在白名单allowedNSFWTypes [Bounty, Model]时视为通过否则创建自动审核报告ReportReason.Automated来源标记为ExternalModerationType.Clavata并写入reportAutomated表与 ClickHouse 的moderationRequest事件形成可追溯的审计链路。3.3 聊天消息的特殊路径与自动静音聊天消息不经过 JobQueue而是由runModChat()按时间增量createdAt lastRun下限minDate 2025-06-13直接扫描 Markdown 类型消息将同一聊天室内命中黑名单的消息聚合成一条记录再送 Clavata 判定。此外任务内置了诈骗冒充自动静音策略autoMuteIfScamAccount命中Impersonating Civitai Staff标签、账号注册不足 7 天autoMuteAccountAgeDays 7的新账号在 Chat / Comment / CommentV2 三类实体上会被自动muted同时清理其聊天消息或隐藏评论并通过trackModActivityPostgres与 ClickHouseuserActivity双重留痕。三个子任务统一注册为定时任务src/server/jobs/entity-moderation.ts 底部const modChatJob createJob(${jobName}-${jobNameChat}, */5 * * * *, modChat); const modQueueJob createJob(${jobName}-${jobNameQueues}, */5 * * * *, modQueue); const clearAutomatedJob createJob(${jobName}-${jobNameClear}, 0 6 * * *, clearAutomatedReports);即队列审核每 5 分钟一轮聊天扫描每 5 分钟一轮自动审核报告的清理每天 06:00 执行保留期reportRetention 14天。任务也可通过 Webhook 手动触发文件头部注释给出了runentity-moderation-queues/runentity-moderation-chat的调用方式。四、社区协同与人工复核4.1 标签投票与 Guardian 排行榜官方文档指出用户可以给图像上的内容标签投票帮助平台持续优化图像分类系统同时鼓励用户举报违规内容并通过Guardian 排行榜Guardians leaderboard表彰贡献最突出的社区成员。这是典型的众包标注 激励机制设计投票结果反哺图像分类系统排行榜则把社区治理参与度显性化。仓库中的排行榜相关任务可参考 src/server/jobs/prepare-leaderboard.ts。4.2 人工复核与自动报告清理文档强调某些标签组合或资源组合会触发人工复核之后内容才公开展示。这与自动化报告系统衔接Clavata 判定命中的内容以ReportReason.Automated自动创建报告进入人工队列审核员据此复核而clearAutomatedReports()每 24 小时清理超过 14 天的自动化报告记录避免队列无限膨胀。人工审核动作的类型化定义集中在 src/server/services/moderator.service.ts例如对模型的review、moderateFlag、setMinor、setSfwOnly对图像的review、setNsfwLevel、resolveAppeal对用户的removeContent、autoMuteScam、mutePendingReview等全部通过trackModActivity写入审计保证每一次人工或自动处置都可回溯。文本审核的更多辅助工具与词表逻辑可参考 src/server/utils/moderation-utils.ts。五、对平台与社区的承诺随着平台增长Civitai 承诺持续改进审核机制保持以用户为中心的安全平台。官方文档也向社区成员提出了三点共建要求准确标注自己创建的模型标签参与他人模型的标签标注及时举报违反《服务条款》的内容Terms of Service。这与上文自动化粗筛 → 策略引擎精判 → 社区投票/举报 → 人工复核的完整链路形成闭环自动化负责规模化处理社区负责众包纠偏人工负责兜底裁决。对开发者而言这套体系提供了可借鉴的分层审核架构——将用户偏好可见性计算、机器审核黑名单 策略引擎 定时任务、社区反馈投票与举报与审计追踪ModActivity / ClickHouse四个子系统解耦同时通过 Redis 动态策略与 JobQueue 消息队列实现审核口径的热更新与削峰。参考路径速查官方治理文档src/static-content/moderation.md实体文本审核任务队列 聊天 报告清理src/server/jobs/entity-moderation.ts图像可见性判定src/server/common/image-visibility.ts审核动作审计类型定义src/server/services/moderator.service.ts图像标签 ID 获取与测试src/server/services/tests/image-tagids-fetcher.test.ts文本审核词表工具src/server/utils/moderation-utils.ts【免费下载链接】civitaiA repository of models, textual inversions, and more项目地址: https://gitcode.com/GitHub_Trending/ci/civitai创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考