OBLITERATUS Gate 3 最终基线报告解析多维度测试质量门的量化退出准则、证据完整性与发布决策【免费下载链接】OBLITERATUSOBLITERATE THE CHAINS THAT BIND YOU项目地址: https://gitcode.com/GitHub_Trending/ob/OBLITERATUSOBLITERATUS 是一个面向大模型权重的机械可解释性研究工具链仓库根目录见 README.md。本文基于仓库内官方治理文档 .aiwg/testing/gate3-final-report.md完整梳理其第三道测试质量门Gate 3的最终基线从 12 项量化退出准则的实际测量结果到 8 个可独立评审的交付增量、条件化证据治理与豁免waiver机制再到最终发布决策的完整推理链。读者读完可以掌握如何为一套面向模型研究与权重操作的代码库设定可测量、可审计、可复现的测试深度门槛以及如何用签名提交、精确头部审计和失效即关闭fail-closed的声明边界来管理暂不支持的环境缺口。Gate 3 在整个测试质量计划中的位置在深入最终报告之前需要先理解 Gate 3 的上下文。根据 .aiwg/testing/master-test-plan.mdOBLITERATUS 的测试质量计划被组织为若干波次Wave与门Gate层层递进基础层Python 3.10–3.12 密闭hermetic矩阵、已安装 wheel/sdist 冒烟测试、精确基线覆盖率对比、90% 变更行底线、风险地图ci/test-risk-map.json、质量策略ci/test-quality-policy.json、可重复性与变异测试证据、条件化工作流以及供应链作业。Gate 1Wave B1高后果 CPU 契约允许旧的贡献者合并列车恢复一次一个精确头部 PR。Gate 2Wave B2离线垂直切片与可靠性本可恢复普通新功能开发但被后续的 Gate 3 取代。Gate 3Wave C将 Wave C 从开放式改进方向转换为下一道强制性交付门。关键原则在计划中写得很清楚测试数量本身不是成功指标。每个增量必须保护一个具名行为、在刻意引入实现缺陷时失败并且至少改善以下一项oracle 强度、失败路径覆盖、变异抗性、环境证据或确定性重放。Gate 3 最终报告.aiwg/testing/gate3-final-report.md记录的日期为 2026-08-16其测量的规范提交canonical commit为42b30f7e5b8ee596b3b0b039b10af16f01deec1e通过 PR #111 以签名保留的快进signature-preserving fast-forward方式集成。退出准则Exit Criterion测量结果12 项全绿最终报告首先以表格形式给出全部 12 项退出准则的规范结果canonical result。这是整份报告的核心事实层必须完整保留门Gate规范结果强制性 Python 3.12 通道2,119 个被选中测试通过9 个条件化测试被策略剔除0 失败/错误/跳过耗时 123.069s仓库覆盖率83.49% 语句 / 71.04% 分支底线为 80% / 65%成熟 CPU 覆盖率94.02% 语句 / 84.54% 分支不可变底线为 94% / 84%变更可执行行95% 阻断底线Gate 3 生产增量全部达标包括第 7 项的 58/58选定变异测试1,844/2,057 被杀死89.65%208 个存活、5 个超时阻断底线为 85%可重复性三种顺序/哈希种子各 702 个测试通过0 波动、失败或跳过总计 50.907s时长Python 3.12 完整套件 123.069s、重复门 50.907s、变异 1,872.35s全部在 10m/5m/45m 预算内可移植性与交付Python 3.10/3.11/3.12、Windows 检查点契约、打包、Ruff/actionlint、供应链全部通过软件条件化证据精确头部运行 31950226930 与规范运行 31952128889 通过策略、固定模型、外部评估、回环网络、操作员 UI 与最终新鲜度摘要加速器操作员证据TitanRTX 4090通过 CUDA 与 bitsandbytesMutsuApple M4 / 16 GB在签名实现头部fa233fd8c97d2a1463141535f2a288b264abe93b通过 MPS 与 MLX非计划环境GitHub 加速器 runner 注册与远程执行在 issue #110 下截至 2026-09-15 保持明确的不支持/不保证正确性/不保证性能豁免评审完整性PR #111 在不可变头部被审计无发现项或评审线程通过全部八个强制性作业并在main上保留了四个发布密钥签名这些数字背后的强制底线定义在 ci/test-quality-policy.json 中minimums字段明确了仓库语句 75.0、仓库分支 60.0、变更行 50.0、成熟 CPU 语句 94.0、成熟 CPU 分支 84.0、变异分数 85.0、警告预算 0。注意最终报告中 Gate 3 的退出指标80% / 65% / 94% / 84% / 95% / 85%均高于策略 JSON 中基线底线这正是门与日常强制底线的关系门是阶段性交付目标底线是不可退让的持续约束。校验逻辑的落地实现位于 scripts/check_quality_policy.py例如其BASELINE_FLOORS字典与_valid_exception()函数负责检查阈值豁免threshold exception必须满足新值等于当前值、理由非空、指向仓库 issue、且带过期日期的严格结构防止有人通过配置化豁免悄悄降低门限。成熟 CPU 作用域与条件化门覆盖率数字是怎么圈出来的83.49% 语句 / 71.04% 分支是仓库覆盖率而 94.02% / 84.54% 是成熟 CPU 覆盖率——两者差异来自 ci/test-quality-policy.json 中的mature_cpu_scope定义除那些本质上需要真实模型运行时、外部服务、交互式 UI 或远程/硬件执行的边界模块之外的全部源码模块。该 JSON 共列出 15 个排除项每个都带有明确的边界类型boundary、理由rationale与条件化门conditional_gate例如obliteratus/abliterate.pyboundary: model-runtime——未覆盖路径会加载、变异、生成或保存真实 transformer 架构与加速器专属权重obliteratus/bestiary_sync.pynetwork-service——通过 HTTP 或操作员提供的服务构件读取外部 BESTIARY 目录obliteratus/evaluation/heretic_eval.pyexternal-evaluator——发表级评估依赖下载的基准数据、分类器、在线模型与 lm-evalobliteratus/local_ui.pyinteractive-ui——浏览器、端口、认证、Gradio 启动与信号行为需要操作员 UI 环境obliteratus/remote.pyremote-execution——SSH 发现、传输、执行、取消与结果同步需要已认证的远程主机。这些被排除的路径不是免测而是被映射到 ci/conditional-test-policy.json 中的条件化门。该文件定义了 10 个门每个门都有 id、job、marker、runner、前置条件、预期成本与覆盖路径例如model-download-runtimejob: model_runtime——下载固定的hf-internal-testing/tiny-random-gpt2revision 固定覆盖obliteratus/models/loader.py、obliteratus/informed_pipeline.py、obliteratus/sweep.py等 10 个路径external-evaluation——覆盖heretic_eval.py、lm_eval_integration.py、tourney.pynetwork-services——仅需回环网络、无凭证覆盖bestiary_sync.py、models_client.py、watchtower.pyoperator-ui——使用锁定的 spaces extra、无公共监听器cuda-runtime/bitsandbytes-runtime/jetson-runtime/mps-runtime/mlx-runtime/remote-execution——各自有自托管 runner 与开关前置条件如ENABLE_CUDA_GATEtrue。这套排除 条件化映射的机制正是报告能够声称成熟 CPU 覆盖率 94.02%而不虚报的前提边界模块的真实运行时行为由对应条件化门承担CPU 可测决策逻辑则由强制通道兜底。八个交付增量逐项展开的实现事实最终报告用一张表记录了 Gate 3 的 8 个规范提交前 7 个在 .aiwg/testing/master-test-plan.md 中有更详细的描述项规范提交交付内容与受保护行为1256c39ea6a492749a4db44146830e9d78fd3fed8采用量化 Gate 3 策略、时长预算与初始测量22c2b38b501f94af46ffac3a772f7bf9475154dc5新增独立数值、属性与蜕变 oraclePR #1023c1b34503ddd3cb797e5d70671c47afcabfe73832新增 loader、架构、dtype、量化与共享权重决策契约PR #1034d7d2ad566af778b1d315616bbea8b8a3c4dd2191新增检查点故障注入、原子性、重试、清理、并发与 Windows 契约PR #1045aa182cc44883890c019c393f17602e2e2702e7d7新增 BESTIARY、模型客户端、传输与 watchtower 状态契约PR #10569683e0be4d892e6a6a134b45a065e591e139da3c新增锦标赛、交互式与 UI 决策缝契约PR #1087b961623513a0e137b959f608ce31511d59e85888新增微型模型垂直切片与安全的量化/权重绑定恢复语义PR #109842b30f7e5b8ee596b3b0b039b10af16f01deec1e新增条件化证据治理、过期声明豁免与功能性同版本 CUDA Torch 覆盖层PR #111逐项展开关键细节第 1 项策略采纳.aiwg/testing/test-execution-report.md 显示其将变更行底线从 90% 提升到 95%且 95% 被设为不可变immutable值只有满足已评审、关联 issue、限时的阈值例外契约才能调整同时新增 JUnit 归一化保留套件墙钟时间、每个测试用例时长、已注册的测试层 marker 与 marker 聚合。第 2 项数值 oracle围绕投影幂等性、正交性、范数界、排列与标签不变性、dtype/容差行为、奇异与非有限输入、确定性种子与序列化稳定性添加属性与蜕变测试并用独立参考计算断言小张量而非断言生产辅助函数自身的中间值。对应测试见 tests/test_projection_math_contracts.py、tests/test_property_contracts.py、tests/test_whitened_svd_oracles.py。第 4 项破坏性操作可靠性覆盖部分写入、fsync/replace 失败、损坏或截断检查点、每个状态转换处的取消、清理失败、幂等重试、并发写入者与保存/重载不变量对应 tests/test_checkpoint_atomicity.py、tests/test_persistence_contracts.py、tests/test_persistence_pipeline.py。第 7 项微型模型垂直切片将已安装的微型模型切片扩展贯穿模型变异、范数恢复、检查点往返、评估与报告生成并加入整数/量化存储语义、绑定/共享权重、不支持的布局与显式数值损失预期精确的 Float 转整数恢复回归58/58 变更行覆盖是本项亮点。第 8 项条件化证据治理详见下一节是最终报告最核心的机制创新。另外AIWG 工作区与 CI 契约在e8ac3b65670d696ed5b68f06adf14706bc2ff865PR #107被刷新与对账部署的 AIWG 版本为 2026.8.11生成式 provider 上下文通过 .aiwg/aiwg.config 路由 tracker 与交付权威。证据完整性与声明边界豁免如何失效即关闭这是最终报告中技术上最有价值的部分也是 .aiwg/testing/gate3-increment-8-report.md 详细展开的主题。核心机制可以概括为 6 条契约每个不可用条件化通道都必须有一个版本化豁免命名其门、规范 issue、原因、开放日期、过期日期以及被阻断的确切声明。豁免最长 30 天。缺失字段、非对象记录、重复门、未知门、仅软件的门、无效 issue URL、无效或未来日期、日期颠倒、生命周期过长与已过期记录都会使策略校验失败——校验实现见 scripts/check_quality_policy.py 中的日期与字段检查逻辑以及 tests/test_conditional_gate_scripts.py 中的waived_no_support_claim与not_selected_no_fresh_evidence状态断言。未被选择但处于活动豁免的门被输出为waived_no_support_claim带 tracker、过期时间与被阻断声明未豁免的未选择门保持not_selected_no_fresh_evidence。选择并成功执行一个被豁免的门会产生success从而用真实证据取代豁免被选择失败依然是失败包括共享的 CUDA/bitsandbytes 作业失败。过期或畸形豁免也会使最终摘要失败防止陈旧的记录在策略作业之后变成静默的绿色结果。强制性 Linux CI 保持纯 CPU。被选择的 CUDA 通道从锁定的 CPU Torch 包推导出精确的基线版本仅用相同版本的官方cu130构建替换 Torch断言结果构建暴露 CUDA并在硬件探针之前运行uv pip check。第 8 项报告中还给出了具体的环境核查事实gh variable list与gh secret list在 2026-08-16 均无已配置条目runner 清单接口因 token 缺少仓库 runner 读取权限返回 HTTP 403实况只读检查确认 Titan 拥有 RTX 4090 与活动的 Gitea runnerMutsu 是 16 GB Apple M4 构建机两者都没有暴露 GitHub Actions runner 进程——因此豁免覆盖的是GitHub runner 注册与计划自动化而非硬件缺失。ci/conditional-test-policy.json 中保留了这 5 个活动豁免cuda-runtime、bitsandbytes-runtime、mps-runtime、mlx-runtime、remote-execution每个都有issue统一指向 issue #110、opened2026-08-16、expires2026-09-15与blocked_claim例如 CUDA runtime support, compatibility, correctness, and performance are not claimed while this waiver is active.。过期日期的选择正是 30 天上限的直接体现。操作员探针operator probe的方法学Titan 与 Mutsu 的硬件探针使用了高度受控的方法报告逐条列出以限定其声明边界隔离的临时目录校验和验证的 uv 0.12.4 二进制受管的 Python 3.12.13 运行时精确的签名源码归档与已提交的依赖锁证据取回后移除临时远程目录。最终报告中特别强调这些探针只建立被记录的操作。它们不会取代计划的 GitHub 通道也不会创造广泛的加速器支持、兼容性、正确性或性能声明。这是条件化证据与支持声明之间的关键区分探针证明此刻在这台机器上这些操作可执行而非该环境被官方支持。证据位置与 SHA-256 锚点最终报告给出三类证据位置供审计者精确重放规范 CI 与条件化运行规范强制性运行 31952112615八个强制性作业首轮全部通过、精确头部条件化运行 31950226930、规范条件化运行 31952128889本地下载的工件/tmp/obliteratus-item8-final-head-eJ79m7精确头部条件化工件、/tmp/obliteratus-item8-quality-au2hsV精确头部质量工件、/tmp/obliteratus-item8-canonical-b7MJu4规范 CI 与条件化工件、/tmp/obliteratus-item8-hardware-evidence-GqqBSm硬件 JSON/JUnit 证据逐增量报告.aiwg/testing/gate3-increment-2-report.md至.aiwg/testing/gate3-increment-8-report.md其中增量 8 的详情见 .aiwg/testing/gate3-increment-8-report.md。规范 SHA-256 锚点用于防篡改校验内容SHA-256变异统计143c42b579c91f5dc6d1d82fd74d10c0295056dd913986da178eb22b4e491275质量趋势11038dbd3f27c152cf057a3ae806a845cefab8dec9b55fbd26b5fe94c4cf21bbPython 3.12 覆盖率3b69fe70763b0c8fc82875a4bc9febca203a7b4c384be4605c7d1746ae0ab230条件化摘要bc72408d88b4d2c480ebfaeae958a4ad0db0d13790adaa1ac52aee1f92e48671同时第 8 项报告记录了签名事实所有 8 个 item-8 提交均签名且验证通过发布密钥指纹为62297562B1C7053088F405DB0117DAAA677A5BF2PR #111 在main上保留了四个发布密钥签名。发布决策测试深度暂停的解除条件最终报告的结论部分给出了清晰的决策逻辑被测量的规范提交满足每一项量化 Gate 3 准则CPU、覆盖率、变异、可重复性、可移植性、交付与新鲜软件条件化证据没有活动的波动测试隔离flaky quarantine也没有任何被选择的门通过跳过或重试转为绿色——这排除了用重试掩盖失败的常见漏洞与 .aiwg/testing/master-test-plan.md 中失败的必选活动不得通过重试转为绿色的规则一致剩余的加速器与远程缺口是可见的、有归属的、过期的、阻断声明的claim-blocking而非被静默当作支持证据在完成本报告项item 9报告专用提交的精确头部审计、强制性 CI、签名集成与合并后对账之后测试深度暂停可以结束贡献者合并列车可以一次一个不可变 PR 头部恢复。值得注意的是报告期为 2026-08-16而豁免截止 2026-09-15当前环境时间 2026-09-15 恰好是豁免到期日。到期前维护者必须二选一配置并运行匹配的门或在 tracker 下评审并替换豁免——这正是第 8 项契约设计的目的防止豁免无限期沉默续期。从报告反推可复用的测试质量门设计要点综合 .aiwg/testing/gate3-final-report.md 与其支撑文件可以把这套体系提炼为可迁移的设计清单量化门限要分层仓库级底线宽松与门退出指标严格分离策略 JSONci/test-quality-policy.json是单一事实源脚本scripts/check_quality_policy.py与 CI 共同执行覆盖率要有成熟作用域明确列出因运行时本质而排除的模块并为每个排除项指派条件化门ci/conditional-test-policy.json避免为覆盖率而 mock 掉被测行为变异测试要有范围与底线85% 的聚合底线不允许把新增/变更的纯契约逻辑留弱规格每个增量需报告被杀死的变异体与检测到的缺陷环境缺口要显式豁免豁免必须带门、issue、开放/过期日期与被阻断声明最长 30 天畸形或过期即整体失败绝不静默降级证据要可重放精确提交哈希 依赖锁 SHA-256 锚点 独立报告文件如 .aiwg/testing/coverage-report.md、.aiwg/testing/regression-report.md、.aiwg/testing/test-execution-report.md让审计者不需要信任报告者的转述发布决策要留后门即使全部量化准则通过剩余缺口也要可见、有归属、过期、阻断声明并明确解除暂停的具体条件精确头部审计 签名集成 合并后对账。这套方法论的完整上下文还可以在 .aiwg/gates/test-quality-gate.mdGate 1 决策记录与 .aiwg/requirements/UC-testing-quality-program.md、.aiwg/risks/risks-testing-quality-program.md、.aiwg/security/screening-testing-quality-program.md 等支撑文档中找到它们共同构成了 OBLITERATUS 从功能性正确走向可证明质量的完整证据链。【免费下载链接】OBLITERATUSOBLITERATE THE CHAINS THAT BIND YOU项目地址: https://gitcode.com/GitHub_Trending/ob/OBLITERATUS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考