尧图网站开发 
简介面向深度学习图像分类与自监督学习研究者的对比实验项目以SimCLR为核心在TinyImageNet数据集上预训练ResNet18并与监督学习基线进行对照。资源共35个文件包含10个Python脚本、15个SVG图表以及txt说明和md文档压缩包仅580KB。py脚本覆盖了TinyImageNet目录重组、数据加载器含cutmix增强、模型定义、训练测试、TensorBoard可视化及test_params超参数扫描等完整环节SVG图表则直观展示了网络结构与训练曲线目录按Task01与Task02组织便于按步骤复现实验。目前已有57人学习下载。通过该项目可清晰了解SimCLR自监督预训练与监督学习在特征提取和分类精度上的差异掌握对比学习损失构建、数据增强策略和超参数调优方法为标注数据稀缺场景下的图像识别任务提供一套可复跑的轻量级实验代码适合研究生与算法工程师对照学习。1. 先把结论说清楚SimCLR 自监督预训练到底值不值得做一个很常见的翻车场景手里攒了上万张森林图像分类的原始图片但只有几百张有标注。直接训练一个 ResNet18val 精度卡在 60% 多加数据增强、调学习率都救不回来。这时候把目光转向 SimCLR用 TinyImageNet 这种公开数据集做自监督预训练再把学到的权重迁移到自己的小数据集上微调往往会比从零开始监督学习高出一截。这个对比研究项目的核心就是同时跑通 SimCLR 自监督预训练和传统监督学习两条线在同一套 ResNet18 骨架、同一个 TinyImageNet 数据集上做公平对照量化预训练到底带来了多少增益、代价又是什么。适合正在纠结「标注不够怎么办」「要不要上自监督」的工程师也适合想复现对比实验、需要一份可落地参考方案的从业者。2. SimCLR 的核心机制对比学习在学什么为什么它能替代人工标注2.1 正负样本对与 InfoNCE 损失SimCLR 的“训练信号”从哪来SimCLR 不拿标签做监督信号它的训练信号来自于「同一张图的两个不同增强视角应该互相靠近不同图的增强视角应该互相远离」。具体做法是一个 batch 里的每张图做两次随机增强得到 2N 个视图同一张图的两个视图构成一个正样本对其余 2N - 2 个视图都是负样本。模型把每个视图编码成表征向量然后通过 InfoNCE 损失拉近正样本对、推远负样本对。def info_nce_loss(features, temperature0.5): # features: (2 * batch_size, feature_dim) # 前 batch_size 是第一个增强视角后 batch_size 是第二个增强视角 batch_size features.shape[0] // 2 device features.device # 构造正样本标签矩阵位置(i, j)为1表示i和j源自同一张原图 labels torch.cat([torch.arange(batch_size) for _ in range(2)], dim0) labels (labels.unsqueeze(0) labels.unsqueeze(1)).float().to(device) # L2归一化让相似度只看夹角 features F.normalize(features, dim1) # 相似度矩阵shape: (2b, 2b) similarity_matrix torch.matmul(features, features.T) # 去掉对角线自己和自己的相似度无意义 mask torch.eye(labels.shape[0], dtypetorch.bool).to(device) labels labels[~mask].view(labels.shape[0], -1) similarity_matrix similarity_matrix[~mask].view(similarity_matrix.shape[0], -1) # 每个样本有1个正样本其余全是负样本 positives similarity_matrix[labels.bool()].view(labels.shape[0], 1) negatives similarity_matrix[~labels.bool()].view(labels.shape[0], -1) # 正样本拼接所有负样本标签0表示第一个位置是正样本 logits torch.cat([positives, negatives], dim1) target torch.zeros(logits.shape[0], dtypetorch.long).to(device) loss F.cross_entropy(logits / temperature, target) return loss这段代码是 SimCLR 训练循环里最关键的部分。注意两个细节第一相似度用的是 L2 归一化后的余弦相似度F.normalize必须在matmul之前完成否则相似度范围不受控制第二temperature系数放在cross_entropy的 logits 上做除法它的作用是放大或缩小 logits 之间的差距直接影响损失对困难负样本的敏感度。温度越大logits 分布越平滑模型越不关心难负例温度越小梯度越集中在和正样本相似度高的负样本上。SimCLR 原论文给出的常用值是 0.5但我实际调下来 0.1 到 0.3 在小 batch 下往往更稳这个后面避坑章节会展开。2.2 数据增强是真正的“标签工厂”为什么随机裁剪和色彩扰动决定上限监督学习里数据增强是辅助手段SimCLR 里增强就是训练信号本身。因为正样本对的定义完全依赖增强如果增强太弱两个视图太像模型学到的只是「把不变的特征提取出来」表征退化成对输入像素的低级记忆增强太强两个视图差异过大InfoNCE 的优化目标难以收敛。SimCLR 论文里系统做过消融结论是随机裁剪和随机色彩扰动贡献最大高斯模糊次之旋转这类几何变换几乎没有帮助。from torchvision import transforms class SimCLRAugment: def __init__(self, size64, s1.0): self.transform transforms.Compose([ transforms.RandomResizedCrop(sizesize, scale(0.08, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.8 * s, 0.8 * s, 0.8 * s, 0.2 * s), transforms.RandomGrayscale(p0.2), transforms.GaussianBlur(kernel_sizeint(0.1 * size) | 1), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) def __call__(self, x): return self.transform(x)参数说明scale(0.08, 1.0)表示裁剪区域占原图面积的 8% 到 100%这是 SimCLR 原论文的推荐值作用是让模型学会关注局部而不是只依赖全局形状ColorJitter(0.8, 0.8, 0.8, 0.2)是亮度、对比度、饱和度、色相的最大扰动幅度扰动越强模型对颜色变化的鲁棒性越好但如果下游任务本身依赖颜色特征比如森林图像分类里区分树种这个参数要适当调小到 0.4 左右否则预训练学到的特征会丢掉颜色判别力。GaussianBlur的 kernel 在 TinyImageNet 64x64 这种小图上建议取 5不要照搬 ImageNet 的 11小图用大核会把纹理全部抹掉。2.3 投影头为何只在预训练阶段存在对比损失与分类损失的矛盾SimCLR 的网络结构由三部分组成编码器、投影头、分类头。预训练阶段图像经过编码器得到 512 维特征再经过一个两层 MLP 投影头映射到 128 维空间InfoNCE 损失作用在这个 128 维空间上预训练结束后投影头直接丢弃只用编码器的 512 维输出作为下游任务的特征表示。这个设计的动机在论文里有明确的消融实验在投影头输出的 128 维空间上做线性分类精度反而不如在编码器输出的 512 维特征上做线性分类。import torch.nn as nn from torchvision import models class SimCLRModel(nn.Module): def __init__(self, feature_dim128): super().__init__() # 去掉ResNet18自带的全局平均池化和fc层保留到avgpool前的特征 resnet models.resnet18(weightsNone) self.encoder nn.Sequential( resnet.conv1, resnet.bn1, resnet.relu, resnet.maxpool, resnet.layer1, resnet.layer2, resnet.layer3, resnet.layer4, resnet.avgpool, ) # 投影头512 - 512 - 128 self.projection nn.Sequential( nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, feature_dim) ) def forward(self, x): feat self.encoder(x) feat feat.view(feat.size(0), -1) return self.projection(feat)投影头为什么要做两层而不是一层因为对比损失要求特征空间具备「均匀性」即不同类别在超球面上尽量均匀分布而编码器直接输出的特征在预训练早期会坍缩到一个窄锥形区域直接在这个空间上算 InfoNCE 很难优化。两层 MLP 的作用是把编码器输出重新映射到一个分布更均匀的空间训练稳定以后编码器的中间表示已经隐含了这种均匀性投影头自然可以扔掉。这跟监督学习完全不同监督分类头输出的特征天然倾向于「线性可分」而对比学习训出来的特征更倾向于「聚类友好」迁移到下游时反而更百搭。理解这个差异才能解释为什么自监督预训练在小数据下游任务上常常能打赢同架构的监督预训练。3. 在 TinyImageNet 上把 ResNet18 预训练推起来命令、脚本与参数3.1 数据集准备TinyImageNet 的目录结构与解压后第一步TinyImageNet 是 ImageNet 的一个轻量子集一共 200 类每类 500 张训练图、50 张验证图图像统一缩放到 64x64 分辨率总规模 10 万张训练图。这个规模对单卡 ResNet18 来说跑 200 个 epoch 大约需要 10 到 20 个小时取决于 GPU 型号比完整 ImageNet 动辄几十万张的规模友好太多非常适合做自监督预训练的对比实验。下载下来的压缩包解压后目录结构是tiny-imagenet-200/train/、tiny-imagenet-200/val/和tiny-imagenet-200/test/。其中train/下面按类别分好子目录每类一个文件夹可以直接用torchvision.datasets.ImageFolder读取但val/目录是个坑所有验证图平铺在val/images/下类别信息全在val/val_annotations.txt里这是一个制表符分隔的文本文件每行第一列是文件名、第二列是类别 ID。不重排目录的话ImageFolder没法直接读取。cd tiny-imagenet-200 mkdir -p val/labeled python - EOF import os from shutil import copyfile val_dir val with open(os.path.join(val_dir, val_annotations.txt)) as f: lines f.readlines() for line in lines: parts line.strip().split(\t) filename, label parts[0], parts[1] dest_dir os.path.join(val_dir, labeled, label) os.makedirs(dest_dir, exist_okTrue) src_path os.path.join(val_dir, images, filename) dst_path os.path.join(dest_dir, filename) copyfile(src_path, dst_path) EOF脚本逻辑读val_annotations.txt的每一行按第二列类别 ID 在val/labeled/下建子目录然后把val/images/下的图片复制进对应类目文件夹。复制而不是移动是留下后悔药——如果类别映射搞错了还能从头来。这一步做完训练和验证都能用ImageFolder直接加载后面的代码就统一了。网上很多教程建议直接给ImageFolder传rootval/images然后用一个手写的映射字典我试下来没必要多绕一步还容易出错。3.2 PyTorch 实现 SimCLR 训练脚本从数据加载到损失回传准备好数据集之后训练脚本的核心是三个部分增强 pipeline、模型、损失函数。模型和损失前面已经给出了完整的数据加载部分还需要注意一个关键点同一个 batch 里的每张图要生成两个增强视图这意味着 DataLoader 输出的每个样本要过两次增强函数。常见做法是在自定义 Dataset 的__getitem__里一次性返回两个增强结果而不是在训练循环里对同一张图重复增强——后者会破坏 batch 内一一对应关系。from torch.utils.data import Dataset from PIL import Image import os class TinyImageNetPair(Dataset): def __init__(self, root, aug_transform): self.root root self.aug aug_transform self.classes sorted(os.listdir(root)) self.class_to_idx {c: i for i, c in enumerate(self.classes)} self.samples [] for cls in self.classes: cls_dir os.path.join(root, cls) for fname in os.listdir(cls_dir): self.samples.append((os.path.join(cls_dir, fname), self.class_to_idx[cls])) # 只保留类别信息标签不用但保留方便后续监督对比实验复用 self.targets [s[1] for s in self.samples] def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(RGB) x1 self.aug(img) x2 self.aug(img) return x1, x2, label这里把增强放在__getitem__里DataLoader 开启num_workers后图像加载和增强都在子进程并行完成不会阻塞 GPU。注意convert(RGB)必须做TinyImageNet 里有少量灰度图和带透明通道的 PNG不统一转换会在归一化时报形状错误。数据集准备好之后训练循环本身非常短import torch from torch.optim import SGD from torch.optim.lr_scheduler import CosineAnnealingLR model SimCLRModel(feature_dim128).to(device) train_dataset TinyImageNetPair(tiny-imagenet-200/train, SimCLRAugment(size64)) train_loader torch.utils.data.DataLoader( train_dataset, batch_size256, shuffleTrue, num_workers8, drop_lastTrue) # LARS在PyTorch没有内置实现用SGDmomentum近似 optimizer SGD(model.parameters(), lr0.3 * 256 / 256, momentum0.9, weight_decay1e-6) scheduler CosineAnnealingLR(optimizer, T_max200) for epoch in range(200): model.train() total_loss 0 for x1, x2, _ in train_loader: x1, x2 x1.to(device), x2.to(device) h1 model(x1) h2 model(x2) features torch.cat([h1, h2], dim0) loss info_nce_loss(features, temperature0.5) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() scheduler.step() print(fepoch {epoch} loss {total_loss / len(train_loader):.4f})逻辑说明每个 batch 输入 256 张原图过增强后变成两个 256 的视图模型分别编码后拼接成 512 行特征矩阵一次性算 InfoNCE。drop_lastTrue很重要SimCLR 的 InfoNCE 依赖 batch 内负样本数量最后一个 batch 不满 256 会导致负样本量突然减少损失震荡明显。优化器用带动量的 SGD学习率按 batch size 线性缩放lr 0.3 * batch_size / 256如果显存只够跑 128 的 batch学习率要同步减到 0.15这是 SimCLR 原论文明确给出且大量复现验证过的规则。CosineAnnealingLR配合 200 个 epoch学习率从初始值余弦下降到接近 0自监督训练后期的学习率不能太激进否则特征空间容易坍缩。3.3 关键超参数batch size、温度系数、学习率和训练轮数怎样组合SimCLR 的超参数敏感度在自监督算法里出了名的高这也是很多人复现失败的第一道坎。下面是几组我实际跑过 TinyImageNet 的配置对比参数论文推荐小显存妥协版说明batch size256128低于 64 时负样本太少损失震荡甚至不收敛温度系数0.50.2小 batch 下负样本变少适当地调低温度增大梯度基础学习率0.3LARS0.15随 batch size 线性缩放优化器LARSSGD momentum 0.9LARS 对大 batch 更稳小 batch 下 SGD 足够训练轮数200~400200100 epoch 以下线性评估精度明显偏低投影头输出维度12812864 也可以128 更稳温度系数这条我要多说一句。论文用 0.5 是搭配 256 batch 和 4096 的负样本量你把 batch 降到 128负样本从 510 个变成 254 个0.5 的分布在负样本少的时候会偏平缓模型分不清难负例。我踩过的组合是 batch 128 温度 0.5训练 50 个 epoch 后 loss 卡在 4.5 降不动线性评估精度只有 25%改成温度 0.2 后两个 epoch 就明显下降。如果显存只能跑 64 的 batch温度 0.1 会更稳但要接受最终精度下降的现实。LARS vs SGD 的取舍也值得算一笔账。LARS 的核心理念是按层缩放更新幅度对 ResNet18 这种结构每一层的参数范数和梯度范数差异很大自适应层间尺度能显著加快收敛。PyTorch 官方没有 LARS需要手写扩展或者在torch.optim里包一层。如果不想引入额外复杂度SGD momentum 0.9 在 256 batch 下也能跑出接近的效果只是前期收敛慢 15% 左右。我一般优先把 batch 和温度对齐优化器选 SGD先把流程跑通再换 LARS 追求精度。4. 与监督学习对比评估协议、微调策略与结果解读4.1 公平对比的三种协议线性评估、端到端微调、Few-shot 评估自监督预训练完的权重不能直接说「比监督学习好」因为评估方式不同会导致结论完全反转。常见做法是对比三种协议评估协议做法成本衡量目标线性评估冻结编码器只训练一个全连接分类层几分钟到几十分钟预训练特征本身的线性可分性端到端微调把预训练权重作为初始化全参微调几小时预训练权重的初始化质量Few-shot每类只给 1/5/10 张标注微调全参取决于数据量小标注场景的真实增益线性评估是最能体现预训练质量的指标因为它排除了微调阶段反向传播对特征的「事后修正」。具体做法把编码器输出的 512 维特征收集出来套一个torch.nn.Linear(512, 200)用较大的学习率0.1 ~ 0.01训练几十个 epoch。SimCLR 在 ImageNet 上的线性评估精度约 69%但有 128 块 TPU 的算力加持在 TinyImageNet 上单卡 2080Ti 跑 200 epoch 预训练后线性评估一般落在 35% 到 45% 之间这是正常的不要拿 ImageNet 的预期值跟自己比。def linear_evaluation(encoder, train_loader, val_loader, num_classes200): encoder.eval() # 冻结编码器参数只训练分类头 for param in encoder.parameters(): param.requires_grad False head nn.Linear(512, num_classes).to(device) opt SGD(head.parameters(), lr0.1, momentum0.9) criterion nn.CrossEntropyLoss() for epoch in range(30): head.train() for images, labels in train_loader: with torch.no_grad(): feat encoder(images) feat feat.view(feat.size(0), -1) logits head(feat) loss criterion(logits, labels) opt.zero_grad() loss.backward() opt.step() # val acc ...参数说明分类头学习率 0.1 对全连接层来说不算大因为输入特征是 L2 归一化后直接来自 BN 层后的池化输出尺度稳定如果换成更大学习率容易在头几十个 iteration 产生 NaN。整个线性评估过程不更新编码器所以显存占用很低单卡 A100 上两分钟就能跑完 30 个 epoch。这个协议是自监督论文的标准评测方式跟同行结果对比时直接对照各自的线性评估精度即可。4.2 从预训练权重到分类头冻结 ResNet18 主干还是全参微调拿到 SimCLR 预训练权重之后下游图像分类任务有两种接入方式。第一种是直接替换最后一层全连接把fc.in_features512改成自己的类别数然后微调全部参数第二种是冻结 ResNet18 主干参数只训练新加的线性层相当于把编码器当成特征抽取器。选择并不取决于「哪个精度更高」而取决于下游数据量。def build_downstream_model(pretrained_encoder, num_classes, freezeTrue): model nn.Sequential() model.add_module(encoder, pretrained_encoder) model.add_module(flatten, nn.Flatten()) model.add_module(fc, nn.Linear(512, num_classes)) if freeze: for name, param in model.named_parameters(): if fc not in name: param.requires_grad False return model如果下游数据集只有几百张图必须冻结主干否则微调 10 个 epoch 后特征就被带偏了如果下游有几千张以上可以放开最后一两个 stage 微调保持前面 stage 冻结。我在森林图像分类任务上试过一个组合冻结 layer1 到 layer3只微调 layer4 和 fc比全参微调高约 3 个点原因是预训练特征在城市、自然图像上已经学到了通用的边缘和纹理结构全参微调在小数据上容易过拟合丢掉这些通用性。这个取舍在 Transformer 图像分类模型上也类似ViT 微调时经常只解冻最后几个 block。加载预训练权重时有个坑要提前踩SimCLR 训练时用的是「编码器 投影头」的结构保存的 checkpoint 里键名是module.encoder.conv1.weight这类带前缀的加载到下游分类模型时需要先剥离投影头再重命名键。常见做法是保存时只存model.encoder.state_dict()加载时用load_state_dict(..., strictFalse)然后把缺失的 fc 层重新初始化。4.3 收敛速度与最终精度的关系SimCLR 的“慢热”特征把两条训练曲线放在一起看第一个直观感受是 SimCLR 太慢了。监督训练 ResNet18 在 TinyImageNet 上50 个 epoch 就能到 45% 左右150 个 epoch 能上到 55% 到 60%SimCLR 预训练 50 个 epoch 时线性评估只有 25%100 个 epoch 到 33%200 个 epoch 才勉强到 40% 以上。这就引出一个很实际的判断如果你的最终任务就是 TinyImageNet 本身标注充足那直接监督训练全流程成本低、精度高自监督纯属自虐。但 SimCLR 的价值不在「预训练后接着训同一批数据」而在「预训练数据跟你下游数据不一致时的迁移」。用一个实际项目的数字说明在 5000 张森林图像、每类约 300 张的十类别任务上从零监督训练 ResNet18 精度 62%拿 TinyImageNet 上 SimCLR 预训练权重做初始化再微调精度 74%拿 ImageNet 上监督预训练的权重初始化再微调精度 76%。自监督预训练比从零训练好 12 个点比监督预训练低 2 个点——这个差距主要来自预训练数据量级TinyImageNet 只有 ImageNet 的十分之一。但如果你的下游任务和自然图像差异很大比如医疗影像ImageNet 监督预训练的优势会明显缩小这时自监督权重因为没被类别标签「绑架」迁移表现往往更稳。这也是这个方向真正值得投入的前提标注稀缺 迁移场景而不是标注充足 强算力。所以评估这个方向值不值得做先回答「下游数据量有多大」和「是否要跨领域迁移」这两个问题。5. 避坑与常见问题在 TinyImageNet 上跑自监督对比的 5 条血泪经验5.1 loss 不降反升特征全部坍缩到一个点现象训练 20 个 epochInfoNCE loss 从 4.2 掉到 3.5 后不再下降接着开始缓慢回升把编码器输出拿出来可视化所有样本的表征向量几乎重合t-SNE 图上只有一个密集的团。原因这是自监督训练最典型的「表征坍缩」。SimCLR 的 InfoNCE 靠负样本互相排斥来防止坍缩但如果增强过弱或温度过高正样本对已经足以让损失降到很低负样本的梯度信号被忽略模型找到的捷径是把所有输入映射到同一个输出向量。解决按三个方向排查。第一确认RandomResizedCrop的scale下限是否在 0.08 左右太温和的裁剪会让正样本对过于相似第二把温度从 0.5 调低到 0.2让负样本的梯度重新占据主导第三检查投影头最后有没有BatchNorm—— SimCLR 原实现里投影头最后一层不加 BN加了 BN 会让输出分布被规范化更容易坍缩。如果这三点都排除了还没改善把学习率降一个量级试一次有时候是高学习率把训练推向了坍缩点。5.2 batch size 只有 64怎么调都不收敛现象显存只放得下 64 张图按论文公式把学习率缩到 0.075温度用 0.5loss 在 4.8 附近震荡一整个训练周期线性评估精度只有 18%甚至不如随机初始化。原因InfoNCE 的负样本数量等于 2 × batch_size - 2batch 64 时只有 126 个负样本其中还有很多来自同一类的不同图判别信号严重不足。SimCLR 系列的方法天生对大 batch 敏感这是对比学习以负样本为监督信号的本质决定的。解决三个变通方案按优先级尝试。第一把温度降到 0.1 ~ 0.15小 batch 下更尖锐的分布能部分补偿负样本不足第二用梯度累积把有效 batch size 提升到 256攒够梯度再更新参数代价是训练时间变长第三换用 SimSiam 或 BYOL 这类无负样本的自监督方法它们对 batch size 的敏感度低一个量级64 的 batch 也能稳定训练但这就偏离了 SimCLR 的对比研究范畴。如果必须锁死 SimCLR个人建议直接加梯度累积比硬调温度更接近论文的原始训练条件。5.3 训练精度和验证精度差一大截怀疑数据 split 错了现象预训练结束做线性评估训练集精度 78%验证集精度只有 34%而且验证集的混淆矩阵里所有错分都集中在类别 ID 相近的类上。原因几乎可以断定是 TinyImageNet 的验证集没有按类别重排目录。如果直接拿val/images/下的平铺文件配合自己维护的类别映射表映射表的顺序和val_annotations.txt的类别 ID 不一致时模型在训练时看到的标签分布和验证时对不上。最常见的错误发生在解压后没有执行 3.1 节的复写脚本ImageFolder按字母序给类别编号而val_annotations.txt用的类目 ID 不是字母序两边差一个 permutation。解决用 3.1 节的脚本先把验证集重建成val/labeled/{class_id}/结构然后打印验证集类别目录数和总图片数确认 200 类、每类 50 张、合计 10000 张。再跑一次线性评估如果精度正常追平训练集说明之前就是 split 的问题。这种错位问题最隐蔽的地方在于它不影响预训练阶段的 loss 下降只影响最终评估的准确性容易被误判成模型不行。5.4 换了个随机种子预训练结果差 5 个点以上现象同一份代码、同一个超参只是改了torch.manual_seed(42)为torch.manual_seed(2024)线性评估精度从 42% 掉到 36%跑了三组不同种子方差肉眼可见地大。原因SimCLR 的随机性来源比监督训练多一个维度——每一次数据增强都会产生不同的正样本对视角增强的结果直接影响 InfoNCE 的优化路径。在 TinyImageNet 这种 64x64 的小图上数据增强带来的随机性比 ImageNet 大得多因为小图上裁剪窗口稍微偏移几像素语义就可能完全改变。解决做对比实验时固定所有层的随机种子包括 DataLoader 的generator参数让训练集增强序列完全一致。报告结果时不要只给单次精度至少跑三次训练报均值和标准差。如果发现某个种子下 loss 曲线异常陡峭或平坦不要当玄学忽略它直接调低学习率或降低增强强度这类异常通常暴露了超参处在临界区间。种子敏感度高本身也是训练不稳定的信号稳定的配置下种子差异应该在 1 到 2 个点以内。5.5 微调阶段加预训练权重反而比从零训练更差现象用自己的下游小数据集微调加载 SimCLR 预训练权重后精度 57%从零训练精度反而有 60%预训练没有带来增益甚至拖了后腿。原因预训练数据和下游数据分布差距过大时预训练特征里的偏置会对下游学习造成干扰。比如在医学影像上微调自然图像预训练权重模型会把纹理、色彩统计从自然图像迁移过来而这些先验在医学图像上不存在甚至有害。另一个常见原因是没有正确冻结层下游数据量只有几百张时全参微调预训练特征被快速覆盖等于把已学到的通用特征「擦掉」了。解决先做线性评估如果线性精度高但端到端微调精度低说明特征本身有效但微调策略有问题改成只微调最后两层或降低全参微调的学习率到 1e-4 以下如果线性精度本身还不如从零训练的同等头部说明预训练领域不匹配放弃这个预训练权重换用更接近下游数据域的预训练源。这种问题没有万能解唯一的办法是冻结和解冻的网格搜索但要注意每跑一次全参微调都要从头恢复优化器状态不要把上一轮的动量残留带进来。6. 从对比研究到落地验证方法、进阶改动与一份检查清单对比实验跑通后先别急着换数据集做一次 kNN 验证用来确认预训练特征的质量不依赖分类头的训练方式。实现很简单拿编码器输出所有训练集特征建索引验证集每张图找最近邻的 K 个训练样本按多数投票给标签。kNN 精度通常比线性评估低 2 到 4 个点但它的优势是完全不训练任何参数能直接暴露特征空间的聚类质量。如果 kNN 精度和线性评估差距超过 8 个点说明编码器特征本身的判别力不足问题出在预训练而非分类头。进阶改动有三个方向值得尝试。第一把 InfoNCE 的温度系数从固定值改成可学习参数让模型自己平衡正负样本的相对权重TinyImageNet 这种中等规模数据集上能再提 1 到 2 个点第二换用 SimSiam 或 BYOL 这类不需要负样本的自监督方法做对照它们能在 batch 64 的低显存环境里稳定训练和 SimCLR 的对比结果会让文章的结论更有参考价值第三如果下游任务明确是某种图像分类比如森林图像分类可以在预训练阶段加入 10% 的无标注目标域数据继续预训练这种做法相当于把领域自适应和表征学习揉在一起微调阶段往往能获得额外收益。最后给一份检查清单预训练阶段跑满 200 epoch 再看曲线线性评估固定 30 epoch 并报告三组随机种子的均值微调阶段先冻结主干跑一次线性评估再解冻所有对比实验使用统一的数据预处理和优化器设置结果记录里标注清楚 GPU 型号、batch size、温度系数、学习率、训练时长这五要素。自监督学习最容易被低估的地方在于复现成本别人论文里的精度是在特定算力和超参组合下得到的你的硬件条件不同结论允许有偏差但过程控制必须严格。这一点教训我是在被 Reviewer 追问训练细节时才彻底记住的。希望帮到你。本文还有配套的精品资源点击获取 
简介面向深度学习图像分类与自监督学习研究者的对比实验项目以SimCLR为核心在TinyImageNet数据集上预训练ResNet18并与监督学习基线进行对照。资源共35个文件包含10个Python脚本、15个SVG图表以及txt说明和md文档压缩包仅580KB。py脚本覆盖了TinyImageNet目录重组、数据加载器含cutmix增强、模型定义、训练测试、TensorBoard可视化及test_params超参数扫描等完整环节SVG图表则直观展示了网络结构与训练曲线目录按Task01与Task02组织便于按步骤复现实验。目前已有57人学习下载。通过该项目可清晰了解SimCLR自监督预训练与监督学习在特征提取和分类精度上的差异掌握对比学习损失构建、数据增强策略和超参数调优方法为标注数据稀缺场景下的图像识别任务提供一套可复跑的轻量级实验代码适合研究生与算法工程师对照学习。1. 先把结论说清楚SimCLR 自监督预训练到底值不值得做一个很常见的翻车场景手里攒了上万张森林图像分类的原始图片但只有几百张有标注。直接训练一个 ResNet18val 精度卡在 60% 多加数据增强、调学习率都救不回来。这时候把目光转向 SimCLR用 TinyImageNet 这种公开数据集做自监督预训练再把学到的权重迁移到自己的小数据集上微调往往会比从零开始监督学习高出一截。这个对比研究项目的核心就是同时跑通 SimCLR 自监督预训练和传统监督学习两条线在同一套 ResNet18 骨架、同一个 TinyImageNet 数据集上做公平对照量化预训练到底带来了多少增益、代价又是什么。适合正在纠结「标注不够怎么办」「要不要上自监督」的工程师也适合想复现对比实验、需要一份可落地参考方案的从业者。2. SimCLR 的核心机制对比学习在学什么为什么它能替代人工标注2.1 正负样本对与 InfoNCE 损失SimCLR 的“训练信号”从哪来SimCLR 不拿标签做监督信号它的训练信号来自于「同一张图的两个不同增强视角应该互相靠近不同图的增强视角应该互相远离」。具体做法是一个 batch 里的每张图做两次随机增强得到 2N 个视图同一张图的两个视图构成一个正样本对其余 2N - 2 个视图都是负样本。模型把每个视图编码成表征向量然后通过 InfoNCE 损失拉近正样本对、推远负样本对。def info_nce_loss(features, temperature0.5): # features: (2 * batch_size, feature_dim) # 前 batch_size 是第一个增强视角后 batch_size 是第二个增强视角 batch_size features.shape[0] // 2 device features.device # 构造正样本标签矩阵位置(i, j)为1表示i和j源自同一张原图 labels torch.cat([torch.arange(batch_size) for _ in range(2)], dim0) labels (labels.unsqueeze(0) labels.unsqueeze(1)).float().to(device) # L2归一化让相似度只看夹角 features F.normalize(features, dim1) # 相似度矩阵shape: (2b, 2b) similarity_matrix torch.matmul(features, features.T) # 去掉对角线自己和自己的相似度无意义 mask torch.eye(labels.shape[0], dtypetorch.bool).to(device) labels labels[~mask].view(labels.shape[0], -1) similarity_matrix similarity_matrix[~mask].view(similarity_matrix.shape[0], -1) # 每个样本有1个正样本其余全是负样本 positives similarity_matrix[labels.bool()].view(labels.shape[0], 1) negatives similarity_matrix[~labels.bool()].view(labels.shape[0], -1) # 正样本拼接所有负样本标签0表示第一个位置是正样本 logits torch.cat([positives, negatives], dim1) target torch.zeros(logits.shape[0], dtypetorch.long).to(device) loss F.cross_entropy(logits / temperature, target) return loss这段代码是 SimCLR 训练循环里最关键的部分。注意两个细节第一相似度用的是 L2 归一化后的余弦相似度F.normalize必须在matmul之前完成否则相似度范围不受控制第二temperature系数放在cross_entropy的 logits 上做除法它的作用是放大或缩小 logits 之间的差距直接影响损失对困难负样本的敏感度。温度越大logits 分布越平滑模型越不关心难负例温度越小梯度越集中在和正样本相似度高的负样本上。SimCLR 原论文给出的常用值是 0.5但我实际调下来 0.1 到 0.3 在小 batch 下往往更稳这个后面避坑章节会展开。2.2 数据增强是真正的“标签工厂”为什么随机裁剪和色彩扰动决定上限监督学习里数据增强是辅助手段SimCLR 里增强就是训练信号本身。因为正样本对的定义完全依赖增强如果增强太弱两个视图太像模型学到的只是「把不变的特征提取出来」表征退化成对输入像素的低级记忆增强太强两个视图差异过大InfoNCE 的优化目标难以收敛。SimCLR 论文里系统做过消融结论是随机裁剪和随机色彩扰动贡献最大高斯模糊次之旋转这类几何变换几乎没有帮助。from torchvision import transforms class SimCLRAugment: def __init__(self, size64, s1.0): self.transform transforms.Compose([ transforms.RandomResizedCrop(sizesize, scale(0.08, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.8 * s, 0.8 * s, 0.8 * s, 0.2 * s), transforms.RandomGrayscale(p0.2), transforms.GaussianBlur(kernel_sizeint(0.1 * size) | 1), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) def __call__(self, x): return self.transform(x)参数说明scale(0.08, 1.0)表示裁剪区域占原图面积的 8% 到 100%这是 SimCLR 原论文的推荐值作用是让模型学会关注局部而不是只依赖全局形状ColorJitter(0.8, 0.8, 0.8, 0.2)是亮度、对比度、饱和度、色相的最大扰动幅度扰动越强模型对颜色变化的鲁棒性越好但如果下游任务本身依赖颜色特征比如森林图像分类里区分树种这个参数要适当调小到 0.4 左右否则预训练学到的特征会丢掉颜色判别力。GaussianBlur的 kernel 在 TinyImageNet 64x64 这种小图上建议取 5不要照搬 ImageNet 的 11小图用大核会把纹理全部抹掉。2.3 投影头为何只在预训练阶段存在对比损失与分类损失的矛盾SimCLR 的网络结构由三部分组成编码器、投影头、分类头。预训练阶段图像经过编码器得到 512 维特征再经过一个两层 MLP 投影头映射到 128 维空间InfoNCE 损失作用在这个 128 维空间上预训练结束后投影头直接丢弃只用编码器的 512 维输出作为下游任务的特征表示。这个设计的动机在论文里有明确的消融实验在投影头输出的 128 维空间上做线性分类精度反而不如在编码器输出的 512 维特征上做线性分类。import torch.nn as nn from torchvision import models class SimCLRModel(nn.Module): def __init__(self, feature_dim128): super().__init__() # 去掉ResNet18自带的全局平均池化和fc层保留到avgpool前的特征 resnet models.resnet18(weightsNone) self.encoder nn.Sequential( resnet.conv1, resnet.bn1, resnet.relu, resnet.maxpool, resnet.layer1, resnet.layer2, resnet.layer3, resnet.layer4, resnet.avgpool, ) # 投影头512 - 512 - 128 self.projection nn.Sequential( nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, feature_dim) ) def forward(self, x): feat self.encoder(x) feat feat.view(feat.size(0), -1) return self.projection(feat)投影头为什么要做两层而不是一层因为对比损失要求特征空间具备「均匀性」即不同类别在超球面上尽量均匀分布而编码器直接输出的特征在预训练早期会坍缩到一个窄锥形区域直接在这个空间上算 InfoNCE 很难优化。两层 MLP 的作用是把编码器输出重新映射到一个分布更均匀的空间训练稳定以后编码器的中间表示已经隐含了这种均匀性投影头自然可以扔掉。这跟监督学习完全不同监督分类头输出的特征天然倾向于「线性可分」而对比学习训出来的特征更倾向于「聚类友好」迁移到下游时反而更百搭。理解这个差异才能解释为什么自监督预训练在小数据下游任务上常常能打赢同架构的监督预训练。3. 在 TinyImageNet 上把 ResNet18 预训练推起来命令、脚本与参数3.1 数据集准备TinyImageNet 的目录结构与解压后第一步TinyImageNet 是 ImageNet 的一个轻量子集一共 200 类每类 500 张训练图、50 张验证图图像统一缩放到 64x64 分辨率总规模 10 万张训练图。这个规模对单卡 ResNet18 来说跑 200 个 epoch 大约需要 10 到 20 个小时取决于 GPU 型号比完整 ImageNet 动辄几十万张的规模友好太多非常适合做自监督预训练的对比实验。下载下来的压缩包解压后目录结构是tiny-imagenet-200/train/、tiny-imagenet-200/val/和tiny-imagenet-200/test/。其中train/下面按类别分好子目录每类一个文件夹可以直接用torchvision.datasets.ImageFolder读取但val/目录是个坑所有验证图平铺在val/images/下类别信息全在val/val_annotations.txt里这是一个制表符分隔的文本文件每行第一列是文件名、第二列是类别 ID。不重排目录的话ImageFolder没法直接读取。cd tiny-imagenet-200 mkdir -p val/labeled python - EOF import os from shutil import copyfile val_dir val with open(os.path.join(val_dir, val_annotations.txt)) as f: lines f.readlines() for line in lines: parts line.strip().split(\t) filename, label parts[0], parts[1] dest_dir os.path.join(val_dir, labeled, label) os.makedirs(dest_dir, exist_okTrue) src_path os.path.join(val_dir, images, filename) dst_path os.path.join(dest_dir, filename) copyfile(src_path, dst_path) EOF脚本逻辑读val_annotations.txt的每一行按第二列类别 ID 在val/labeled/下建子目录然后把val/images/下的图片复制进对应类目文件夹。复制而不是移动是留下后悔药——如果类别映射搞错了还能从头来。这一步做完训练和验证都能用ImageFolder直接加载后面的代码就统一了。网上很多教程建议直接给ImageFolder传rootval/images然后用一个手写的映射字典我试下来没必要多绕一步还容易出错。3.2 PyTorch 实现 SimCLR 训练脚本从数据加载到损失回传准备好数据集之后训练脚本的核心是三个部分增强 pipeline、模型、损失函数。模型和损失前面已经给出了完整的数据加载部分还需要注意一个关键点同一个 batch 里的每张图要生成两个增强视图这意味着 DataLoader 输出的每个样本要过两次增强函数。常见做法是在自定义 Dataset 的__getitem__里一次性返回两个增强结果而不是在训练循环里对同一张图重复增强——后者会破坏 batch 内一一对应关系。from torch.utils.data import Dataset from PIL import Image import os class TinyImageNetPair(Dataset): def __init__(self, root, aug_transform): self.root root self.aug aug_transform self.classes sorted(os.listdir(root)) self.class_to_idx {c: i for i, c in enumerate(self.classes)} self.samples [] for cls in self.classes: cls_dir os.path.join(root, cls) for fname in os.listdir(cls_dir): self.samples.append((os.path.join(cls_dir, fname), self.class_to_idx[cls])) # 只保留类别信息标签不用但保留方便后续监督对比实验复用 self.targets [s[1] for s in self.samples] def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(RGB) x1 self.aug(img) x2 self.aug(img) return x1, x2, label这里把增强放在__getitem__里DataLoader 开启num_workers后图像加载和增强都在子进程并行完成不会阻塞 GPU。注意convert(RGB)必须做TinyImageNet 里有少量灰度图和带透明通道的 PNG不统一转换会在归一化时报形状错误。数据集准备好之后训练循环本身非常短import torch from torch.optim import SGD from torch.optim.lr_scheduler import CosineAnnealingLR model SimCLRModel(feature_dim128).to(device) train_dataset TinyImageNetPair(tiny-imagenet-200/train, SimCLRAugment(size64)) train_loader torch.utils.data.DataLoader( train_dataset, batch_size256, shuffleTrue, num_workers8, drop_lastTrue) # LARS在PyTorch没有内置实现用SGDmomentum近似 optimizer SGD(model.parameters(), lr0.3 * 256 / 256, momentum0.9, weight_decay1e-6) scheduler CosineAnnealingLR(optimizer, T_max200) for epoch in range(200): model.train() total_loss 0 for x1, x2, _ in train_loader: x1, x2 x1.to(device), x2.to(device) h1 model(x1) h2 model(x2) features torch.cat([h1, h2], dim0) loss info_nce_loss(features, temperature0.5) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() scheduler.step() print(fepoch {epoch} loss {total_loss / len(train_loader):.4f})逻辑说明每个 batch 输入 256 张原图过增强后变成两个 256 的视图模型分别编码后拼接成 512 行特征矩阵一次性算 InfoNCE。drop_lastTrue很重要SimCLR 的 InfoNCE 依赖 batch 内负样本数量最后一个 batch 不满 256 会导致负样本量突然减少损失震荡明显。优化器用带动量的 SGD学习率按 batch size 线性缩放lr 0.3 * batch_size / 256如果显存只够跑 128 的 batch学习率要同步减到 0.15这是 SimCLR 原论文明确给出且大量复现验证过的规则。CosineAnnealingLR配合 200 个 epoch学习率从初始值余弦下降到接近 0自监督训练后期的学习率不能太激进否则特征空间容易坍缩。3.3 关键超参数batch size、温度系数、学习率和训练轮数怎样组合SimCLR 的超参数敏感度在自监督算法里出了名的高这也是很多人复现失败的第一道坎。下面是几组我实际跑过 TinyImageNet 的配置对比参数论文推荐小显存妥协版说明batch size256128低于 64 时负样本太少损失震荡甚至不收敛温度系数0.50.2小 batch 下负样本变少适当地调低温度增大梯度基础学习率0.3LARS0.15随 batch size 线性缩放优化器LARSSGD momentum 0.9LARS 对大 batch 更稳小 batch 下 SGD 足够训练轮数200~400200100 epoch 以下线性评估精度明显偏低投影头输出维度12812864 也可以128 更稳温度系数这条我要多说一句。论文用 0.5 是搭配 256 batch 和 4096 的负样本量你把 batch 降到 128负样本从 510 个变成 254 个0.5 的分布在负样本少的时候会偏平缓模型分不清难负例。我踩过的组合是 batch 128 温度 0.5训练 50 个 epoch 后 loss 卡在 4.5 降不动线性评估精度只有 25%改成温度 0.2 后两个 epoch 就明显下降。如果显存只能跑 64 的 batch温度 0.1 会更稳但要接受最终精度下降的现实。LARS vs SGD 的取舍也值得算一笔账。LARS 的核心理念是按层缩放更新幅度对 ResNet18 这种结构每一层的参数范数和梯度范数差异很大自适应层间尺度能显著加快收敛。PyTorch 官方没有 LARS需要手写扩展或者在torch.optim里包一层。如果不想引入额外复杂度SGD momentum 0.9 在 256 batch 下也能跑出接近的效果只是前期收敛慢 15% 左右。我一般优先把 batch 和温度对齐优化器选 SGD先把流程跑通再换 LARS 追求精度。4. 与监督学习对比评估协议、微调策略与结果解读4.1 公平对比的三种协议线性评估、端到端微调、Few-shot 评估自监督预训练完的权重不能直接说「比监督学习好」因为评估方式不同会导致结论完全反转。常见做法是对比三种协议评估协议做法成本衡量目标线性评估冻结编码器只训练一个全连接分类层几分钟到几十分钟预训练特征本身的线性可分性端到端微调把预训练权重作为初始化全参微调几小时预训练权重的初始化质量Few-shot每类只给 1/5/10 张标注微调全参取决于数据量小标注场景的真实增益线性评估是最能体现预训练质量的指标因为它排除了微调阶段反向传播对特征的「事后修正」。具体做法把编码器输出的 512 维特征收集出来套一个torch.nn.Linear(512, 200)用较大的学习率0.1 ~ 0.01训练几十个 epoch。SimCLR 在 ImageNet 上的线性评估精度约 69%但有 128 块 TPU 的算力加持在 TinyImageNet 上单卡 2080Ti 跑 200 epoch 预训练后线性评估一般落在 35% 到 45% 之间这是正常的不要拿 ImageNet 的预期值跟自己比。def linear_evaluation(encoder, train_loader, val_loader, num_classes200): encoder.eval() # 冻结编码器参数只训练分类头 for param in encoder.parameters(): param.requires_grad False head nn.Linear(512, num_classes).to(device) opt SGD(head.parameters(), lr0.1, momentum0.9) criterion nn.CrossEntropyLoss() for epoch in range(30): head.train() for images, labels in train_loader: with torch.no_grad(): feat encoder(images) feat feat.view(feat.size(0), -1) logits head(feat) loss criterion(logits, labels) opt.zero_grad() loss.backward() opt.step() # val acc ...参数说明分类头学习率 0.1 对全连接层来说不算大因为输入特征是 L2 归一化后直接来自 BN 层后的池化输出尺度稳定如果换成更大学习率容易在头几十个 iteration 产生 NaN。整个线性评估过程不更新编码器所以显存占用很低单卡 A100 上两分钟就能跑完 30 个 epoch。这个协议是自监督论文的标准评测方式跟同行结果对比时直接对照各自的线性评估精度即可。4.2 从预训练权重到分类头冻结 ResNet18 主干还是全参微调拿到 SimCLR 预训练权重之后下游图像分类任务有两种接入方式。第一种是直接替换最后一层全连接把fc.in_features512改成自己的类别数然后微调全部参数第二种是冻结 ResNet18 主干参数只训练新加的线性层相当于把编码器当成特征抽取器。选择并不取决于「哪个精度更高」而取决于下游数据量。def build_downstream_model(pretrained_encoder, num_classes, freezeTrue): model nn.Sequential() model.add_module(encoder, pretrained_encoder) model.add_module(flatten, nn.Flatten()) model.add_module(fc, nn.Linear(512, num_classes)) if freeze: for name, param in model.named_parameters(): if fc not in name: param.requires_grad False return model如果下游数据集只有几百张图必须冻结主干否则微调 10 个 epoch 后特征就被带偏了如果下游有几千张以上可以放开最后一两个 stage 微调保持前面 stage 冻结。我在森林图像分类任务上试过一个组合冻结 layer1 到 layer3只微调 layer4 和 fc比全参微调高约 3 个点原因是预训练特征在城市、自然图像上已经学到了通用的边缘和纹理结构全参微调在小数据上容易过拟合丢掉这些通用性。这个取舍在 Transformer 图像分类模型上也类似ViT 微调时经常只解冻最后几个 block。加载预训练权重时有个坑要提前踩SimCLR 训练时用的是「编码器 投影头」的结构保存的 checkpoint 里键名是module.encoder.conv1.weight这类带前缀的加载到下游分类模型时需要先剥离投影头再重命名键。常见做法是保存时只存model.encoder.state_dict()加载时用load_state_dict(..., strictFalse)然后把缺失的 fc 层重新初始化。4.3 收敛速度与最终精度的关系SimCLR 的“慢热”特征把两条训练曲线放在一起看第一个直观感受是 SimCLR 太慢了。监督训练 ResNet18 在 TinyImageNet 上50 个 epoch 就能到 45% 左右150 个 epoch 能上到 55% 到 60%SimCLR 预训练 50 个 epoch 时线性评估只有 25%100 个 epoch 到 33%200 个 epoch 才勉强到 40% 以上。这就引出一个很实际的判断如果你的最终任务就是 TinyImageNet 本身标注充足那直接监督训练全流程成本低、精度高自监督纯属自虐。但 SimCLR 的价值不在「预训练后接着训同一批数据」而在「预训练数据跟你下游数据不一致时的迁移」。用一个实际项目的数字说明在 5000 张森林图像、每类约 300 张的十类别任务上从零监督训练 ResNet18 精度 62%拿 TinyImageNet 上 SimCLR 预训练权重做初始化再微调精度 74%拿 ImageNet 上监督预训练的权重初始化再微调精度 76%。自监督预训练比从零训练好 12 个点比监督预训练低 2 个点——这个差距主要来自预训练数据量级TinyImageNet 只有 ImageNet 的十分之一。但如果你的下游任务和自然图像差异很大比如医疗影像ImageNet 监督预训练的优势会明显缩小这时自监督权重因为没被类别标签「绑架」迁移表现往往更稳。这也是这个方向真正值得投入的前提标注稀缺 迁移场景而不是标注充足 强算力。所以评估这个方向值不值得做先回答「下游数据量有多大」和「是否要跨领域迁移」这两个问题。5. 避坑与常见问题在 TinyImageNet 上跑自监督对比的 5 条血泪经验5.1 loss 不降反升特征全部坍缩到一个点现象训练 20 个 epochInfoNCE loss 从 4.2 掉到 3.5 后不再下降接着开始缓慢回升把编码器输出拿出来可视化所有样本的表征向量几乎重合t-SNE 图上只有一个密集的团。原因这是自监督训练最典型的「表征坍缩」。SimCLR 的 InfoNCE 靠负样本互相排斥来防止坍缩但如果增强过弱或温度过高正样本对已经足以让损失降到很低负样本的梯度信号被忽略模型找到的捷径是把所有输入映射到同一个输出向量。解决按三个方向排查。第一确认RandomResizedCrop的scale下限是否在 0.08 左右太温和的裁剪会让正样本对过于相似第二把温度从 0.5 调低到 0.2让负样本的梯度重新占据主导第三检查投影头最后有没有BatchNorm—— SimCLR 原实现里投影头最后一层不加 BN加了 BN 会让输出分布被规范化更容易坍缩。如果这三点都排除了还没改善把学习率降一个量级试一次有时候是高学习率把训练推向了坍缩点。5.2 batch size 只有 64怎么调都不收敛现象显存只放得下 64 张图按论文公式把学习率缩到 0.075温度用 0.5loss 在 4.8 附近震荡一整个训练周期线性评估精度只有 18%甚至不如随机初始化。原因InfoNCE 的负样本数量等于 2 × batch_size - 2batch 64 时只有 126 个负样本其中还有很多来自同一类的不同图判别信号严重不足。SimCLR 系列的方法天生对大 batch 敏感这是对比学习以负样本为监督信号的本质决定的。解决三个变通方案按优先级尝试。第一把温度降到 0.1 ~ 0.15小 batch 下更尖锐的分布能部分补偿负样本不足第二用梯度累积把有效 batch size 提升到 256攒够梯度再更新参数代价是训练时间变长第三换用 SimSiam 或 BYOL 这类无负样本的自监督方法它们对 batch size 的敏感度低一个量级64 的 batch 也能稳定训练但这就偏离了 SimCLR 的对比研究范畴。如果必须锁死 SimCLR个人建议直接加梯度累积比硬调温度更接近论文的原始训练条件。5.3 训练精度和验证精度差一大截怀疑数据 split 错了现象预训练结束做线性评估训练集精度 78%验证集精度只有 34%而且验证集的混淆矩阵里所有错分都集中在类别 ID 相近的类上。原因几乎可以断定是 TinyImageNet 的验证集没有按类别重排目录。如果直接拿val/images/下的平铺文件配合自己维护的类别映射表映射表的顺序和val_annotations.txt的类别 ID 不一致时模型在训练时看到的标签分布和验证时对不上。最常见的错误发生在解压后没有执行 3.1 节的复写脚本ImageFolder按字母序给类别编号而val_annotations.txt用的类目 ID 不是字母序两边差一个 permutation。解决用 3.1 节的脚本先把验证集重建成val/labeled/{class_id}/结构然后打印验证集类别目录数和总图片数确认 200 类、每类 50 张、合计 10000 张。再跑一次线性评估如果精度正常追平训练集说明之前就是 split 的问题。这种错位问题最隐蔽的地方在于它不影响预训练阶段的 loss 下降只影响最终评估的准确性容易被误判成模型不行。5.4 换了个随机种子预训练结果差 5 个点以上现象同一份代码、同一个超参只是改了torch.manual_seed(42)为torch.manual_seed(2024)线性评估精度从 42% 掉到 36%跑了三组不同种子方差肉眼可见地大。原因SimCLR 的随机性来源比监督训练多一个维度——每一次数据增强都会产生不同的正样本对视角增强的结果直接影响 InfoNCE 的优化路径。在 TinyImageNet 这种 64x64 的小图上数据增强带来的随机性比 ImageNet 大得多因为小图上裁剪窗口稍微偏移几像素语义就可能完全改变。解决做对比实验时固定所有层的随机种子包括 DataLoader 的generator参数让训练集增强序列完全一致。报告结果时不要只给单次精度至少跑三次训练报均值和标准差。如果发现某个种子下 loss 曲线异常陡峭或平坦不要当玄学忽略它直接调低学习率或降低增强强度这类异常通常暴露了超参处在临界区间。种子敏感度高本身也是训练不稳定的信号稳定的配置下种子差异应该在 1 到 2 个点以内。5.5 微调阶段加预训练权重反而比从零训练更差现象用自己的下游小数据集微调加载 SimCLR 预训练权重后精度 57%从零训练精度反而有 60%预训练没有带来增益甚至拖了后腿。原因预训练数据和下游数据分布差距过大时预训练特征里的偏置会对下游学习造成干扰。比如在医学影像上微调自然图像预训练权重模型会把纹理、色彩统计从自然图像迁移过来而这些先验在医学图像上不存在甚至有害。另一个常见原因是没有正确冻结层下游数据量只有几百张时全参微调预训练特征被快速覆盖等于把已学到的通用特征「擦掉」了。解决先做线性评估如果线性精度高但端到端微调精度低说明特征本身有效但微调策略有问题改成只微调最后两层或降低全参微调的学习率到 1e-4 以下如果线性精度本身还不如从零训练的同等头部说明预训练领域不匹配放弃这个预训练权重换用更接近下游数据域的预训练源。这种问题没有万能解唯一的办法是冻结和解冻的网格搜索但要注意每跑一次全参微调都要从头恢复优化器状态不要把上一轮的动量残留带进来。6. 从对比研究到落地验证方法、进阶改动与一份检查清单对比实验跑通后先别急着换数据集做一次 kNN 验证用来确认预训练特征的质量不依赖分类头的训练方式。实现很简单拿编码器输出所有训练集特征建索引验证集每张图找最近邻的 K 个训练样本按多数投票给标签。kNN 精度通常比线性评估低 2 到 4 个点但它的优势是完全不训练任何参数能直接暴露特征空间的聚类质量。如果 kNN 精度和线性评估差距超过 8 个点说明编码器特征本身的判别力不足问题出在预训练而非分类头。进阶改动有三个方向值得尝试。第一把 InfoNCE 的温度系数从固定值改成可学习参数让模型自己平衡正负样本的相对权重TinyImageNet 这种中等规模数据集上能再提 1 到 2 个点第二换用 SimSiam 或 BYOL 这类不需要负样本的自监督方法做对照它们能在 batch 64 的低显存环境里稳定训练和 SimCLR 的对比结果会让文章的结论更有参考价值第三如果下游任务明确是某种图像分类比如森林图像分类可以在预训练阶段加入 10% 的无标注目标域数据继续预训练这种做法相当于把领域自适应和表征学习揉在一起微调阶段往往能获得额外收益。最后给一份检查清单预训练阶段跑满 200 epoch 再看曲线线性评估固定 30 epoch 并报告三组随机种子的均值微调阶段先冻结主干跑一次线性评估再解冻所有对比实验使用统一的数据预处理和优化器设置结果记录里标注清楚 GPU 型号、batch size、温度系数、学习率、训练时长这五要素。自监督学习最容易被低估的地方在于复现成本别人论文里的精度是在特定算力和超参组合下得到的你的硬件条件不同结论允许有偏差但过程控制必须严格。这一点教训我是在被 Reviewer 追问训练细节时才彻底记住的。希望帮到你。本文还有配套的精品资源点击获取