简介基于深度学习的视觉问答系统毕业设计资料包面向计算机相关专业准备毕设、期末大作业或课程设计的学生提供可直接运行的VQA项目。资源共69个文件压缩包约2.38MB以33个Python源码为主涵盖数据预处理、训练、预测等流程另含17个训练日志、12个pyc缓存、答辩PPT及README文档结构与模块清晰。内容包含MFH、CSF等多模态融合模型实现集成ResNet/VGG图像特征提取与问题解析模块并配有测试脚本和部署说明代码注释较完整便于新手理解与二次开发。已有121人学习下载适合需要快速搭建完整项目以支撑答辩展示的开发者。1. 视觉问答为什么总在“最后一步”翻车验收 demo 的前一晚最常见的翻车现场问题问 what color is the banana图像里明明是一根黄香蕉模型却回答 banana。代码能跑loss 在降整体精度卡在 55% 上不去。问题不在某个库的调用而在整个 VQA 的建模选择。视觉问答Visual Question Answering的任务是同时输入一张图和一句自然语言问题输出一个离散答案。用 Python 写实现、用 PyTorch 搭模型是因为数据加载、预训练权重、可视化工具三条线都有现成轮子真正的难点是两个模态如何对齐而不是模型规模。这套题的难度位置刚好数据集公开评价指标唯一基线可复现因此特别适合毕业设计。把任务定义、数据裁剪、融合方式、训练策略四件事做对就能得到一个能演示、能写文档、能讲清改进点的完整项目。下面按数据、模型、训练、答辩验证的顺序展开给到的都是能直接改能跑通的最小版本重点放在参数和踩坑上。2. 视觉问答任务拆解先分清“要什么答案”这是给问题建模的第一步VQA 不是生成式任务不要上来就写 decoder。2.1 输入输出边界为什么视觉问答不是“看图说话”一张图、一句问题模型输出一个答案。这个答案不是自由文本而是从固定词表里挑一个。这一点决定了模型输出层只能是num_classes的 softmax而不是像图像描述那样做序列生成。如果把 VQA 当成 caption 任务处理训练时要额外维护 decoder 和 beam search收敛更慢而且答案的拼写错误会被当成独立类别词表膨胀后精度反而下降。常见做法是直接把它定义为判别式分类问题里的 what color、where、how many 这类类型信息不需要显式建模让文本编码器自己学就好。另一个容易混淆的点是“开放域”VQA 的问题形式开放但答案空间是闭合的。训练时每个问题带有 10 个人类答案这 10 份答案可能彼此不同比如问颜色10 个人里 7 个答 yellow、3 个答 bananas。所以损失函数要考虑多标注的不一致性不能简单用单标签 hard target。2.2 数据准备从 VQA 数据集中裁剪答案词表VQA v2 的 train 和 val 各有约 44 万和 21 万道问题每道问题对应一张 COCO 图像和 10 个人类答案。原始答案五花八门直接全量做分类会得到上万类大部分类别只出现一两次模型学不到任何东西。我一般会按以下流程构建词表先做答案归一化再统计频率最后按最低出现次数裁剪。代码如下直接用 Python 跑import re from collections import Counter def normalize_answer(s: str) - str: s s.lower().strip() s re.sub(r\b(a|an|the)\b, , s) # 去掉冠词 s re.sub(r[^a-z0-9\s], , s) # 去掉标点 s re.sub(r\s, , s).strip() return s def build_vocab(anns, min_freq9): counter Counter() for ann in anns: answers ann[answers] # 10 个人类答案 for a in answers: counter[normalize_answer(a[answer])] 1 vocab [w for w, c in counter.items() if c min_freq] word2idx {pad: 0, unk: 1} for w in vocab: word2idx[w] len(word2idx) return word2idx, countermin_freq9是最关键的超参数只保留至少 9 个人写过的答案最终词表约 3000 类直接决定分类头维度。频率阈值如果降到 8类别可能多出几千个尾部噪声验证精度反而下降。词表构建完要存成 json 文件训练和推理共用同一份否则评估时答案 ID 对不上。2.3 评价指标VQA Accuracy 的“10人投票”逻辑VQA 官方指标不是普通准确率而是按“多少人认同”来记分。设模型输出的答案在 10 个人类标注中出现了c次最终得分为min(c/3, 1)。也就是说只要模型答案被 3 个标注者认可就拿满分。模型答案被几位标注者认同得分0 人01 人1/32 人2/33 人及以上1这个指标直接影响了训练目标模型需要迎合多数人的直觉而不是寻找唯一正确答案。训练时如果只挑 10 个答案里最常见的一个做 hard label遇到标注分歧大的问题会出现震荡更好的做法是用 10 个答案的频率做软标签让损失函数对“yellow 和 bananas 都可能对”这种情况更宽容。评估代码也要按同样逻辑写常见错误是直接用argmax(pred) hard_label算准确率那样结果会比官方低 10 个点左右答辩时会被质疑实验口径。3. 用 PythonPyTorch 搭建双流编码融合 baseline3.1 单流还是双流毕设 baseline 的选型依据VQA 的深度学习方法大体分两派。单流模型把图像区域特征和文本 token 拼成一个序列一起送进 Transformer典型代表是 ViLT、LXMERT效果好但显存占用大、微调时间长对毕设项目来说往往得不偿失。双流模型则让图像和文本各自经过独立编码器最后在融合层交互。它的显存优势非常明显图像特征可以在训练前用 ResNet 一次性提取好存成.npy文件训练时 DataLoader 直接读特征PyTorch 计算图里不再走 CNN12G 显存跑 batch size 64 很轻松。双流还有个隐性的好处是方便做消融实验。答辩 PPT 里“我改了什么带来了提升”这类问题双流架构能严格控制变量换文本编码器、换融合方式彼此互不影响。3.2 图像编码与文本编码的最小实现图像特征用 torchvision 里预训练的 ResNet101去掉最后的分类层取平均池化后的 2048 维向量提前存盘。下图是文本编码器的核心实现用双向 LSTM 做编码便于自己控制每一层import torch import torch.nn as nn class TextEncoder(nn.Module): def __init__(self, vocab_size, embed_dim300, hidden512): super().__init__() self.embed nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden, batch_firstTrue, bidirectionalTrue) def forward(self, qid): # qid: (batch, seq_len) emb self.embed(qid) # (B, L, 300) out, _ self.lstm(emb) # (B, L, 1024) mask (qid ! 0).unsqueeze(-1).float() # (B, L, 1) return (out * mask).sum(dim1) / mask.sum(dim1) # (B, 1024)padding_idx0必须设置否则pad的 embedding 也会更新等于给无效位置引入了噪声。这里文本向量用 mask 加权平均而不是直接mean(dim1)是因为每个问题长度不同短问题不能被 pad 稀释。如果想换成预训练 BERT直接替换 forward 里的last_hidden_state取[CLS]向量即可但要注意学习率必须从 1e-3 降到 5e-5 以下否则预训练权重很快被破坏。LSTM 版本虽然绝对精度低 2% 左右但训练稳定、显存友好作为毕设基线更合适。3.3 融合层与分类头维度对齐比结构创新更重要双流模型里图像特征是 2048 维文本特征是 1024 维不能直接相乘拼接了事。常见做法是先各自投影到同一维度再做逐元素乘最后过 MLPclass MultimodalFusion(nn.Module): def __init__(self, img_dim2048, txt_dim1024, hidden1024, num_answers3000): super().__init__() self.proj_img nn.Linear(img_dim, hidden) self.proj_txt nn.Linear(txt_dim, hidden) self.classifier nn.Sequential( nn.Linear(hidden, hidden), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden, num_answers), ) def forward(self, img_feat, txt_feat): i self.proj_img(img_feat) # (B, 1024) t self.proj_txt(txt_feat) # (B, 1024) fused i * t # 逐元素乘模拟低秩双线性交互 return self.classifier(fused)这里用逐元素乘而不是拼接是从 VQA 1.0 baseline 被验证过的选择答案往往由“对象”和“属性”联合决定逐元素乘相当于让两个模态的特征逐维度互相门控拼接后全靠全连接层自己去发现交叉特征数据量不足时更容易过拟合。如果要做注意力融合可以在fused i * t之前用文本向量做 query、图像区域特征做 key/value得到注意力加权后的视觉特征。这个改进在论文里很好讲故事代码也只需多写一个torch.matmul(q, k.transpose(-2,-1))。维度对齐是这一步最容易出错的地方建议在 forward 里加一行 shape 断言省得训练到一半才发现维度错误。4. 训练视觉问答模型的调参与排错4.1 训练循环和损失函数选择训练循环本身不复杂重点是损失函数和梯度处理。标注不一致的问题前面提过CrossEntropy 打开label_smoothing就能缓解criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-5) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max15) for epoch in range(15): model.train() for img_feat, qid, target in loader: optimizer.zero_grad() logits model(img_feat, qid) # (B, num_answers) loss criterion(logits, target) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step()clip_grad_norm_是 LSTM 文本编码器的必需品双向 LSTM 在长句上很容易梯度爆炸不裁剪的话 loss 会突然变成 nan。label_smoothing0.1把 one-hot 目标向均匀分布拉一点给标注分歧留出容错空间比手工把 10 个答案做成软标签省事效果接近。验证时记得去掉label_smoothing的影响直接对 logits 取argmax后用 2.3 节的投票逻辑算分用 soft target 算验证分数会虚高。4.2 影响收敛的超参数速查表超参数推荐取值主要影响batch_size64显存约 6-8G过小导致 BN 统计不稳定learning_rate1e-3LSTM/ 5e-5BERT学习率过高文本特征直接崩坏label_smoothing0.1缓解 10 人标注分歧dropout编码器 0.1分类头 0.3防过拟合的重点位置在分类头hidden_dim512双向后输出 1024足够表达问题语义min_freq9控制答案词表约 3000 类epochs15-20配合 CosineAnnealing 和早停weight_decay1e-5主要约束融合层列表里最容易出错的是学习率。很多毕设代码直接把单模态分类的 1e-3 套到整个网络上训练几个 epoch 后文本准确率上升、图像特征却退化成噪声。换用预训练 BERT 时这个矛盾更明显主干必须冻结或用极低学习率只有融合层和分类头用 1e-3。4.3 三个必查的报错和误用第一个是维度对不上。融合层要求图像特征(B, C)、文本特征(B, D)但很多人从 DataLoader 里拿到的图像特征是(B, 1, 2048)或(B, 2048, 1)直接相乘会广播出错误张量。建议在融合层 forward 第一行写 shape 断言几秒钟就能定位问题。第二个是预测永远集中在unk或高频答案上。这通常是训练和评估的normalize_answer实现不一致比如训练时把10和ten都归一化成ten评估时却用了另一个版本。我的做法是把normalize_answer单独放一个模块训练、验证、测试共用一个函数。第三个是验证精度远低于训练精度甚至验证时答案全错。十有八九是忘了model.eval()和torch.no_grad()Dropout 和 BN 在推理时行为不同其次是评估时用了softmax后 argmax 而不是 logits 直接 argmax两者结果一样但也说明代码路径混乱。把这些坑排掉之后baseline 基本都能稳定收敛到 58% 以上的 VQA Accuracy。5. 答辩前把模型变成可讲的故事可视化与消融5.1 画出模型“看哪里”Grad-CAM 三行代码答辩 PPT 里放训练曲线没太大说服力放“问题 原图 注意力热力图”的组合最直观。如果图像特征保留了空间维度比如 ResNet 最后输出(1, 2048, 7, 7)可以用 Grad-CAM 看模型预测某个答案时关注了图像哪个区域def grad_cam(feature_map, logits, class_idx): feat feature_map.requires_grad_(True) grad torch.autograd.grad(logits[0, class_idx], feat)[0] weights grad.mean(dim(2, 3), keepdimTrue) cam torch.relu((weights * feat).sum(dim1, keepdimTrue)) return cam.squeeze().cpu().numpy()这段代码只对图像特征求梯度不回传文本编码器速度很快。class_idx用模型预测答案的 ID得到 7×7 的热力图后用 OpenCV resize 到原图尺寸叠加。注意requires_grad_(True)要在求梯度之前设置否则torch.autograd.grad会报“element 0 of tensors does not require grad”这是新手最常见的一个报错。5.2 用消融表回答“你的创新点在哪”答辩最怕被问“这些模块都是现成的你的工作在哪”。提前跑一张消融表就能应对。我一般会做三组对比融合方式换拼接、文本编码器从随机初始化换成 GloVe、图像特征从平均池化换成空间注意力。每行填入自己实测的 VQA Accuracy比如完整模型 62.1、拼接融合 60.4、随机词向量 59.8。差值就是改进点的量化证据比列十页原理都管用。5.3 让源码和文档可以一键复现最后整理工程时把环境锁死在 requirements.txt入口命令统一评审老师拿到代码能直接跑印象分会高不少。常见做法是三个脚本preprocess.py负责构建词表和提取图像特征train.py负责训练evaluate.py负责复现指标。启动方式就三行pip install -r requirements.txt python preprocess.py --data_dir ./data --min_freq 9 python train.py --epochs 15 --lr 1e-3启动前固定随机种子random.seed(42)和torch.manual_seed(42)都要写否则每次跑出来的结果不一样答辩被追问实验重复性时很难交代。词表文件、图像特征缓存和最终权重建议输出到一个artifacts/目录方便答辩后继续迭代。本文还有配套的精品资源点击获取