简介本资源为计算机及相关专业本科生完成的高质量毕业设计项目聚焦运动想象脑电信号MI-EEG的高精度分类任务面向人工智能、生物医学工程、自动化等方向的学生与初学者适用于课程设计、毕设参考及深度学习模型实践。项目创新性融合CNN与Transformer架构CNN模块高效提取EEG信号的局部时空特征Transformer模块建模跨通道长程依赖并集成Grad-CAM技术实现脑电地形图可视化解释显著提升模型可解释性。压缩包共31个文件23个Python核心脚本含预处理、模型定义、训练验证与可视化模块2个Excel用于权重与CAM结果分析1个README.md提供完整说明总大小18.45MB结构清晰、模块解耦支持k折交叉验证与t-SNE/AUC/箱线图等多维度评估。已有1252人学习下载代码经实测全部运行成功答辩平均分96分附带.pth模型权重与.npy数据样例开箱即用亦便于二次开发与算法改进。 做运动想象脑电解码这个毕设对我来说是一段很特别的经历。当时选题目的时候导师问我有没有兴趣试试深度学习方向的运动想象脑电分类我脑子一热就答应了。真正上手之后才发现这个题目比想象中要复杂很多但也是因为这个过程我对CNN和Transformer的理解比看十篇博文都要深。如果你也在做或者准备做类似的课题这篇复盘应该能帮你少踩不少坑。先说清楚这个项目是干什么的。运动想象Motor Imagery, MI指的是受试者在大脑中想象自己的肢体运动而不实际执行。这种想象会在大脑感觉运动皮层产生可检测的神经振荡变化典型的就是mu节律和beta节律的事件相关去同步/同步ERD/ERS。我们要做的就是把采集到的脑电信号输入到模型里让模型判断当前被试想象的是左手、右手、双脚还是舌头。这类技术在脑机接口BCI领域特别有应用价值也是很多高校毕设和竞赛的热门方向。我最终选定的技术方案就是标题里说的那套组合先用CNN提取脑电信号的局部时间和空间特征再交给Transformer编码器来建模长程依赖关系最后接一个分类头输出四个类别的概率。下面我把整个项目的思路、数据处理、模型细节、训练排坑过程完整拆开讲一遍。1. 项目背景与整体设计思路1.1 运动想象脑电解码到底难在哪很多人第一次接触运动想象分类会觉得这不就是一个信号分类问题吗先做特征提取再分类器训练套路很成熟。但真正把脑电数据打开看就会发现这个任务有三大痛点。第一是信噪比极低。头皮上采集的EEG信号幅值通常在几十微伏级别其中还混着大量的眼电、肌电、工频干扰和电极漂移。你要找的ERD/ERS特征和这些噪声比起来非常微弱。第二是个体差异巨大。不同的被试大脑形态、皮层折叠、电极定位时头型的偏差都会让特征在通道位置和频率上有明显差别。同一个模型A被试上效果好到起飞换到B被试可能直接变成随机猜。第三是样本量小。公共数据集像BCI Competition IV Dataset 2a每个被试的可用试验也就288次左右这点数据量对深度学习模型来说非常局促。传统方法比如CSP空间滤波加SVM分类器效果比较稳定但特征设计非常依赖专家经验而且对于非平稳的脑电信号泛化能力有限。深度学习兴起之后大家开始用卷积网络直接从原始时空信号里学特征效果确实比传统方法好不少。但当序列比较长或者需要跨时间段整合信息时纯CNN结构受限于感受野大小往往抓不住全局的依赖关系。1.2 为什么选CNN加Transformer的组合这里要解释一下我的模型选型逻辑。运动想象脑电信号本质上是一个多通道时间序列它的结构特征有两个层次。低层特征是局部的比如某个时间窗内C3通道和C4通道在某个频段上的功率差异高层特征则是全局的比如从运动想象开始到想象结束这种空间激活模式是怎样随时间演变的。CNN天然擅长提取第一类特征。卷积核在空间维度和时间维度上滑动可以提取局部的通道交互模式和短时波形特征而且参数共享会让模型非常高效。尤其是EEGNet里用到的深度可分离卷积先对通道做空间滤波再对时间做深度卷积这个思路非常贴合脑电信号的特点。但CNN有个天然短板就是感受野是有限的。哪怕把卷积层叠得很深想要覆盖完整的2秒时间窗也需要不小的参数量。而Transformer的自注意力机制可以直接计算任意两个时间步之间的关系无论它们距离多远。这在处理ERD/ERS的时变特征时特别有价值——运动想象过程中的频带功率变化不是静态的前半段和后半段可能有不同的时空激活模式Transformer可以自适应地捕获这些跨时间依赖。当然了也不是说单用Transformer就行。脑电样本量太小纯Transformer结构参数量大直接在原始时间序列上训练非常容易过拟合而且它没有CNN那种强大的局部模式提取能力。所以最合理的方案就是让CNN当特征提取的前端先把原始信号压缩成更高层的特征序列再喂给Transformer做全局建模。这个前后端分离的思路其实和视觉领域里ViT加CNN骨干的设计哲学是一样的。2. 数据准备与预处理全流程2.1 数据集选型与加载细节我用的数据集是BCI Competition IV的Dataset 2a这个集子几乎是运动想象深度学习论文的默认基准了。它包含9个健康受试者每个人在两个不同的日子里采集了两组session数据每组包含288个trial四类运动想象任务——左手、右手、双脚、舌头——每类72个trial。电极是22个Ag/AgCl头皮电极加上3个EOG电极采样率250Hz。为什么要选这个数据集而不是自己采集一个原因是公共基准有公认的评估协议方便和别人的结果对比另一个原因是可以把精力集中在模型设计上不用自己折腾脑电帽和实验范式。对本科毕设来说时间本来就紧用公开数据能把变量控制得更干净。数据读取我用的是MNE-Python库它可以直接读取GDF格式的数据文件然后one-hot编码标签做成PyTorch的Dataset对象。这个步骤有一点要特别注意数据文件里前三个trial通常是用于训练的但实际运行中不同session的trial顺序略有差异要对照具体的类型标签来做不要想当然地认为标签顺序完全一致。2.2 预处理环节决定了模型性能的上限很多同学喜欢一上来就调模型架构其实预处理稍有不慎后面做再多优化都白费。我的预处理管线是这样的。先做带通滤波我选择的频段是4到38Hz。为什么选这个区间运动想象相关的ERD/ERS特征主要集中在mu节律8到12Hz和beta节律16到24Hz同时低频漂移和高频肌电噪声需要被抑制掉。4到38Hz是论文里非常常见的设定既能保留主要特征又滤掉了大量无关成分。然后是伪迹去除。EOG眼电的影响在这个任务里不可忽视我在MNE里用基于EOG通道的回归法来去除方便且稳定。ICA当然也可以但运行时间长而且需要人工识别成分对于批量处理9个被试来说性价比不高。接下来是分段。每个trial在运动想象提示出现后我取0.5秒到2.5秒的时窗这正好是2秒对应500个采样点。取0.5秒之后是因为提示出现的瞬间会有视觉诱发电位这个成分和运动想象模式无关不切掉会引入额外噪声。基线校正采用提示出现前0.5秒到0秒的平均值来减去。最后是标准化。按每个通道的均值和标准差做z-score归一化。这一步必须是在训练集的统计量上进行计算然后应用到验证集和测试集否则会造成信息泄漏。2.3 数据增强与数据集划分策略标准预处理完成之后样本只有288条对于Transformer这种吃数据的结构还是太少了。我加了两个增强手段。第一个是滑动窗口切片。把每个trial的2秒数据切成长度1.5秒的窗口步长0.125秒这样每个trial可以产生多条带重叠的样本。这里要小心如果只是做单trial分类切片后的样本仍然保留同样的标签但必须保证同一个原始trial生成的样本不会同时出现在训练集和验证集里否则验证结果会虚高。第二个是增加高斯噪声和通道丢弃。高斯噪声的方差设为信号标准差的0.05倍可以让模型对小幅幅值扰动更鲁棒。通道丢弃则是随机屏蔽一定比例的通道值模拟个别电极接触不良的情况。这种增强策略在脑电这种数据上实测比MixUp更稳因为MixUp可能会把本来就很接近的类别边界弄得更模糊。数据集划分方式也很有讲究。BCI 2a本身提供了两个session通常做法是session内50组训练/50组测试或者直接用T-session训练、E-session测试。我最终采用的是推荐的做法用每个被试的第一个session做训练第二个session做测试这样能真实模拟跨天数据分布变化的情况。内部再留20%的训练数据做早停验证。3. 模型架构设计与参数选型3.1 CNN前端局部时空特征提取怎么搭我的输入张量形状是(batch_size, 22, 500)22是通道数500是时间采样点。CNN前端的设计思路是分开处理空间和时间两个维度这和EEGNet等经典结构的思路是一致的。先做一个空间卷积。这里我用的不是常规的二维卷积而是把数据当作一个一维多通道信号用Conv1d在通道维度上融合。具体来说输入是(B, 22, 500)经过一个kernel size等于1的空间卷积层输出通道设为32。这一步相当于对每个时间点做跨通道的线性加权组合可以理解成一个可学习的空间滤波器类似CSP空间滤波的做法但参数是通过训练学出来的。接下来是时间卷积。我用三层卷积第一层kernel size为25原因是脑电信号在250Hz采样率下100ms对应25个采样点一个ERP或短时振荡事件大概就发生在这个尺度。后面两层kernel size是11和7逐步缩小感受野聚焦细节。每层卷积后都跟BatchNorm和ELU激活再加一个池化层把时间维度降下来最后输出特征图的形状是(B, 64, 63)。这里有个细节值得说为什么用ELU而不是ReLU。脑电信号的特征是稀疏的有大量的近零值ReLU会让负半轴直接归零造成信息丢失ELU保留了一定的负向响应实测收敛速度更快分类准确率也略高。3.2 Transformer编码器如何把CNN特征转成序列CNN输出的(B, 64, 63)需要转换成Transformer需要的序列格式。我的做法是把时间维度的63个位置看作63个token每个token的特征维度是64。也就是说序列长度L等于63每个token的embedding维度d_model等于64。在输入Transformer之前先做一个线性投影把64维的token特征映射到128维同时加载一个可学习的位置编码。位置编码很关键因为Transformer本身没有顺序信息如果去掉位置编码模型分不清时间先后性能会明显下降。这里我选择可学习的位置编码而不是原始Transformer论文里的正弦编码因为序列长度比较短可学习编码的灵活度更高。Transformer编码器部分我用了两个编码层。每一层包含一个多头自注意力子层和一个前馈网络子层每个子层都加了残差连接和LayerNorm。多头注意力的头数设为8前馈网络的隐藏维度是512激活函数用GELU。dropout统一设为0.2。为什么要用两层而不是更多层我实际测试过把层数加到4或6层在BCI 2a这种小数据集上反而会掉点典型的过拟合表征。脑电数据不像自然语言处理那样拥有海量数据Transformer层数适中才有效。3.3 分类头设计与整体参数量分类头我选择的是全局平均池化再加全连接层。具体就是把Transformer输出的63个token在序列维度上取平均得到128维的向量然后接一个dropout和一个输出为4的线性层最后Softmax得到类别概率。全局平均池化比CLS token方案更稳。我对比过CLS token需要额外训练一个特殊的起始token在小数据集上效果波动比较大而平均池化把整个序列的信息都利用上了鲁棒性更好。整体参数量你们猜是多少大概85万左右。这个规模在深度学习模型里算很小的一个单卡GPU都能跑得很轻松。但正因为它小才更适合脑电样本量这么小的任务。模型越大就越是给过拟合留机会。3.4 关键超参数速查表我在调试过程中整理了一份核心超参数表你可以直接照着用参数设定值备注输入通道数22BCI 2a EEG通道时间采样点5002秒x250Hz空间卷积输出通道32空间特征维度时间卷积核大小25 / 11 / 7三层逐渐缩小感受野CNN输出特征维度64进入Transformer的token维度Transformer d_model128线性投影后的嵌入维度Transformer层数23层会过拟合注意力头数8每头维度16前馈网络维度512FFN隐藏层大小Dropout0.2统一dropout比例位置编码可学习序列长度63优化器AdamWlr1e-4weight decay5e-4学习率调度Cosine Annealingwarmup 5个epochBatch Size32显存小也能跑最大Epochs60配合早停4. 训练流程与实验分析4.1 训练策略与监控指标我把训练和验证过程的每个细节都记录下来这里分享几个关键点。优化器用了AdamW而不是普通的Adam原因是AdamW把权重衰减和梯度更新解耦了在小模型上正则化效果更好不容易过拟合。初始学习率1e-4配合5个epoch的线性warmup然后进入cosine annealing衰减到1e-6。warmup的作用是在训练初期让参数更新幅度别太大避免模型被不稳定的梯度带偏。评估指标主要看两个分类准确率和Cohens Kappa系数。准确率直观Kappa则考虑了类别分布均衡性。BCI 2a的四类样本是均衡的所以两者差异不大但对于不均衡数据Kappa更可靠。我加了早停机制如果验证集loss连续15个epoch没有下降就把学习率降到原来的一半再等10个epoch如果还没下降就直接停止训练。这个机制帮我省了大量时间不用每次都要跑满60个epoch。4.2 消融实验设计为了回答论文答辩时导师可能问的每个模块到底有没有用我做了一组很完整的消融实验。第一组单独CNN不接Transformer只把CNN提取的特征图做全局平均池化再接分类头。这个模型的准确率比完整模型低了3到4个百分点证明Transformer提供的全局建模能力确实有增益。第二组单独Transformer不接CNN前端直接把原始信号经过降采样后输入Transformer。结果比完整模型低了8个百分点以上而且训练过程非常不稳定经常出现验证集loss震荡。这说明没有CNN前端做局部特征提取Transformer直接在原始高维信号上建模既缺少先验结构又容易过拟合。第三组把CNN的空间卷积去掉只用时间卷积加Transformer。准确率下降大概2个百分点说明空间维度的通道特征融合是必要的。第四组把Transformer的位置编码去掉。准确率下降1.5个百分点左右说明对于这类时间序列位置信息确实有帮助。这组实验做下来我对整个架构的理解就非常通透了。论文的贡献点也顺理成章地落到了CNN提取局部时空特征加Transformer建模长程时间依赖这个组合上。4.3 结果分析与跨被试差异我的模型在9个被试上的平均准确率是83.5%平均Kappa是0.78。这个结果放在BCI 2a基准里属于中等偏上水平。同期对比的EEGNet大概在80%左右FBCSPSVM大概在75%左右所以我的模型提升还是明显的。但拆开看每个被试的结果差异很大。表现最好的被试准确率超过92%最差的被试只有69%左右。这其实是个很典型的现象BCI 2a数据集中有些被试的ERD特征非常明显而有些被试则几乎观察不到稳定的ERD模式。我一开始还很纠结以为是被试4的数据处理出了问题反复检查清洗流程。后来发现这就是脑电数据的常态。后来我加了一个跨被试的迁移实验用其他被试的数据做预训练然后用目标被试的少量数据微调效果略有提升但这属于可以继续深入的扩展方向没有纳入最终毕设主流程。5. 实操问题与排查技巧实录5.1 数据增强里的标签泄漏坑这个坑我印象最深一度让我怀疑模型设计是不是出了问题。我最初做滑窗增强之后训练集准确率涨到了99%但测试集准确率只有70%多泛化差距巨大。我一开始以为是过拟合把dropout调到0.5也没用。后来仔细检查数据生成代码才发现我在划分训练集和验证集的时候没有按原始trial分组导致同一个trial切片出的增强样本同时出现在训练集和验证集里。模型等于提前看到了验证集的内容验证loss自然低得离谱。解决办法是在Dataset类里保证同一个原始trial ID的样本要么全在训练集要么全在验证集绝对不允许交叉。这也是做任何数据增强时都要牢记的原则。5.2 Transformer训练不稳定的根因另一个让我头疼的问题是训练初期loss经常跑到NAN。排查之后发现是学习率过大加上没有warmup导致的。脑电信号的特征尺度不同通道之间差异很大虽然做了z-score标准化但模型刚初始化的时候输出波动依然剧烈。解决方法是把学习率从3e-4降到1e-4同时加上5个epoch的warmupwarmup阶段学习率从1e-6线性增加到目标值之后训练就非常稳定了。如果你也遇到训练初期发散的loss优先检查warmup和学习率而不是盲目改模型结构。5.3 过拟合问题的三层定位法Transformer模型在脑电小数据集上最容易出现的问题就是过拟合。我的定位方法是按顺序检查三个地方。第一看训练loss是否降得很低但验证loss居高不下如果是说明模型容量太大优先减少Transformer层数或缩小d_model。第二看是否只有最后几个epoch才出现验证loss上升如果是说明训练轮数太长优先加大dropout或增强早停策略。第三如果前两个都正常还是过拟合就考虑增加数据增强的强度比如提高高斯噪声方差或者增加滑窗数量。我把这三步写成了一套排查流程后续调参基本都能很快定位问题所在也推荐你遇到类似问题的时候按这个顺序来查。5.4 可复现性控制与随机种子做深度学习实验可复现性是论文答辩和后续工作的重要基础。我在项目初始化时固定了PyTorch、NumPy和Python标准库random的随机种子同时关闭了CUDNN的自动搜索模式。这样同一份代码在不同机器上跑出来的准确率差异控制在0.3个百分点以内。有一个细节很多人会忽略如果用了数据增强增强操作本身也要允许随机种子控制否则每次运行的增强结果不一样实验结果无法精确复现。我把所有随机操作封装在一个带seed参数的函数里每次实验都传入当前实验的seed值。6. 项目心得与可扩展方向整个项目做下来我最深的一个体会是在脑电这个领域模型结构创新固然重要但把数据处理细节和评估协议搞清楚才是结果的真正分水岭。我的毕设模型架构并不是原创的但它能稳定地跑出不错的效果很大程度归功于预处理、数据增强和训练策略都做得比较扎实。如果你刚开始做这个方向我的建议是先跑通一个最简单的CNN基线确保数据处理流程没有问题再加入Transformer做增量改进。不要一上来就搭大模型否则出了问题都不知道是哪个环节的锅。这个项目后续可以扩展的方向还有很多。比如引入数据域自适应方法来处理跨被试和跨session的分布偏移问题或者在Transformer注意力模块中引入频带信息让模型更有针对性地关注alpha和beta频段的变化还可以尝试对比学习预训练先用大量无标签脑电数据预训练一个特征提取器再在小样本上微调分类效果可能有明显提升。如果之后有时间我打算把迁移学习这条线继续做下去也期待能再写一篇相关的技术分享。本文还有配套的精品资源点击获取