先聊点实际的。我当年入门神经网络的时候最大的误区就是以为基础等于把数学公式推导清楚。书买了一堆《深度学习》那本花书在书架上接了半年的灰每次拿起都从泛函和概率论开始补然后在一章还没看完的情况下放弃。后来真正让我理解神经网络的反而是先写完一个能跑、能收敛的代码再回头去啃原理。所以这篇神经网络与深度学习基础我不想写成教材的压缩版而是想以过来人给自己做复盘的方式把真正该建立的知识框架、该避开的坑、以及第一次实作出一个模型时最需要的细节一次讲清楚。这篇文章适合两类人一是已经开始上课或看书但总觉得每个公式都认识连起来就不知道在干嘛的初学者二是想系统梳理一遍基础准备做实际项目的开发者。你可以把这里的内容当成一张地图——先知道整片森林长什么样再精确到某一棵树的枝干最后亲手种一棵属于自己的树。1. 入门路线先把神经网络能干什么的体感建立起来1.1 先跑起来再搞懂原理我见过太多人卡死在入门第一步原因是把顺序搞反了。神经网络和传统程序最大的不同在于写普通代码时你知道每一步在做什么而神经网络更像一个黑箱系统你定义它的结构、给它数据它自己调整内部参数来逼近目标。如果你一开始就试图理解黑箱里所有细节很容易被反向传播、梯度下降这些概念劝退。我的建议是先跑通一个现成的小项目。比如用 PyTorch 或 TensorFlow 加载官方示例里的手写数字识别模型训练几个 epoch看到测试准确率从 0.1 涨到 0.9 以上。这个过程通常只需十几分钟但它在你的大脑里建立了一个关键认知神经网络是一个通过数据驱动、自动调整参数的函数近似器。有了这个体感再回来看前向传播、反向传播你会发现每个概念都有了具体的落点。这样做的另一个好处是能提前暴露环境问题。很多人学到后面才发现自己的电脑训练一个稍大的模型要跑到天荒地老中途被迫换设备、换框架浪费大量时间。先跑通一个小项目等于提前把能不能训练这件事验证了后面学原理的心态会完全不同。1.2 环境准备一台能训练模型的电脑需要什么关于环境先说结论学基础阶段CPU 完全够用。一个几层的小型神经网络在 CPU 上训练 MNIST单 epoch 也就十几秒哪怕是 LeNet 这种经典卷积网络CPU 跑完整训练流程也就是一顿饭的功夫。所以完全不用为了学基础就花大价钱买显卡。不过一旦进入 CNN、LSTM、Transformer 这些模型的实战GPU 的价值就凸显出来了。一个在小数据集上需要跑 10 分钟的模型换 GPU 可能只需要十几秒。我的建议是分步走先用 CPU 把代码逻辑跑通确认无误后再切到 GPU 环境跑完整训练。这样既控制了成本也避免了调试一次等半小时的痛苦。如果你没有独立显卡也不用愁。现在很多云平台提供了免费或低成本的 GPU 资源比如 Colab 的免费 GPU、各类科研云的共享实例。我自己实践下来这类平台用来跑基础课程作业和中小型项目完全够用。另外系统选择上Windows、macOS、Linux 都可以但如果你后续要长期做深度学习Ubuntu 系会省去很多兼容性麻烦——很多底层库和训练工具的首选支持平台都是 Linux。Windows 上如果遇到驱动问题可以优先检查 GPU 驱动和 CUDA 版本是否匹配这个坑踩的人最多。1.3 资料选择哪些教程和书籍值得反复读市面上深度学习资料多到让人选择困难。以我自己的经验最值得当主粮的有三类。第一类是视频课程典型案例是吴恩达的《深度学习专项课程》。这套课程的优点是大局观很好把为什么用神经网络、各模型适用场景讲得很透。适合在地铁上、通勤时看建立整体框架。第二类是实践导向的书籍比如鱼书《深度学习入门基于Python的理论与实现》。这本书用极少的数学和极清晰的代码带你从零实现一个神经网络我建议把书里的代码自己敲一遍敲完之后你对前向传播、反向传播的认知会非常扎实。第三类是深度学习 Atlas 级别的经典教材《深度学习》花书这本书更适合当工具书查阅初读不必逐页啃。这里我想强调一个原则资料不在于多而在于形成输入-实践-输出闭环。很多人收藏了几十G 的资料却始终在一门课的第三讲徘徊。有效的做法是选定一个资料跟着它完成一个小项目写完一篇笔记然后才进入下一个资料。2. 三个核心机制拆解前向传播、损失函数、反向传播2.1 前向传播数据在网络里的流动路径如果把神经网络想象成一个信息加工流水线前向传播就是原料从入口流到出口的过程。每一层做的事其实就两件先做线性变换再做非线性变换。线性变换就是我们熟悉的 y wx b。其中 w 是权重矩阵决定了上一层每个神经元对下一层某个神经元的影响力b 是偏置相当于给结果加一个可学习的偏移。非线性变换则来自激活函数比如 ReLUmax(0, x)、Sigmoid、Tanh 等。为什么必须有这一步因为如果没有非线性无论网络堆多深整体依然是线性变换那和单层网络没有本质区别根本拟合不了复杂模式。用一个小例子来说明。假设输入是一个 2 维向量 x [x1, x2]第一个隐藏层有 3 个神经元那么这一层的权重 w 就是一个 3×2 的矩阵偏置 b 是一个 3 维向量。前向传播就是计算 z wx b再套上激活函数 a ReLU(z)。然后 a 作为下一层的输入继续传下去。最后一层通常不加激活函数或加 softmax用来输出预测值或类别概率分布。理解了这一步你就明白为什么神经网络能处理各种各样的输入了——图像可以拉平成向量文本可以映射成词向量表格数据可以直接作为特征向量。前向传播本身不关心数据的语义只关心矩阵维度是否匹配。这个维度匹配虽然是基础中的基础但实际操作中闹出的错误非常常见后面实战部分我会专门提到。2.2 损失函数量化错了多少的尺子有了预测输出怎么知道模型好不好这就需要损失函数。可以把它理解成一把尺子量出预测值离真实值差多远然后用这个数字指导模型调整。回归问题最常用的是均方误差MSE公式是预测值和真实值差的平方再取平均。平方的作用是放大较大误差同时让损失函数可导便于后续梯度计算。分类问题则更常用交叉熵损失。这里我想多解释一点为什么分类不用 MSE因为分类任务的输出通常是经过 softmax 的概率分布MSE 在概率输出上的梯度特性不好收敛慢而交叉熵对错误分类的惩罚力度更大梯度更陡模型学得更快。这个差异在你做大项目时感受会特别明显——用错损失函数模型可能一直停滞在一个很不理想的准确率上。交叉熵还有一个常见搭档是 softmax。Softmax 把网络最后一层的原始分值logits转换成一个概率分布所有类别概率和为 1。实际编码时PyTorch 这类框架会直接提供CrossEntropyLoss它内部已经融合了 softmax 和交叉熵不需要你手动分开做。这个设计是为了数值稳定性——分开计算时如果 logits 里有一个特别大的数指数运算可能溢出而融合版本会做平移处理避免这个问题。2.3 反向传播神经网络学习的根基反向传播是整个神经网络训练机制里最精华的部分。它的核心思想其实就一句话利用链式法则从输出层开始反向计算损失函数对每一层参数的梯度然后沿梯度负方向更新参数。打个比方。你站在山上想走到山脚但雾很大看不清路。你能做的就是把脚往各个方向伸一下感受哪个方向是下坡然后向下坡方向迈一步。反向传播就是高效地计算哪个方向是下坡的方法。具体来说训练一个样本时先做一次前向传播得到预测值和损失然后计算损失对输出层输入的梯度再利用链式法则把梯度逐层传回前面每一层得到损失对所有权重 w 和偏置 b 的梯度。最后用梯度下降更新w w - 学习率 × 梯度。这个前向传播算误差反向传播算梯度梯度下降更新参数的三步循环就是深度学习训练的全部核心。反向传播真正容易出问题的地方在于梯度消失和梯度爆炸。网络层数很深时梯度在逐层回传中会不断相乘。如果每层梯度的模都小于 1浅层梯度就会指数级缩小导致浅层参数几乎不更新这就是梯度消失反过来说如果梯度模大于 1浅层梯度会指数级膨胀训练直接发散这就是梯度爆炸。深度网络早期难以训练主要就是这个问题。解决方法包括使用 ReLU 这类不易饱和的激活函数、合理的权重初始化比如 Xavier 和 He 初始化、Batch Normalization、以及后面要讲到的残差连接。3. 网络模型家族快速识别从MLP到CNN、RNN与Transformer3.1 全连接神经网络最朴素但最重要全连接神经网络也叫多层感知机MLP或前馈神经网络就是最基础的那类网络。每一层的每个神经元都与下一层所有神经元相连层与层之间没有循环。这就是为什么叫前馈——信号只向前流动不回头。它的价值有两个一是作为理解一切复杂模型的基础像 CNN、RNN、Transformer 在组件层面都会用到全连接层二是它本身在中小型表格数据上依然有不错的实用性。我见过不少刚入门的人急着学 CNN、LSTM结果连一个简单的 MLP 都调不好这是本末倒置。先把全连接网络在一个小数据集上训练到收敛亲手调几轮学习率和隐藏层大小你对神经网络的理解会远超直接套一个大模型。3.2 卷积神经网络图像任务的默认选择卷积神经网络CNN的诞生是为了解决图像数据带来的挑战。一张 224×224 的彩色图片拉成向量就是 15 万个像素值如果直接用全连接层处理第一层的参数量就大到可怕而且会丢失图片的二维空间结构。CNN 的核心武器是卷积核。一个卷积核是一个小窗口比如 3×3它在图片上滑动每个位置做一个局部加权求和相当于提取一种局部特征。不同卷积核提取不同特征——边缘、角点、纹理等。卷积层的另一个关键是权值共享同一个卷积核在整张图上共用同一组权重这使参数量大幅下降。池化层则负责压缩空间尺寸保留主要特征同时减少后续计算量。最后再接全连接层或全局池化输出分类结果。这些年 CNN 也有了很多变体比如经典结构的堆叠、一维卷积用于序列处理、深度可分离卷积用于移动端轻量模型。热搜词里提到的一维卷积神经网络就是把卷积核从二维窗口变成一维窗口在文本、音频、心电图这类序列数据上也能用。如果你做图像相关的项目CNN 几乎是绕不开的基础设施。3.3 循环神经网络与LSTM处理序列数据的尝试处理文本、语音这类有先后顺序的数据时全连接和卷积都不太合适。原因很简单序列中后面的内容依赖前面的内容而全连接网络没有记忆。循环神经网络RNN的解决思路是让网络在读取序列每个元素时额外接收一个来自上一个时间步的隐状态。这个隐状态就像一种短期记忆携带了之前看到过的信息。结构上每个时间步共享同一组权重是 RNN 的重要特征这让模型可以处理任意长度的序列也大大减少了参数量。但普通 RNN 有个老大难问题当序列较长时反向传播经过的梯度路径很长容易出现梯度消失导致网络记不住太久之前的信息。LSTM长短期记忆网络通过引入门控机制来解决。简单说LSTM 内部有一个细胞状态可以让信息在不被干扰的情况下长时间流动输入门决定新信息写入多少遗忘门决定旧信息丢掉多少输出门决定输出多少。这些门控让模型能够选择性记忆上下文。后来大量任务转向了注意力机制和 Transformer但你要读文献、看旧模型或处理时序预测任务LSTM 依然是常客。3.4 注意力机制与Transformer现代大模型的底层支柱提到深度学习基础现在必须提到注意力机制因为当前最火的语言模型、多模态模型几乎都在用 Transformer 体系。注意力机制可以理解成给每个输入词分配关注度预测某个位置时模型会自动判断输入序列中哪些位置和自己最相关并加权聚合它们的信息。Transformer 的核心是自注意力机制它把序列中的每个元素与其他所有元素两两计算相关性一次性捕捉全局依赖。和 RNN 相比Transformer 有两个明显优势一是并行度高因为所有位置的计算可以同时进行不需要按时间顺序逐个处理二是长距离依赖捕捉能力强不会因为序列太长而丢失早期信息。图像领域用 Transformer 的做法也相当成熟了比如把图像切分成小块patch再当作序列处理就是 ViT 的基本思路。所以今天学基础绕开注意力是不行的。不过也请你放心理解自注意力不需要特别高深的数学抓住Query、Key、Value 三者交互这个机制后面读论文会顺畅很多。4. 训练中真正决定成败的细节优化器、正则化与诊断4.1 优化器选择SGD、Adam 与 AdamW没有优化器损失函数算出来的梯度就无从落地。优化器的职责是决定怎么沿着梯度更新参数。最朴素的随机梯度下降SGD每次迭代用当前梯度直接更新参数实现简单但收敛往往较慢且容易在小批量梯度的噪声里震荡。动量Momentum的引入解决了这个问题它像给小球加了惯性让更新方向不仅看当前梯度还考虑历史累计方向从而加速收敛、减小震荡。Adam 则是在此基础上进一步发展它自适应地为每个参数计算不同的学习率。近些年很多实际项目都默认选择 Adam 或它的改进版 AdamW。AdamW 在 Adam 的基础上把权重衰减L2 正则化的实现方式做了修正使正则化与梯度更新解耦效果通常更稳。我实践中有一个建议大部分小规模任务直接用 AdamW 能快速收敛如果你追求极致的泛化性能且样本量不算太小不妨试试 SGD Momentum最后结果有时好于 Adam。两者的选择不是谁先进的问题而是任务和数据特性的适配问题。4.2 正则化防止模型死记硬背模型参数量一大很容易过拟合——在训练集上表现很好换到新数据就拉胯。正则化的本质是给模型加点约束让它不要过度依赖某些特征或参数。最常见的几种手段L2 正则化权重衰减在损失函数中加入所有权重平方和的惩罚项逼迫权重保持较小值从而提升泛化能力。在 PyTorch 里直接在优化器中设置weight_decay参数即可例如torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4)。L1 正则化则让权重变得稀疏适合特征选择场景但训练上不如 L2 稳定。Dropout训练时随机让一部分神经元失活输出置零迫使网络不能依赖单个神经元相当于训练了多个子网络的集成效果。注意 Dropout 只在训练时启用测试时要关闭。早停监控验证集指标一旦连续多个 epoch 不再提升就停止训练。这是最简单有效但常被忽略的手段尤其适合训练时间昂贵的场景。数据增强对图像做随机裁剪、翻转、颜色扰动等等于凭空扩展了训练数据让模型见到更多变化在视觉任务里几乎是标配。4.3 诊断模型训练状态从损失曲线到调参决策模型不收敛的时候很多人第一反应是再改改网络结构但更有效的做法是看训练曲线用曲线做诊断。一次正常的训练通常表现为训练损失稳步下降验证损失也随之下降最终都趋于平稳。如果你看到训练损失下降得很好、验证损失却在某个节点开始反弹说明模型开始过拟合应加强正则化或增加数据量。如果训练损失和验证损失都居高不下可能是模型表达能力不足、学习率不合适、或数据本身有问题。如果训练损失震荡剧烈且迟迟不下降第一优先检查的往往是学习率——梯度过大或步子迈得太大都会造成震荡。一种常用做法是将学习率按数量级搜索比如从 1e-2、1e-3、1e-4 里试看初始损失能否稳定下降。可视化工具方面TensorBoard 是最常用的选择可以实时画损失曲线、学习率曲线和梯度分布。我自己用下来的体会是梯度分布图特别有用——如果某层梯度始终接近零说明该层可能没在学如果梯度出现 NaN 或剧烈抖动基本可以怀疑学习率过大或数据有异常值。5. 一个完整实例用PyTorch从零搭出可收敛的识别模型5.1 数据准备与模型定义理论讲再多不如写一个能跑的模型。我用 PyTorch 在 MNIST 手写数字数据集上搭一个最简 MLP并用它演示整个训练流程。MNIST 是 28×28 的灰度图总共 10 个类别数据量小、训练快非常适合复现。import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader # 数据预处理将像素值归一化到 [0,1] transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) class SimpleMLP(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Flatten(), # (B, 1, 28, 28) - (B, 784) nn.Linear(28*28, 128), nn.ReLU(), nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 10) # 输出10个类别的logits ) def forward(self, x): return self.net(x) model SimpleMLP()这里有两个细节值得留意。第一输入为什么要 Flatten因为全连接层只能接收二维输入batch, feature_num而图像数据是四维batch, channels, height, width不展平的话线性层的维度会把nn.Linear直接搞错。这个报错信息在初学者里出现频率极高。第二为什么最后一层不加激活函数因为后面用CrossEntropyLoss它内部会做 softmax 操作如再加激活反而多余甚至会导致数值不稳定。这也是典型新手坑。5.2 训练循环、损失与评估接下来定义损失函数和优化器并进行训练。为了演示方便我把训练循环写在一个简单的函数里方便你观察每个 epoch 的损失变化。criterion nn.CrossEntropyLoss() optimizer optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-5) def train_one_epoch(): model.train() total_loss 0 for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) return total_loss / len(train_loader.dataset) def evaluate(): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: outputs model(images) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) return correct / total for epoch in range(5): train_loss train_one_epoch() acc evaluate() print(fEpoch {epoch1}, Loss: {train_loss:.4f}, Test Acc: {acc:.4f})跑 5 个 epoch最终测试准确率通常能到 97% 以上。请注意训练循环里三个关键行optimizer.zero_grad()清空上一次迭代保存的梯度——不清空会导致梯度累积这是新手最容易踩的坑loss.backward()完成反向传播自动计算所有可学习参数的梯度optimizer.step()用优化器更新参数。这三个操作顺序固定缺一不可。model.train()和model.eval()则负责切换训练/测试模式对包含 Dropout、BatchNorm 的模型尤其重要——如果忘记切回eval预测结果可能会带着随机的干扰准确率波动很大。5.3 常见问题与从MNIST到真实项目的扩展用 MNIST 搭一遍流程后可以顺手验证几个常见的故障模式。比如把学习率从 1e-3 调到 1e-1训练损失大概率会在前几个 step 变成 NaN把归一化去掉准确率会明显下降如果把中间层宽度从 128 缩到 8模型的表达能力不足准确率会跌到 90% 左右。自己亲手触发并观察这些问题比死记任何调参口诀都管用。做完 MNIST往真实项目扩展时有几个点需要立刻注意。真实数据的维度更复杂做分类时要考虑类别不平衡问题图像不再居中、数据量更大数据增强和预训练模型迁移学习会成为标配文本或时间序列数据则需要引入嵌入层、LSTM 或 Transformer。但所有复杂的模型底层依然是前向传播算损失、反向传播算梯度、优化器更新参数这一条主线。最后再分享一个小技巧开始一个新任务时先不要急着搭大模型而是用一个小模型加少量数据确保整个训练闭环能跑通、损失能下降然后再逐步增加模型复杂度和数据量。这种从最小可行闭环起步的做法能让 90% 的流程性问题在浪费大量算力之前暴露出来。我这些年处理过的训练故障里有很大一部分最终都指向一个非常基础的原因——输入数据格式不对、标签没对齐、梯度没清零。把基础环节扎扎实实检查一遍深度学习的实战之路才能走得更远。