5 分钟上手 Transformers 微调教程跑通 HuggingFace 153 个模型 Notebook 的完整指南【免费下载链接】Transformers-TutorialsThis repository contains demos I made with the Transformers library by HuggingFace.项目地址: https://gitcode.com/GitHub_Trending/tr/Transformers-TutorialsTransformers-Tutorials 是由 HuggingFace 核心贡献者 Niels Rogge 维护的开源教程集收录 153 个基于 Jupyter Notebook 的 Transformers 微调教程覆盖 BERT、DETR、LLaVa 等模型从推理到训练的完整流程全部使用 PyTorch 实现。 Transformers 微调教程解决什么问题说白了官方 API 文档写得再细你面对一个陌生模型时仍然会卡在到底该怎么喂数据上每个模型的 Processor、Feature Extractor 用法都不一样训练循环、评估指标、后处理各有一套写法。这个项目的回答方式是按模型建目录每个模型都放推理 微调两类可直接运行的 Notebook代码注释齐全你只需要换掉数据路径就能开始自己的实验。能力点具体做法对用户的意义模型覆盖广70 多个模型目录、153 个 Notebook从 BERT 到 SAM、LLaVa 都有查一个模型就能找到对应教程不用四处翻博客流程完整多数模型同时提供最小推理示例和自定义数据集微调示例先看效果再改数据学习成本被拆成两段环境可复现用 uv pyproject.toml 锁定全部依赖uv sync一条命令装好环境不用猜版本号零硬件门槛每个 Notebook 都带 Colab 入口本地没有 GPU 也能一键上免费算力跑训练️ 架构速览一个模型一个目录整个仓库的结构非常直白你基本不用看文档就能猜出每个目录是谁Transformers-Tutorials/ ├── BERT/ # 文本NER、多标签分类微调 ├── VisionTransformer/ # 图像推理 CIFAR-10 微调 ├── DETR/ # 目标检测最小示例到自定义数据集 ├── LayoutLMv3/ # 文档理解FUNSD 数据集微调 ├── T5/ # 摘要、代码生成 ├── SAM/ # Segment Anything 微调与推理 ├── LLaVa/ # 多模态推理与微调 └── pyproject.toml # uv 管理的依赖清单每个子目录就是一个模型家族文件名直接写明白任务类型Inference_with_...负责跑通推理Fine_tune_...负责训练。根目录的 pyproject.toml 与 uv.lock 负责把 transformers、datasets、accelerate 等依赖钉死在可用版本上谁也不负责多余的事。⚡ 跟着敲三条命令跑通第一个 Notebook先克隆仓库再装环境最后打开一个教程路径就这么短git clone https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials cd Transformers-Tutorialsuv sync jupyter notebook BERT/Custom_Named_Entity_Recognition_with_BERT.ipynb第一条命令拿到全部教程第二条用 uv 按 lock 文件装好 Python 环境和所有依赖第三条打开 BERT 命名实体识别教程。打开后从头按 ShiftEnter 跑完你就完整经历了一次加载预训练模型 → 分词 → 微调 → 评估的循环。 核心能力拆解微调教程做得最扎实的三件事文本序列微调—— 一句话定位把微调流程走顺的入门路径。以 BERT 的 NER 教程为例它从加载预训练的bert-base-uncased开始逐步搭起 token 级分类头数据加载、tokenizer 用法、seqeval 评估指标全部有注释。如果你从没写过训练循环这是最值得第一个打开的教程。目标检测的端到端流程—— 一句话定位用最少代码看懂 DETR 系模型。DETR 目录里放了一个最小推理示例加载facebook/detr-resnet-50后整段核心逻辑只有几行先跑通再谈训练不迟from transformers import DetrForObjectDetection, DetrFeatureExtractor processor DetrFeatureExtractor.from_pretrained(facebook/detr-resnet-50) model DetrForObjectDetection.from_pretrained(facebook/detr-resnet-50) inputs processor(image, return_tensorspt) outputs model(**inputs) results processor.post_process_object_detection( outputs, target_sizes[image.size[::-1]])[0]多模态与文档 AI—— 一句话定位覆盖密度最高的进阶区。LayoutLMv3、LLaVa、SAM、VideoMAE 等目录分别对应文档理解、图文对话、图像分割和视频理解全部遵循先跑推理感受效果再换自己的数据微调的同一套节奏你在 BERT 教程里学到的流程可以原样搬过来。 实战场景用气球数据集微调你自己的检测模型想象一个场景你是刚接触视觉的工程师想在照片里检测气球但没有自己的标注数据。仓库里 DETR 和 YOLOS 的微调教程正好各配了一个玩具数据集nielsr/balloon-dataset数据量小、跑得快非常适合验证整条流水线from datasets import load_dataset dataset load_dataset(nielsr/balloon-dataset) # 跟着教程把 image / label 转成模型的输入格式 # 然后套用现成的训练循环几个 epoch 后 # 模型就能框出图中的气球并输出置信度数据加载、格式转换、训练循环都在 Notebook 里写好了你真正需要动手的只有两件事确认数据字段、调整 batch size。跑通这一个场景后换成你自己的 COCO 风格标注数据就是同一份代码。 避坑指南老手悄悄告诉你的几件事坑 / 场景现象建议做法CPU 上直接跑大模型微调Notebook 卡死或内存溢出先跑最小推理示例或点 Colab 徽章用免费 GPU 跑训练手动 pip 逐个装依赖transformers 与 datasets 版本打架直接用仓库自带的uv syncuv.lock 已锁好版本首次微调显存不足第一个 batch 就 CUDA OOM调小 per-device batch size同时加大梯度累积步数一上来就长时间训练训了半小时才发现标签错位训练前先打印几个样本核对标签和 tensor 形状复现 Notebook 结果每次 loss 曲线略有差异固定 torch / numpy 随机种子记录超参数组合值得注意的是仓库里大量教程默认在有 GPU 的环境编写本地 CPU 环境跑推理示例没问题训练类教程建议留给 Colab。 生态与延伸学完之后往哪里走README.md全部教程清单以及数据预处理和训练框架原生 PyTorch / PyTorch Lightning / HF Trainer / Accelerate的取舍说明BERT/文本微调入口建议从这里起步DETR/目标检测从推理到 COCO 评估的完整链路SAM/分割方向含 MedSAM 推理示例pyproject.toml完整依赖清单排查环境问题时对照它建议的路径先用 BERT NER 教程完整走一遍数据 → 训练 → 评估再直接跳到与你业务最接近的模型目录遇到看不懂的地方可以在项目的 issue 区提问维护者对问题响应很积极。 收束下次再遇到一个新模型不知从何下手时先打开这个仓库找同名目录你会发现答案大概率已经写在某个 Notebook 里。把第一个教程从头跑通的那个下午会比读十篇博客更有底气。【免费下载链接】Transformers-TutorialsThis repository contains demos I made with the Transformers library by HuggingFace.项目地址: https://gitcode.com/GitHub_Trending/tr/Transformers-Tutorials创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考