媒体生成计算机视觉深度学习人工智能大模型【免费下载链接】mmagicOpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic : Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, for text-to-image generation, image/video restoration/enhancement, etc.项目地址https://gitcode.com/gh_mirrors/mm/mmagic点击查看免费下载MMagicMultimodalAdvanced,Generative, andIntelligentCreation是 OpenMMLab 推出的开源 AIGC 工具箱面向专业 AI 研究人员与机器学习工程师覆盖图像与视频的处理、编辑和生成。本文以仓库中的官方文档入口 docs/en/index.rst 为骨架系统梳理 MMagic 的项目定位、支持的生成模型与应用矩阵并逐板块解读其完整文档体系——从安装配置、快速推理到进阶设计原理与 MMEdit 0.x 迁移指南。读完本文你将掌握 MMagic 的能力全景、文档导航路径以及如何借助官方文档快速完成从安装到推理上手的完整流程。MMagic 是什么项目定位与设计理念根据 docs/en/index.rst 与 docs/en/get_started/overview.md 的定义MMagic 是一个开源的 AIGC人工智能生成内容工具箱其名称由Multimodal多模态、Advanced先进、Generative生成式、Intelligent智能与Creation创作的首字母组合而成。它允许研究人员与工程师直接使用预训练的最先进模型也能轻松训练和开发自定义的新模型。在技术底座上MMagic 基于 PyTorch 构建是 OpenMMLab 项目体系的一部分。在工程架构上它充分利用 MMEngine 与 MMCV 组成的 OpenMMLab 2.0 框架将编辑editing框架解耦为多个独立模块使用者可以像搭积木一样组合不同模块来构建自定义的编辑器框架并提供不同层级的 API 对训练过程进行精细控制。借助 MMEngine 提供的分离式分布式数据并行机制面向动态架构如 GAN 类模型的分布式训练也能方便地实现。核心能力矩阵支持的生成模型与应用MMagic 的能力可划分为「基础生成模型」与「上层应用」两个维度这是理解其模型库Model Zoo与配置体系的关键。支持的生成模型类型官方文档明确列出了四类基础生成模型无条件生成对抗网络Unconditional GANs如 StyleGAN 系列、PGGAN、SAGAN 等无需任何输入即可采样生成图像条件生成对抗网络Conditional GANs如 BigGAN、SAGAN、SNGAN 等以类别标签等条件作为输入生成图像内部学习Internal Learning如 SinGAN从单张图像内部学习生成模型扩散模型Diffusion Models如 Stable Diffusion、Guided DiffusionADM、Disco Diffusion 等覆盖文生图与各类扩散应用。这些模型类型在仓库的configs/目录中均有对应的真实配置例如 configs/styleganv2/、configs/biggan/、configs/singan/、configs/stable_diffusion/ 与 configs/guided_diffusion/。索引还注明更多生成模型正在陆续到来。支持的应用场景文档同步列出了 MMagic 覆盖的应用矩阵文生图Text-to-Image如 Stable Diffusion、ControlNet含 Canny/Pose/Seg 条件控制见 configs/controlnet/图像到图像翻译Image-to-image translation如 Pix2Pix、CycleGAN3D 感知生成3D-aware generation如 EG3D图像超分辨率Image super-resolution如 EDSR、ESRGAN、RDN、SRCNN、SwinIR、LIIF 等视频超分辨率Video super-resolution如 BasicVSR、BasicVSR、EDVR、IconVSR、RealBasicVSR 等视频帧插值Video frame interpolation如 FLAVR、CAIN、TOF图像补全Image inpainting如 DeepFillv1/v2、GlobalLocal、PartialConv、AOT-GAN图像抠图Image matting如 DIM、GCA、IndexNet图像复原Image restoration如 NAFNet、Restormer、DeblurGANv2覆盖去噪、去模糊、去雨等细分任务图像着色Image colorization如 Instance Colorization图像生成Image generation各类 GAN 与扩散生成模型。此外文档还强调 MMagic 支持 Stable Diffusion 的微调fine-tuning以及众多令人兴奋的扩散应用例如结合 SAM 的 ControlNet Animation见 configs/controlnet_animation/并支持 GAN 插值、GAN 投影、GAN 操控等流行玩法。文档导航全景index.rst 定义的板块结构docs/en/index.rst 的核心作用是为 Sphinx 文档站点提供toctree导航树。理解这份索引等于拿到了阅读整套官方文档的地图。索引将文档划分为 12 个板块各板块的入口文档及其在仓库中的位置如下板块caption包含文档仓库相对路径Community贡献指南、社区项目docs/en/community/contributing.md、docs/en/community/projects.mdGet Started概览、安装、快速上手docs/en/get_started/overview.md、docs/en/get_started/install.md、docs/en/get_started/quick_run.mdUser Guides配置、数据准备、推理、训练测试、指标、可视化、实用工具、部署docs/en/user_guides/ 下的 8 篇教程Advanced Guides模型、数据集、变换、损失、评估器、数据结构、数据预处理器、数据流docs/en/advanced_guides/ 下的 8 篇进阶文档How To如何实现模型/数据集/变换/损失docs/en/howto/ 下的 4 篇文档FAQ常见问题docs/en/faq.mdModel Zoo模型动物园索引索引中声明于model_zoo/index.rst当前仓库的模型清单可参见根目录 model-index.ymlDataset Zoo数据集动物园索引索引中声明于dataset_zoo/index.rst实际数据集配置见 configs/base/datasets/Changelog版本变更日志docs/en/changelog.mdAPI Reference模块 API 参考由 Sphinx autoapi 从 mmagic/ 各子模块自动生成Migration from MMEdit 0.xMMEdit 0.x 迁移指南docs/en/migration/ 下的 10 篇文档Device Support设备支持docs/en/device/npu.md此外索引末尾还包含 Switch Language 切换入口docs/en/switch_language.md提供英文与简体中文双语阅读中文版本见 docs/zh_cn/。Get Started从安装到第一次推理环境准备与安装docs/en/get_started/install.md 给出了完整的环境准备流程。MMagic 支持 Linux、Windows 与 macOS依赖如下Python 3.7PyTorch 1.8MMCV 2.0.0推荐先创建 conda 环境并安装 PyTorchconda create --name mmagic python3.8 -y conda activate mmagicGPU 平台可执行conda install pytorch torchvision cudatoolkit11.3 -c pytorchCPU 平台可执行conda install pytorch1.10 torchvision cpuonly -c pytorch。随后按照官方推荐的最佳实践依次安装 MMCV、MMEngine 与 MMagicpip install -U openmim mim install mmcv2.0.0 mim install mmengine mim install mmagic也可以使用 pip 直接安装或从源码安装适合开发者迭代修改代码-e表示可编辑模式修改后无需重新安装git clone https://github.com/open-mmlab/mmagic.git cd mmagic pip3 install -e . -v安装完成后验证版本python -c import mmagic; print(mmagic.__version__)文档还补充了若干定制化场景CUDA 版本的选型建议Ampere 架构 GPU 需 CUDA 11、不使用 MIM 时通过-f指定 MMCV 预编译 wheel 索引的安装方式、基于 docker/Dockerfile 的容器化构建docker build -t mmagic docker/要求 Docker 19.03运行时可加--gpus all --shm-size8g以及安装问题的排查入口先查阅 FAQ 再提 issue。快速上手两行代码文生图安装完成后docs/en/get_started/quick_run.md 展示了最简洁的体验方式——通过MMagicInferencer高级推理 API仅需几行代码即可用 Stable Diffusion 完成文生图from mmagic.apis import MMagicInferencer sd_inferencer MMagicInferencer(model_namestable_diffusion) text_prompts A panda is having dinner at KFC result_out_dir output/sd_res.png sd_inferencer.infer(texttext_prompts, result_out_dirresult_out_dir)等价地也可以直接运行仓库自带的演示脚本 demo/mmagic_inference_demo.pypython demo/mmagic_inference_demo.py \ --model-name stable_diffusion \ --text A panda is having dinner at KFC \ --result-out-dir ./output/sd_res.pngMMagicInferencer的实现位于 mmagic/apis/mmagic_inferencer.py其背后按任务类型分发到 mmagic/apis/inferencers/ 下的各类具体推理器对应的回归测试见 tests/test_apis/test_mmagic_inferencer.py。若想进一步提升生成图片的清晰度可以用 ESRGAN 做超分辨率同样只需数行代码配置与权重分别取自 configs/esrgan/esrgan_x4c64b23g32_1xb16-400k_div2k.py 与官方权重链接from mmagic.apis import MMagicInferencer config configs/esrgan/esrgan_x4c64b23g32_1xb16-400k_div2k.py checkpoint https://download.openmmlab.com/mmediting/restorers/esrgan/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth img_path tests/data/image/lq/baboon_x4.png editor MMagicInferencer(esrgan, model_configconfig, model_ckptcheckpoint) output editor.infer(imgimg_path, result_out_diroutput.png)User Guides八大用户教程的完整脉络User Guides 板块是文档体系中实操价值最高的部分docs/en/user_guides/ 下共 8 篇教程官方建议初学者从配置教程学起。配置系统config.mddocs/en/user_guides/config.md 是 MMagic 的配置系统详解核心要点包括命令行修改配置通过tools/train.py或tools/test.py的--cfg-options参数可就地修改配置例如--cfg-options test_cfg.use_emaFalse、--cfg-options train_dataloader.batch_size8对 pipeline 这类列表型配置可用--cfg-options train_dataloader.dataset.pipeline.0.typeLoadImageFromWebcam按索引修改list/tuple 值可用--cfg-options key[a,b]指定注意引号内不允许出现空格。配置结构configs/_base_/下包含 datasets、models、default_runtime 三类基础组件由这些组件组合而成的配置称为 primitive 配置。建议同一目录下只保留一个 primitive 配置其余配置通过_base_继承最大继承层级为 3 层。例如基于 BasicVSR 改造时可写_base_ ../basicvsr/basicvsr_2xb4_reds4.py。命名规范配置文件遵循{model}_[module setting]_{training schedule}_{dataset}格式如basicvsr-pp_c64n7_8xb1-600k_reds4中c64n7是模块设置、8xb1-600k是训练调度、reds4是数据集。完整配置拆解文档以 EDSR超分、StyleGAN2GAN 生成、GlobalLocal补全、DIM抠图四个代表性模型为例逐字段注释了model、data pipeline、dataloader、evaluator、train_cfg/val_cfg/test_cfg、optim_wrapper、param_scheduler、default_hooks/custom_hooks、env_cfg等全部配置块。例如 EDSR 的模型配置model dict( typeBaseEditModel, generatordict( typeEDSRNet, in_channels3, out_channels3, mid_channels64, num_blocks16, upscale_factorscale, res_scale1, rgb_mean(0.4488, 0.4371, 0.4040), rgb_std(1.0, 1.0, 1.0)), pixel_lossdict(typeL1Loss, loss_weight1.0, reductionmean), train_cfgdict(), test_cfgdict(), data_preprocessordict( typeDataPreprocessor, mean[0., 0., 0.], std[255., 255., 255.]))查看完整配置运行python tools/misc/print_config.py /PATH/TO/CONFIG可展开继承后的完整配置。仓库中的实际可用工具为 tools/analysis_tools/print_config.py。数据准备与推理docs/en/user_guides/dataset_prepare.md 指导如何准备各任务所需数据集DIV2K、REDS、CelebA-HQ、Places、Comp1k 等对应的转换脚本位于 tools/dataset_converters/docs/en/user_guides/inference.md 是预训练模型推理教程按生成模型与应用两大类给出大量可直接运行的示例。例如无条件 GAN 采样 StyleGANv1、条件 GAN 采样 BigGAN、扩散模型文生图、Pix2Pix 图像翻译、EG3D 3D 感知生成、ESRGAN 图像超分、BasicVSR 视频超分、FLAVR 视频帧插值、GlobalLocal 图像补全、GCA 抠图、NAFNet 图像复原、Instance Colorization 着色等均同时给出 Python API 与demo/mmagic_inference_demo.py命令行两种用法。训练与测试train_test.mddocs/en/user_guides/train_test.md 覆盖四种执行模式# 单卡测试 python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} # 多卡测试 ./tools/dist_test.sh ${CONFIG_FILE} ${CHECKPOINT_FILE} ${GPU_NUM} # Slurm 集群测试 [GPUS${GPUS}] ./tools/slurm_test.sh ${PARTITION} ${JOB_NAME} ${CONFIG_FILE} ${CHECKPOINT_FILE} # 单卡训练 python tools/train.py ${CONFIG_FILE} # 多卡训练 ./tools/dist_train.sh ${CONFIG_FILE} ${GPU_NUM} # Slurm 集群训练 [GPUS${GPUS}] ./tools/slurm_train.sh ${PARTITION} ${JOB_NAME} ${CONFIG_FILE}对应的脚本位于仓库 tools/ 目录train.py、test.py、dist_train.sh、dist_test.sh、slurm_train.sh、slurm_test.sh。文档还说明了在配置中通过val_evaluator/test_evaluator字段挂载指定指标进行评测的方式。指标、可视化与实用工具docs/en/user_guides/metrics.mdMMagic 支持17 个评估指标包括 MAE、MSE、PSNR、SNR、SSIM、NIQE、SAD、MattingMSE、GradientError、ConnectivityError、FID/TransFID、IS/TransIS、Precision and Recall、PPL、SWD、MS-SSIM、Equivarience每个指标均给出val_evaluator配置示例其实现位于 mmagic/evaluation/metrics/。docs/en/user_guides/visualization.md可视化体系由VisualizationHook定时抓取模型输出、Visualizer将结果转为 png/gif 等格式、VisBackend存储或展示支持本地与 Wandb 等后端三组件构成并针对 GAN、图像翻译、扩散、补全、抠图、SISR/VSR/VFI 分别给出配置示例实现见 mmagic/visualization/。docs/en/user_guides/useful_tools.md提供三类实用工具——用 tools/analysis_tools/get_flops.py 计算模型 FLOPs 与参数量python tools/analysis_tools/get_flops.py ${CONFIG_FILE} [--shape ${INPUT_SHAPE}]用 tools/model_converters/publish_model.py 发布模型转为 CPU 张量、剔除优化器状态、计算 hash 并写入文件名以及print_config.py打印完整配置。docs/en/user_guides/deploy.md面向部署场景的说明文档。Advanced Guides 与 How To进阶原理与二次开发对于熟悉 MMagic、希望理解内部设计并扩展仓库的用户Advanced Guides 板块提供 8 篇深入文档docs/en/advanced_guides/覆盖模型models、数据集dataset、数据变换transforms、损失函数losses、评估器evaluator、数据结构structures、数据预处理器data_preprocessor与数据流data_flow的设计原理。这些主题与仓库源码一一对应例如数据预处理器实现于 mmagic/models/data_preprocessors/评估器实现于 mmagic/evaluation/evaluator.py数据结构定义于 mmagic/structures/data_sample.py损失函数位于 mmagic/models/losses/。How To 板块docs/en/howto/则面向想用 MMagic 做某件事的用户提供模型、数据集、变换、损失四类自定义开发的逐步指导与官方文档中推荐的从configs/下既有方法继承改造的路线相呼应。从 MMEdit 0.x 迁移与多设备支持对于 MMEdit旧版编辑工具箱的既有用户index.rst 专门开辟了 Migration 板块docs/en/migration/ 下共 10 篇迁移文档分别覆盖总览overview、运行时runtime、模型models、评测与测试eval_test、调度schedule、数据data、分布式训练distributed_train、优化器optimizers、可视化visualization与混合精度amp帮助老用户平滑迁移到基于 OpenMMLab 2.0MMEngine MMCV的新框架。设备支持方面docs/en/device/npu.md 说明了在昇腾 NPU 等设备上的运行配置体现 MMagic 在多硬件平台上的扩展能力。API Reference从模块到类的源码级索引index.rst 的 API Reference 板块通过 Sphinx autoapi 机制将 mmagic/ 包内的核心模块自动生成 API 文档覆盖的模块包括mmagic.apis.inferencers各类任务推理器、mmagic.structures数据结构、mmagic.datasets与mmagic.datasets.transforms数据集与变换、mmagic.evaluation评估、mmagic.visualization可视化、mmagic.engine下的 hooks/logging/optimizers/runner/schedulers引擎组件、mmagic.models下的 archs/base_models/losses/data_preprocessors/utils/editors模型体系以及mmagic.utils通用工具。这是从类与方法层面精确检索实现细节的入口与前述用户文档形成宏观用法 微观实现的互补。小结如何按图索骥使用这套文档以 docs/en/index.rst 为入口一套高效的学习路径是先读 Get Started 三篇完成安装并跑通第一次文生图再按任务类型查阅 User Guides 的推理、训练测试、配置与指标教程深入原理时进入 Advanced Guides 理解模块化设计需要自定义扩展时参考 How To 系列老用户从 MMEdit 迁移可对照 Migration 板块逐项升级最后在 API Reference 中按模块检索具体类与方法。这套入口索引—用户教程—进阶原理—API 参考的四层结构正是 MMagic 文档体系的设计精髓。赞分享媒体生成计算机视觉深度学习人工智能大模型【免费下载链接】mmagicOpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic : Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, for text-to-image generation, image/video restoration/enhancement, etc.项目地址https://gitcode.com/gh_mirrors/mm/mmagic点击查看免费下载相关推荐CAMEL 多智能体框架文档总览以 docs/index.rst 为入口读懂项目架构与文档体系CAMEL 多智能体框架文档总览以 docs/index.rst 为入口读懂项目架构与文档体系 本篇技术指南以 CAMEL 仓库的 Sphinx 文档主文件人工智能大模型AI AgentAgent 框架多智能体工具调用MCP ClientsRAG模型评测数据生成MMagic 全解析OpenMMLab 多模态生成式 AI 工具箱的安装、模型库与统一推理 API 实战MMagic 全解析OpenMMLab 多模态生成式 AI 工具箱的安装、模型库与统一推理 API 实战 MMagicMultimodal Advanced媒体生成计算机视觉深度学习人工智能大模型Rufus 弹出 Secure Boot 警告一文讲清 Windows 10 安装盘的 3 种快速应对姿势Rufus 弹出 Secure Boot 警告一文讲清 Windows 10 安装盘的 3 种快速应对姿势 用 USB 安装盘制作工具 Rufus 4.6 写桌面应用开发工具上一篇如何为Ghost博客系统进行性能基准测试完整负载测试与瓶颈识别指南下一篇Temporal Python SDK活动优先级调度优先级提升策略创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考