10 分钟跑通 64M 参数 LLMMiniMind 本地部署与 WebUI 完整指南【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimindMiniMind 是一个基于 PyTorch 的极轻量级大语言模型开源项目主线版本 minimind-3 约 64M 参数约为 GPT-3 体积的 1/2700仓库内同时提供模型结构、Tokenizer 与预训练、SFT、RLHF、RLAIF 的完整训练链路。你可以直接下载训练好的权重做本地对话、起 OpenAI 兼容 API、搭 Streamlit WebUI也可以用一张消费级显卡从零复现训练。适合两类读者想低成本读懂 LLM 内部实现的学习者以及想把一个小模型快速接进自己应用的开发者。一、能力速览MiniMind 能做什么本节帮你快速判断项目提供的功能与适用场景方便后续按需选路。本地对话推理eval_llm.py命令行多轮对话CPU 即可运行无需 GPU。OpenAI 兼容 APIserve_openai_api.py一键起轻量服务支持tool_calls、open_thinking、reasoning_content字段可接入第三方 Chat UI。WebUI 聊天页web_demo.py基于 Streamlit支持思考展示、工具选择与多轮 Tool Call。从零训练单卡 3090 用 mini 数据集跑完预训练 SFT 约 2 小时、租卡成本约 3 元可得到可用的 Zero 对话模型。全链路训练代码LoRA、DPO、PPO/GRPO/CISPO、Agentic RL、知识蒸馏均为纯 PyTorch 手写实现适合读源码学习 LLM 训练。主线与历史版本模型规模如下推理、训练默认使用 minimind-3模型参数量说明minimind-364M主线 DenseDecoder-Only对齐 Qwen3 生态minimind-3-moe198M-A64MMoE 版本4 experts / top-1minimind2104M历史版本二、快速跑通5 分钟在终端里对话本节是最短路径按顺序执行 3 步即可获得一个可以对话的 MiniMind。克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/min/minimind cd minimind pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simplePyTorch 在requirements.txt中是注释状态需按你的设备自行安装 torchCPU 版即可跑推理NVIDIA 显卡请装对应 CUDA 版本。下载训练好的模型transformers 格式含 tokenizer 与配置modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3依赖中的modelscope包自带download子命令下载完成后根目录会多出一个minimind-3/目录。启动 CLI 对话python eval_llm.py --load_from ./minimind-3预期看到模型加载完成后出现[Q]:提示符输入问题即返回回答输入 exit 退出。常用推理参数完整列表执行python eval_llm.py --help参数默认值说明--load_frommodeltransformers 格式模型目录传model时改读原生 torch 权重--weightfull_sfttorch 权重前缀pretrain / full_sft / grpo 等--open_thinking0自适应思考开关1 为先输出思考过程--inference_rope_scalingFalse启用 YaRN RoPE 外推用于长文本--max_new_tokens8192最大生成长度--device自动显式指定 cuda 或 cpu三、按需求深入按目标选择对应小节每节都给出最短步骤。只想体验对话CLI 本身支持多轮与工具调用# 多轮对话 开启思考 python eval_llm.py --load_from ./minimind-3 --historys 2 --open_thinking 1 # 工具调用测试需 ./out 目录有对应 pth 权重自训或下载均可 python eval_toolcall.py --weight full_sft--historys必须为偶数0 表示不携带历史。长文本场景建议追加--inference_rope_scaling。想接入自己的代码把模型暴露为 OpenAI 兼容服务两步即可# 启动服务端 cd scripts python serve_openai_api.py # 另开终端用仓库自带脚本测试OpenAI SDK 方式 cd scripts python chat_api.py服务默认监听http://localhost:8998/v1/chat/completions任何 OpenAI SDK 项目把base_url换成本地地址即可复用接口额外支持open_thinking、tool_calls、reasoning_content等字段。想搭网页界面Streamlit WebUI 只扫描scripts/下的模型子目录所以要先复制权重再启动cp -r minimind-3 ./scripts/minimind-3 cd scripts streamlit run web_demo.py预期终端打印本地地址默认 http://localhost:8501浏览器打开即可多轮对话页面支持思考展示与工具调用交互。想从零训练一个模型将pretrain_t2t_mini.jsonl与sft_t2t_mini.jsonl放入dataset/目录mini 组合用于最快复现依次执行预训练与指令微调cd trainer python train_pretrain.py cd trainer python train_full_sft.py权重输出到out/如pretrain_768.pth、full_sft_768.pth多卡用torchrun --nproc_per_node N train_xxx.py启动所有脚本支持--from_resume 1断点续训。训练完成后回到根目录用python eval_llm.py --weight full_sft验证。四、常见问题排查按「现象 → 原因 → 解决」处理覆盖部署中最常遇到的 5 个坑。ModuleNotFoundError: No module named torch原因torch 被注释在requirements.txt之外项目假定你已单独安装 PyTorch。解决先按设备安装 torch再执行pip install -r requirements.txt。torch.cuda.is_available()返回 False原因NVIDIA 驱动版本与 PyTorch 的 CUDA 构建不匹配或本机没有 NVIDIA 显卡。解决升级驱动或重装对应 CUDA 版本的 torch推理可直接--device cpu64M 参数在 CPU 上完全可用。web_demo.py启动后提示找不到模型原因WebUI 只扫描scripts/下包含权重文件的子目录不会读项目根目录。解决先执行cp -r minimind-3 ./scripts/minimind-3再启动。长上下文回答退化、重复原因训练序列长度有限超出后位置编码外推失效。解决原生 torch 推理加--inference_rope_scalingtransformers 格式模型在config.json中配置rope_scalingtype 为 yarn后重启服务。Streamlit 页面打不开 / 端口被占用原因8501 端口已被其他进程占用。解决关闭占用进程或启动时追加--server.port 8502换端口。延伸阅读仓库内可直接查阅的文档与源码入口README.md项目总览、训练数据介绍、RL 算法DPO/PPO/GRPO/CISPO/Agentic RL完整推导与实验对比eval_llm.pyCLI 推理与对话入口含全部推理参数定义scripts/web_demo.pyWebUI、serve_openai_api.pyOpenAI 兼容 API、chat_api.pyAPI 测试、convert_model.pytorch/transformers 互转与 LoRA 合并trainer/train_pretrain.py、train_full_sft.py、train_lora.py、train_grpo.py、train_agent.py等全链路训练脚本model/model_minimind.py64M 模型结构与 MiniMindConfig 定义dataset/dataset.md训练数据集说明【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考