Best-of-N真的是最优的吗？推理时对齐中的覆盖率、规模化与最优性

Best-of-N真的是最优的吗？推理时对齐中的覆盖率、规模化与最优性1. Best-of-N1.1. 训练时对齐（Training-time Alignment）1.2. 推理时对齐 (Inference-time Alignment)1.3. InferenceTimePessimism算法1. Best-of-N1.1. 训练时对齐（Training-time Alignment）在模型训练阶段（如 SFT 或 RLHF），我们已经对模型进行了对齐，让它学会了基本的对话准则。SFT (Supervised Fine-Tuning，有监督微调) 让模型学会“人类应该如何回答问题”。基础模型（Pre-trained Model）在预训练阶段通过阅读互联网上的海量数据，学会了“接龙”（预测下一个词）。但如果不经过 SFT，它往往不知道如何作为一个助手来回答用户，比如你问它“请帮我写一封邮件”，它可能只会接着写“第二封邮件的格式是……”这种奇怪的内容。做法： 人类编写高质量的“问题-回答”对（例如：问“如何煮咖啡？”答“步骤如下……”）。模型通过在这些数据上进行训练，学习遵循指令的格式、语气和风格。结果： 模型从一个“单纯的词汇预测机器”变成了一个“听得懂人话的对话助手”。RLHF (Reinforcement Learning from Human Feedback，基于人类反馈的强化学习) 让模型学会“人类更喜欢什么样的回答”。SFT 虽然让模型学会了格式，但在内容的好坏、逻辑的严谨性、以及安全性（例如不生成违禁内容）上还不够精细。我们很难编写覆盖所有情况的“标准答案”，所以引入了 RLHF。核心流程是抽样