近期，OpenAI在其为期两周的“shipmas”新品发布活动中，隆重推出了强化微调（Reinforcement Fine-Tuning，RFT）技术。这项技术被誉为AI领域的一大突破，为构建针对特定复杂任务的专家模型开辟了新的道路，其意义不亚于以往任何一次模型升级。
RFT技术通过一种创新的模型定制方法，允许开发者使用高质量的任务集对OpenAI的模型进行精细化调整。与传统的监督式微调不同，RFT引入了参考答案来评估模型的响应，并利用强化学习算法对模型进行迭代优化。这使得模型能够在特定领域任务中展现出更强的推理能力和更高的准确性，将模型的表现从一般水平提升至专家级水平。
具体而言，开发者可以使用数十到数千个高质量的任务对模型进行训练，并通过提供参考答案来对模型的回答进行评分。这种基于强化学习的反馈机制，能够引导模型学习更有效的推理策略，从而在仅需少量示例的情况下显著提升模型性能。官方数据显示，RFT技术显著提高了模型在特定领域任务上的准确性，这使得它在需要深厚专业知识的领域，例如法律、金融、工程和保险等，都具有极大的应用潜力。
值得注意的是，RFT技术尤其适用于那些结果具有客观“正确”答案，且大多数专家能够达成一致的任务。这使得其在法律、保险、医疗、金融和工程等领域具有广泛的应用前景。OpenAI此次活动也特别面向研究机构、高校和企业开放申请，鼓励参与者在这些领域进行测试和应用。
参与者将有机会提前访问RFT技术的Alpha版API，并可以使用自己的黄金数据集创建独特的模型。OpenAI还鼓励参与者分享数据集，以促进技术的开放共享和迭代升级，这体现了OpenAI推动AI技术民主化的决心。
OpenAI预计将于2025年初公开发布RFT功能。OpenAI首席执行官山姆·阿尔特曼表示：“强化微调的效果令人惊叹，它是我2024年最大的惊喜之一。”这预示着RFT技术将为人工智能技术的发展和应用开启新的篇章。其对现有AI模型的效率提升以及在专业领域的应用拓展，无疑将对未来科技发展产生深远的影响。
