Introduction

微软在12月12号发布了Phi-4的技术报告,主要关注了数据的构建，特别是。Phi-4是一个14B的大语言模型，主要在STEM相关的QA任务以及推理相关的任务上表现比较好。Phi-4主要在三个方面进行了改进：

1. 在pre-training和mid-training阶段使用了合成数据进行训练

Data

Pre-training

Architecture

Post-training

DPO

SFT

References

• Blog
• Arxiv