2001年，伯克利统计学家Leo Breiman在《Statistical Science》上发表了一篇颇具挑衅性的文章。他指出，统计学界存在“两种文化”：一种假设数据由给定的随机数据模型生成，另一种则采用算法模型，将数据机制视为未知。Breiman批评统计学界“几乎使用数据模型”，导致“无关的理论、受质疑的结论”，并“让统计学家无法处理大量有趣的现实问题”。
近二十年过去，统计学界已广泛接纳了Breiman所说的“算法模型文化”。然而，经济学领域的接受速度要慢得多。为什么？经济学期刊看重估计量和检验的大样本性质：一致性、正态性、有效性，而这些恰恰是许多机器学习方法所不能直接提供的。机器学习文献关注的往往是算法在特定场景下的实用特性，如误差率保证等。
2019年，Susan Athey和Guido Imbens在《Annual Review of Economics》上发表了题为“Machine Learning Methods That Economists Should Know About”的综述文章。作为经济学界推动机器学习方法引入的领军人物（Imbens更是2021年诺贝尔经济学奖得主），他们在这篇文章中系统梳理了经济学家应当掌握的机器学习方法，并特别强调了机器学习与计量经济学交叉的最新进展。
本文将以Athey和Imbens（2019）的综述为框架，着重介绍几类核心方法的原理、优缺点及其在经济学研究中的应用场景。
一、为什么经济学需要机器学习？
在深入具体方法之前，有必要先理解机器学习与传统计量经济学的根本差异。这些差异决定了机器学习不能简单替代计量经济学，但可以作为有力的补充，尤其是在处理高维数据、非线性关系和大规模数据集时。
（一）目标的差异
传统计量经济学关注的是参数的无偏估计和因果识别，追求估计量的大样本性质。而机器学习的目标是在给定部分变量的情况下对其他变量进行预测，或对数据进行聚类。前者关心“为什么”，后者关心“是什么”。
（二）方法的差异
传统方法预先设定数据生成过程的函数形式，然后用样本去估计参数。机器学习则采用数据驱动的模型选择，通过交叉验证比较不同模型在样本外的表现，选择最优者。
（三）验证方式的差异
传统计量关注样本内的模型拟合和假设检验；机器学习则强调样本外的预测能力，通过交叉验证来评估模型泛化性能。
（四）对过拟合的态度
传统方法很少明确讨论过拟合问题；机器学习则将过拟合视为核心挑战，通过正则化（如LASSO的L1惩罚、岭回归的L2惩罚）来控制模型复杂度，且惩罚参数通过交叉验证确定，而非主观预设。
二、经济学家应当掌握的机器学习方法
（一）监督学习
1、原理
监督学习是机器学习中最成熟的一类方法，其核心任务是在同时观测到解释变量和被解释变量的情况下，建立一个将输入映射到输出的模型。当被解释变量为连续变量时，问题归结为回归；当被解释变量为离散变量时，问题归结为分类。
Athey和Imbens在综述中重点讨论了几类监督学习方法：LASSO（通过L1惩罚实现变量选择）、回归树与随机森林（通过递归划分捕捉非线性交互），以及支持向量机和神经网络等。
以回归树为例，其原理是通过递归地将特征空间划分为多个矩形区域，在每个区域内用常数（通常是该区域观测值的均值）来预测结果。随机森林则通过自助采样构建多棵决策树，再对它们的预测结果进行平均，从而显著降低方差。
2、优点
监督学习最大的优势在于灵活性和预测能力。它不需要预设变量间的函数形式，能够自动捕捉复杂的非线性关系和高阶交互项。在高维稀疏环境下，LASSO等方法能够自动选择重要变量，随机森林等集成方法通常具有出色的样本外预测表现。
3、缺点
监督学习的核心局限在于缺乏因果解释。标准机器学习算法是为预测而设计的，即给定协变量，尽可能准确地预测结果。它不关心系数的因果含义，也不提供传统意义上的置信区间。此外，深度学习等“黑箱”模型的可解释性较差，这在需要理解机制的经济学研究中构成障碍。
4、应用场景
监督学习在经济学中最直接的应用是预测问题。例如，在金融经济学中，可以预测资产价格或违约风险。此外，监督学习还可用于处理高维控制变量，在因果推断中先用LASSO筛选协变量，再进行传统的因果估计。
（二）无监督学习
1、原理
与监督学习不同，无监督学习的训练集中没有人为标注的结果变量，只观测到解释变量，目标是推断数据的内在结构，对观测值进行聚类（发现自然的分组），或对变量进行降维（用更少的潜在因子代表原始变量）。常见方法包括K-means聚类、层次聚类、主成分分析以及社区检测等。
2、优点
无监督学习的核心优势在于变量创造能力，传统计量经济学需要研究者事先定义变量，而无监督学习能够从原始数据中自动发现有意义的分类或结构，从而创造出实证研究所需的变量，这在处理非结构化数据（如文本、图像）时尤为强大。
3、缺点
无监督学习的结果缺乏客观的验证标准，因为没有“正确答案”，聚类结果的好坏往往依赖于研究者的主观判断。此外，不同算法可能产生截然不同的分类结果，方法的选取本身就是一个需要论证的问题。
4、应用场景
Athey本人提供了一个经典案例：在研究Google新闻停业对读者阅读新闻类型的影响时，她采用社区检测这一无监督算法对新闻进行分类，从而创造出了研究所需要的因变量。
（三）矩阵补全
1、原理
矩阵补全是Athey和Imbens综述中特别强调的一类方法，基本设定是面板数据：某些单位在某些时期接受了处理（treatment），目标是估计这些处理单位/时期组合的反事实（未处理）结果。
具体而言，我们将所有单位－时期的结果组织成一个矩阵，其中处理过的单元/时期对应的元素是“缺失”的（因为我们观察不到它们未接受处理时的结果）。矩阵补全方法利用未处理单元/时期的观测结果，通过低秩矩阵分解来估计这些“缺失”值。
2、优点
矩阵补全方法在概念上统一了双重差分（DID）、合成控制法等传统因果面板数据方法。它不要求事先指定控制组，而是数据驱动地利用所有未处理观测来预测反事实结果。Athey等人的研究表明，矩阵补全方法在多个经济数据集上的表现优于传统方法。
3、缺点
矩阵补全方法依赖于低秩假设，即潜在结果矩阵可以由少数几个因子近似表示。这一假设虽然比许多参数模型更灵活，但在某些应用中仍可能过于严格。此外，方法的统计推断（如标准误的构造）相对复杂。
4、应用场景
矩阵补全特别适用于政策评估中的因果效应估计，例如，评估某项政策对部分地区或行业的影响。
（四）因果机器学习
上述三类方法（监督学习、无监督学习、矩阵补全）基本来自机器学习文献。但Athey和Imbens综述的真正亮点在于机器学习与计量经济学的交叉方法。
1、因果树与因果森林
标准的决策树和随机森林是为预测结果而设计的。Athey和Imbens（2016）提出了一种关键改进：将决策树的目标从“预测结果”改为“估计处理效应的异质性”。他们提出了“诚实”估计方法：将样本分为两部分，一部分用于构建树的结构（决定在哪里分割），另一部分用于估计每个叶子节点内的处理效应。这种方法避免了适应性分割带来的过拟合偏差，使得基于树的因果效应估计可以进行有效的统计推断。Wager和Athey（2018）进一步将这一思想扩展为因果森林，通过集成多棵因果树来估计异质性处理效应。
优点：能够自动发现处理效应在不同子群体间的异质性，无需事先指定交互项。
缺点：仍然依赖于无混杂等识别假设；在高维协变量下，对样本量的要求较高。
应用场景：评估某项政策对不同人群的差异化影响。
2、最优政策估计
如果说因果树回答的是“谁受益更多”，那么最优政策估计回答的是“应该给谁实施政策”。Athey和Wager（2021）提出了一种方法：利用观测数据学习将个体特征映射到最优处理分配的决策规则。其原理是：先估计每个个体的条件平均处理效应（CATE），然后制定一个分配规则，只对那些CATE超过某个阈值的个体实施处理。
优点：直接服务于决策，而非仅仅描述效应。
缺点：对CATE的估计精度要求很高；在观测数据中，策略学习还需要处理选择偏差等问题。
应用场景：教育政策（对哪些学生实施干预）等。
三、结语
Breiman在2001年描述的“两种文化”：数据模型文化与算法模型文化，在当时的统计学界引发了持久争论。如今，统计学界已经基本完成了对两种文化的整合。经济学界的整合虽然起步较晚，但正在加速。
Athey和Imbens（2019）的核心观点可以概括为：经济学家不应在两种文化之间二选一，而应取二者之长。计量经济学贡献了因果识别的严谨框架、对识别假设的审慎态度，以及统计推断的规范工具；机器学习贡献了处理高维数据、捕捉非线性关系，以及强大预测能力的方法。二者的结合，特别是在因果推断和政策评估领域，正在产生超越各自的新方法。
正如Athey和Imbens所呼吁的，如果“我们的目标是用数据解决问题”，如果“计量经济学本质上是不确定性下的决策”，那么经济学家就需要“超越对数据模型的单纯依赖，接受更加丰富多样的研究工具”。
对于今天的经济学研究者而言，掌握机器学习方法已不再是一个“加分项”，而正日益成为一种“必备技能”。理解机器学习方法的原理、识别其适用边界、并将经济学理论与机器学习工具恰当结合，或许是Athey和Imbens所期待的真正融合。
参考文献
Athey, S., & Imbens, G. (2016). Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences, 113(27), 7353-7360.
Athey, S., & Imbens, G. (2019). Machine learning methods that economists should know about. Annual Review of Economics, 11(1), 685-725.
Athey, S., & Wager, S. (2021). Policy learning with observational data. Econometrica, 89(1), 133-161.
Breiman, L. (2001). Statistical modeling: The two cultures (with comments and a rejoinder by the author). Statistical science, 16(3), 199-231.
Wager, S., & Athey, S. (2018). Estimation and inference of heterogeneous treatment effects using random forests. Journal of the American Statistical Association, 113(523), 1228-1242.
