🤖 ML 在量化中的定位与边界

金融数据的三重诅咒如何改变 ML 的玩法(每条附量化对照)、ML 适合与不适合的任务地图、「ML 是因子合成器」的分层架构——校准对 AI 量化的预期。

ML 在图像上做出了超越人类的表现,在市场上却常常跑输一个线性因子模型——这不是 ML 不行,而是金融数据改写了游戏规则。本篇先讲清规则怎么变的(三重诅咒),再给一张「ML 适合做什么」的任务地图,最后校准对 ML 量化的正确预期。

金融数据的三重诅咒

诅咒一:信噪比极低。 图像分类的信噪比是「信号为主、噪声为辅」;收益率预测的信号占比常在 1% 以下——月度收益 R² 能稳定达到 0.5%–2% 已是顶级行业水平。量化对照:月度选股模型的预测精度,大致相当于「抛硬币时让它偏向你 51:49」——而 ImageNet 顶级模型的准确率是 90%+。后果:模型的拟合能力越强,能拟合掉的噪声越多——「训练损失一路下降」在金融里常常意味着「过拟合一路加深」。深度模型的百万参数在这个信噪比下,多数容量用于记忆噪声。

诅咒二:样本量相对不足且不独立。 日频 20 年 ≈ 5000 个观测,且自相关 + 波动聚集让有效样本量远小于名义值(见概率论基础 );截面可以扩样本(N 只股票 × T 期),但同一日期的截面样本共享宏观冲击,不是独立样本。粗略的对比:训练一个图像分类器用百万级独立样本,金融截面 20 年 × 5000 股 = 千万行,但独立「时间切片」只有 240 个月——样本的天花板是时间,不是行数。深度学习引以为傲的「大数据红利」在金融的数据量级下基本缺席。

诅咒三:分布持续漂移(non-stationarity)。 猫十年后还是猫,但「低估值溢价」会随参与者结构变化——市场会学习并消灭可预测性(有效市场的作用力方向,见EMH )。模型训得越好,越可能精确拟合了一个正在消失的规律;且回测与实盘之间隔着 regime 变化(「回测即过去时」问题,见因子失效 )。实证的刺骨之处:ML 模型的样本外衰减常比线性模型更快——它把「旧的规律」学得更深,regime 翻转时摔得更重。

三重诅咒的合成结论:金融 ML 的竞争不在「模型多强」,而在「如何在不合观数据上防止模型自欺」——特征工程、样本外纪律、purged CV 的优先级高于任何网络结构。

ML 适合与不适合的任务地图

适合(信号→信号,监督学习的主场):

  1. 非线性因子合成:数十个低相关因子 → 一个复合预测——树模型的核心战场(见机器学习策略 );
  2. 横截面排序:Learning to Rank 直接优化排序,与选股目标天然对齐(见监督学习 );
  3. 状态/Regime 识别:聚类、HMM 把「市场状态」变成可观测变量(见非监督学习 );
  4. 另类数据的结构化:文本 → 情绪分数、公告 → 结构化字段(NLP 作为特征工厂,见LLM 应用 );
  5. 执行与微结构优化:订单流预测、最优执行的强化学习(数据量大、目标清晰,见强化学习 )。

谨慎/不适合的用法:

  1. 端到端预测价格:「输入行情序列 → 输出涨跌」的黑盒交易——三重诅咒的重灾区,样本外普遍崩坏;正确的路径是「可解释特征 + ML 合成」而非端到端;
  2. 直接输出仓位:让模型学「该买多少」——仓位是风险偏好与约束的函数(规则层),混进预测层会失去可审计性(分层架构见下文);
  3. 高频数据不足时的深度模型:日频 + 50 特征上 LSTM/DNN——复杂度与数据量的错配(边界讨论见深度学习量化 )。

正确的心智:ML 是因子合成器,不是印钞机

把 ML 嵌入量化体系的正确姿势是分层:

1
2
特征层(可解释的原始因子) → ML 合成层(非线性映射) → 输出「又一个因子」
→ 走与普通因子完全相同的下游:检验、组合、风控、监控、下线协议

这样做的三重好处:ML 的输出可检验(IC、分组、衰减照跑,见因子检验 )、可归因(组合层看它是一个独立信号源)、可下线(失效时按因子协议处理,而不是对着黑盒发呆)。相反,若让 ML 直接接管仓位,它的错误将直接变成交易——无检验、无归因、无刹车。

预期的最后校准:ML 量化做得好时的合理产出是——比线性合成高 10%–30% 的 IC、更好的非线性交互利用、更自动化的因子迭代;不是夏普翻倍、不是「AI 挖出人类想不到的财富密码」。一个诚实的对照实验做法:同一份特征,分别跑线性回归、逻辑回归与 LightGBM——如果 LightGBM 的样本外 IC 没有高出线性 20% 以上,说明特征的线性部分已经吃干了信息,换模型的边际价值接近零(先做这个实验,再谈深度学习)。幻方式的 AI 量化 = ML × 十年数据工程 × 万卡算力 × 千人团队,缺一项都不可复制(见梁文锋 )。

关联阅读:合成层的技术机器学习策略 与特征工程 ;纪律的地基Walk-Forward ;AutoML 的边界自动化因子挖掘 。