统计推断回答一个量化每天都要面对的问题:**观测到的规律,是巧合的概率有多大?**本篇以「检验一个选股因子是否有效」为主线,把假设检验、回归分析与多重检验串成一条完整的研究流水线。
假设检验:你的因子是真的吗
以月度 IC(因子值与下月收益的横截面相关系数)为例:算出 60 个月的 IC 序列,均值 0.035、标准差 0.12。要回答「均值显著非零吗」:
- 原假设 H₀:真实 IC = 0(因子无效);备择假设 H₁:真实 IC > 0;
- 检验统计量:
t = mean(IC) / std(IC) × √T = 0.035/0.12 × √60 ≈ 2.26; - 5% 显著性水平下单边临界值 1.645,t = 2.26 越过临界线 → 拒绝 H₀。
对 p 值的正确理解只有一句话:在「因子无效」的世界里,观测到这么强(或更强)的 IC 序列的概率。它不是「因子有效的概率」——后者是贝叶斯后验,需要先验才能计算(见概率论基础 )。三个高频误用:p = 0.049 与 0.051 没有本质差别;p 值小不等于效应大(IC 0.02 在超长样本下也「显著」);显著不等于可交易(还要看容量与成本,见因子检验 )。
置信区间是同一枚硬币的反面:IC 均值的 95% 置信区间 ≈ 0.035 ± 1.96 × 0.12/√60 = [0.005, 0.065]。区间下限 0.005 才是风控视角最该盯的数字——最坏情形下因子可能只值这么点,而 0.005 的 IC 在扣完成本后很可能不够。
夏普比率的显著性同构:t ≈ Sharpe × √年数。夏普 1.5 的策略要 2 年以上样本才在 5% 水平显著(1.5×√2≈2.12)——这就是为什么「跑三个月回测就宣布策略有效」在统计上站不住。
多重检验:回测了 1000 个因子之后
致命场景:你检验 1000 个纯噪声因子,5% 显著性意味着期望约 50 个会「显著」。如果你只汇报这 50 个——这不是发现,是数据挖掘的必然产物。学术论文的因子动物园(数百个声称显著的因子)与此直接相关。
三道防线:
- Bonferroni 校正:显著性阈值除以检验次数(0.05/1000 = 0.00005)。极保守,适合「一个都不想错杀」的场景;
- Benjamini-Hochberg(FDR 控制):控制错误发现率——在所有被拒绝的原假设中,假阳性比例的期望 ≤ q(如 10%)。做法:把 p 值排序,找最大的 k 使
p(k) ≤ k/N × q。研究性场景的标准选择; - 样本外验证:把数据锁进保险柜,留到最后开一次(见样本内外与 Walk-Forward )。这是唯一对「研究者自由度」完全免疫的防线。
老手纪律:记录全部尝试次数。检验报告里写「本假设来自第 37 次尝试」,比任何精致的 p 值都更有信息量。
回归分析:从 OLS 到 Lasso
OLS(普通最小二乘):r = α + β₁f₁ + β₂f₂ + ε,求使残差平方和最小的系数。量化中的两大地盘:
OLS 的关键假设与破绽:残差与解释变量无关(内生性破坏 → 遗漏变量偏误);残差同方差、无自相关(金融时序几乎必然违反 → 用 Newey-West 修正标准误,否则 t 值虚高);多重共线性(价值因子与盈利因子相关性 0.7+ → 系数大幅漂移、不可解释)。
岭回归(Ridge):在损失函数中加 λΣβ² 惩罚,把系数向零收缩。治疗多重共线性:20 个相关性很高的风格因子同时进入收益预测时,OLS 系数会在样本间剧烈摆动,岭回归给出稳定但略保守的权重——预测场景里,稳定性比无偏更重要。
Lasso:惩罚改用 λΣ|β|,能把一部分系数精确压到零——自带「选因子」功能。场景:从 200 个候选因子中挑出 15 个进入正式模型。注意两个坑:被选中的因子不等于「更有效」(相关因子组里 Lasso 常只留一个,选择带随机性);λ 要用时间序列交叉验证(前 K 年训练、后 1 年验证)而不是随机 K 折——时间序列随机打乱等于泄漏未来。
平稳性与单位根:为什么不能对价格直接回归
平稳性:序列的均值、方差、自相关结构不随时间变化。金融价格的残酷事实:价格几乎必然非平稳(有趋势、方差随水平放大)。在非平稳序列之间做回归会得到伪回归(spurious regression)——两个毫不相关的随机游走,R² 可以轻松超过 0.9,t 值显著——因为它们都随时间漂移,回归「解释」的只是共同的时间趋势。
实操守则:
- 对收益率建模,不对价格。收益(差分/对数差分)通常接近平稳;价格永不停歇地漂移;
- 单位根检验(ADF):原假设「存在单位根(非平稳)」。p < 0.05 → 拒绝 → 视为平稳。对每个进入模型的价格类序列先过一遍;
- 例外是协整:两个各自非平稳的价格,其线性组合可能平稳——这正是配对交易的数学地基(OLS 残差的 ADF 检验,见均值回复与协整 )。
一个新手常犯的变体:用「股价 vs GDP」直接回归得到「GDP 解释股价 80%」——两个都在长期上涨的序列,几乎任何组合都能回归出高 R²。先差分、再回归,结论往往面目全非,而那才是真相。
关联阅读:概率论基础 是本篇的概率地基;线性代数 处理回归的矩阵视角与共线性;Alpha 研究流程 把本篇的检验纪律工程化。