数据工程与因子数据 on 云栖

数据类型：行情、基本面、另类与宏观数据

Mon, 01 Jan 0001 00:00:00 +0000

数据决定了策略的「视力上限」：用日线数据做不出微观结构策略，用滞后财报做不出及时的基本面因子。本篇按四大类数据梳理其结构、用途与每类数据特有的陷阱——陷阱清单比功能清单更有价值。

行情数据：粒度即世界

粒度	内容	适配策略	关键陷阱
Tick/逐笔	每笔成交（价、量、方向）+ 逐档十档盘口快照	高频、做市、微观结构	数据量巨大（全市场日均百 GB 级）；A 股 tick 是快照不是真逐笔，3 秒内的先后顺序不可见
分钟 Bar	1/5/15/60 分钟 OHLCV	日内、短线	不同数据商的 bar 切分时点可能不同（1 分钟 bar 以左边界还是右边界命名）
日线 Bar	OHLCV + 复权因子	中低频、多因子	复权口径（后文）；成交量是否含大宗交易、盘后固定价格
指数与基金	指数点位、ETF 净值与 IOPV	基准、套利	指数口径（价格/全收益）——用价格指数算超额会漏掉股息

复权值得单独强调：分红除权会让原始价格序列「跳空」，必须复权才能算真实收益。后复权以上市首日为基准向后调整（价格连续、适合算收益），前复权以最新价为基准向前调整（图形直观、但历史价格随每次分红重算——缓存的前复权数据在分红后会与旧缓存不一致，这是回测版本漂移的常见元凶）。详见A 股数据特有问题。

基本面数据：核心是「时间戳」

基本面数据的困难从来不是数值，而是何时可知：

财报：报告期（12-31）≠ 公告期（次年 3–4 月）。任何因子计算必须以公告日为可知时点——用报告期对齐是基本面因子最大的前视偏差来源（见数据清洗）；
业绩预告/快报/正式财报：同一指标有三个可知时点，PIT 数据库要区分「哪个版本在哪个日期生效」（更正公告也要处理：后来修正过的数字，当时市场看到的是旧值）；
一致预期（分析师预测）：滚动 12 个月的共识 EPS、预测调整方向。陷阱：分析师覆盖度随市值急剧变化——小盘股可能只有 1–2 个分析师，「共识」噪声极大，因子要对覆盖家数做过滤；
股东户数、北向持股、大宗交易、回购进度：披露频率不一（周度/日度/事件驱动），对齐时要用「最近一次披露值 + 披露日期」的双列结构。

另类数据：alpha 的富矿与合规的雷区

广义另类数据（替代数据）的四类代表：

类型	例子	量化用法	主要风险
舆情文本	新闻、社交媒体、研报情绪	情绪因子、事件识别	语义模型偏差；数据商用数据反灌（自我实现后失效）；造假刷量
卫星/地理	停车场车辆、油罐阴影、夜间灯光	产量与客流的高频估计	成本高；对个别公司适用面窄
供应链/企业图谱	招投标、上下游关系、招聘	产业链传导因子、景气验证	数据稀疏；滞后于真实业务
交易行为	北向资金、龙虎榜席位、大宗折价	资金流因子	披露规则变化会直接杀死因子（北向实时数据 2024 年停止披露）

另类数据的两条纪律：合规先行——爬虫抓取要过《数据安全法》与 robots 协议的红线（详见数据来源）；检验标准不降级——另类不等于免检，同样的 IC/分组/成本检验流程照走（见因子检验）。

宏观与行业数据：低频但重要

月度/季度/年度的宏观序列（PMI、CPI、社融、M2、利率、汇率）与行业数据（产量、库存、开工率）。三个使用要点：

发布滞后必须建模：PMI 月末发布（当月值）、社融次月中旬发布（上月值）——「用 1 月社融」最早在 2 月中旬才知道。宏观数据的前视偏差比财报更隐蔽，因为「月」的归属天然含糊；
修正是常态：GDP、工业增加值几乎每年修正，PIT 存档「首次发布值」才有意义（市场当年交易的是首值）；
低频限制样本量：20 年月度数据只有 240 个点——宏观因子检验天然统计功效不足，结论要格外谦逊（见多重检验）。

选型的统一原则：数据的粒度与频率必须匹配信号频率（日线因子不必买 tick）；每接入一类新数据，先花一天做「陷阱审计」（时间戳口径、复权口径、披露规则），再写第一行因子代码——审计的花费永远低于用错数据的回测误导成本。

关联阅读：数据来源解决从哪里拿；数据清洗解决怎么处理；A 股数据特有问题是本篇的国内落地版。

数据来源：商业数据商、开源数据与爬虫边界

Mon, 01 Jan 0001 00:00:00 +0000

数据方案的选型原则：与研究阶段匹配，并为升级留接口。个人研究用免费数据起步完全合理，但必须知道免费数据的口径边界在哪里——用错口径的免费数据，比没有数据更危险。

商业数据商

数据商	强项	量化视角备注
Wind	国内机构标准配置；宏观数据、一致预期、快讯最全	不同终端账号的导出权限不同；API（WindPy）稳定性一般
聚源(GilData)	证券基础数据与财报的机构老牌口径	很多券商金工平台的底层数据源
同花顺 iFinD	性价比高，API 友好	增长中的选择，行业分类口径与聚源有差异
Bloomberg/Refinitiv	全球市场、固收与外汇深度	成本高；国内 A 股口径反而不如本土商细
米筐 RQData/聚宽 JQData	面向个人的 A 股 API，文档友好、复权处理正确	按调用计费；适合中等规模个人研究

机构选型的「隐藏维度」——价格表上看不见、却决定 PIT 可行性的三项，采购前应做实测样例验证：

历史回填质量：退市股票的行情与财报是否完整。测试方法：拉取乐视网（2019 退市）、康得新（2021 退市）、欣泰电气（2017 强退）三家 2015–2018 的完整日线与财报——任何一张表缺月，你的小市值/ST 研究就有洞（幸存者偏差的源头，见数据清洗）；
公告日字段准确性：抽查 10 份年报，对照巨潮资讯网的原始公告日期——数据商把「报告期」当「公告日」填充的字段并不罕见，这一项错，所有基本面因子全错；
修正存档：GDP/盈利预测被修正后，能否取到「当年首次发布值」。不能 = 宏观与一致预期因子的回测全部带前视。

开源与免费数据

来源	覆盖	适用	主要边界
akshare	极广（股、期货、宏观、另类）	探索、原型	接口爬取公开网页，稳定性与口径一致性无保证；勿用于生产
tushare	A 股为主，积分制	个人日频研究	财务数据有公告日字段（可贵），高频受限
baostock	A 股日线	轻量入门	无财报、复权口径需验证
yfinance	美股/全球	海外研究	Yahoo 口径，复权与停牌处理粗糙
交易所官网	L2 样本、月度统计	制度研究	格式各异，需自行清洗

免费数据的三个必检项（任何来源都要过，附具体检查动作）：

复权因子正确性：挑 3 只高分红股（如工商银行、长江电力、双汇发展），对每个除息日验证：后复权价差 ≈ 分红金额 + 除权缺口。对不上的来源，所有收益计算作废；
公告日字段：随机抽 5 条财报记录，对照巨潮公告原文日期——有公告日的来源（tushare Pro）才配做基本面因子；
退市样本存在性：查询 2018 年前上市、现已退市的股票名单，能取到行情的占比 < 90% = 样本有系统性漏洞。

爬虫：能力与红线

技术能力不是问题，合法边界才是。国内框架下的三条硬红线：

《数据安全法》/《个人信息保护法》：不得爬取个人身份信息（手机号、身份证、住址）；不得大规模抓取重要数据出境；
robots 协议与反爬对抗：绕过验证码、破解加密接口、伪造 UA 高频抓取，可能触碰《反不正当竞争法》与《刑法》非法获取计算机信息系统数据罪——「技术上能爬」不等于「法律上能爬」；已有量化从业者因爬取并商用券商研报数据被追究的先例；
授权数据的再分发：用商业数据商的数据训练的因子值对外销售，通常违反授权协议——机构内部这也是审计重点。

合规的替代路线：优先用官方公开 API（交易所、统计局、中登公司月报）；需要另类数据时采购有授权的供应商产品；爬虫仅限于对公开、非个人、低频信息的温和获取（并保留合规审查记录）。

数据方案的阶段化建议

阶段	方案	月成本量级	升级触发点
学习与原型	akshare/baostock + 本地 CSV	0	因子数 > 3 或回测区间 > 5 年
严肃个人研究	tushare Pro 或 JQData/RQData + Parquet 本地库	几百元	涉及财报因子 / 开始模拟盘
小型私募/产品	iFinD/聚源 API + 自建 PIT 库 + L2 采购	数万元	产品化 / 对外披露业绩
机构	多源冗余（主源 + 校验源）+ 数据团队	数十万以上	—

多源校验值得强调：生产级系统永远不应该只有单一数据源——每天收盘后跑一次「主源 vs 校验源」的抽查比对（收盘价、成交量、股本），差异超阈值即告警。真实案例形态：某数据商接口升级时把复权因子口径静默改掉，单一数据源的用户两周后才从「策略绩效异常」倒查出原因——而多源校验的用户当晚就收到告警（监控设计见数据质量监控）。数据商也会出错，而你的策略没有借口。

关联阅读：数据类型决定你需要哪些字段；数据清洗是拿到数据后的第一道工序；另类数据的检验流程见因子检验。

数据清洗：缺失、异常、幸存者与 PIT

Mon, 01 Jan 0001 00:00:00 +0000

「回测年化 30%，实盘 -5%」的第一嫌疑人永远不是策略，而是数据清洗。本篇四节对应四种最贵的清洗错误：缺失值处理不当（假收益）、异常值放任（假信号）、幸存者偏差（假基准）、前视偏差（假未来）。最后给出 PIT 数据库的最小设计——它是根治「时点错乱」的工程方案。

缺失值：先问「为什么缺失」，再问「怎么填」

缺失不是缺陷而是信息：停牌导致的行情缺失意味着「不可交易」；财报缺失可能意味着「尚未披露」（正常）或「永久缺失」（退市）。决策树：

行情缺失（停牌）：不能 fillna(0)（等于假设停牌日免费平仓）。标准做法：价格 ffill 沿用、收益置 NaN、回测引擎在收益为 NaN 时禁止调仓——停牌股既不能买也不能卖，持仓冻结到复牌。复牌日要用后复权价差计算真实跨停牌收益；
财务数据缺失：区分「未到披露期」（正常，用最近一期已知值）与「未披露/延期」（信号：质量警示因子可用「披露延迟天数」）；新三板与部分小盘股长期缺数据，直接纳入会污染因子；
分析师数据缺失（无覆盖）：不是 0 而是缺失——「0 个分析师预测」与「预测为 0」是完全不同的两回事，pandas 的 NaN 语义恰好正确，别手贱 fillna。

填空的通用守则：任何填充操作之前，先统计缺失率与缺失的时间分布（缺失集中在某段时间 = 数据源事故，不是市场现象）。

异常值：是错误，还是真实的市场？

清洗的第一原则：先怀疑数据错误，再接受极端真实。

明确的错误：价格 = 0 或负数、成交量 = 负、收盘价偏离 ±50% 而无除权记录、2020-02-03 之外的「全线跌停」日——修复或置 NaN；
真实的极端：2020-02-03（疫情后开盘 A 股 3000+ 只跌停）、2024-02 小微盘连环跌停、WTI 负油价。这些必须保留——它们正是策略尾部风险的真实样本。把极端日「平滑掉」的回测，等于把压力测试的答案提前销毁；
判断工具：对照除权除息表（跳空是否有公司行动解释）、对照公告（停牌？重大事项？）、对照多数据源（另一家数据商同日同价吗）。

因子层面的 winsorize（如 ±3MAD 截尾）是另一件事：它是统计稳健性处理（防止一个异常值主导回归），发生在因子计算阶段；而数据层的异常值处理发生在因子之前。两层不要混淆——数据层修复错误，因子层控制影响。

幸存者偏差：你的股票池里有没有死人

只回测「今天还存在」的股票，等于只研究「活到决赛的选手」：退市股（往往是跌得最惨的）、长期 ST、被合并的标的全部缺席。A 股退市率历史上不高但 2020 年后显著上升，影响在小盘策略里尤其致命——小市值策略天然超配「即将退市」的股票，不含退市股的小市值回测是量化界最经典的自我欺骗。

工程解法：用「当时在市」的动态股票池——每个月的回测截面，股票池 = 截面日所有上市交易的股票（含后来退市的），需要数据商提供完整的历史成分与退市记录。检验自己的数据：随便挑一只知名退市股（如乐视网），查它的历史日线与财报能否完整取到——取不到，你的回测全部打折（见数据来源的采购检验项）。

基金研究的同款陷阱：只统计现存基金 = 把所有清盘基金（多数业绩差）开除出样本，行业平均收益被系统性高估。

前视偏差的三种形态

数据前视：用报告期而非公告日对齐财报（最常见）；用当日收盘价决定当日买入；用前复权缓存的旧版本；
参数前视：用全样本优化的参数「回测」同一样本（见过拟合）；
流程前视：股票池用今天的指数成分回测十年前；行业分类用最新申万映射回历史（申万 2021 年大改版，行业因子因此漂移，见行业分类变更）。

自检问题清单：在回测的每一天 t，这段代码读取的每一个字段，其「可知时间」是否都 ≤ t 的决策时点？ 能对每个字段答出「是」并指出字段来源，才算过关。

PIT 数据库：把「时点」做成工程

PIT（point-in-time）数据库的核心设计：每条记录带生效区间，而非只带报告期。

1
2
3


code, metric, report_period, announce_date, value
600519.SH, net_profit, 2025Q4, 2026-04-02, 862.3亿
600519.SH, net_profit, 2025Q4, 2026-08-20, 858.1亿 ← 修正公告（旧值作废）

查询接口只有一个语义：get(code, metric, asof=t) 返回 t 时刻市场真实可见的最新值。三条实现纪律：

永不覆盖，只追加：修正公告追加新行并带 announce_date，旧值保留（必要时标 deprecated）；
回填即造假：发现历史数据缺失时「按现在的认知补上」会让 PIT 退化成普通数据库——缺失就缺失，留空；
行情、财报、行业、股本全部 PIT 化：股本变动（送转）、行业变更（申万改版）同样有时点问题。

个人研究的最小 PIT 方案：tushare 的财报公告日字段 + 一张自维护的「生效区间表」，配合 asof 查询函数——半天工作量，换来基本面因子的第一道诚信保险（更完整方案见因子存储与版本管理）。

关联阅读：数据类型的每类数据陷阱是本篇的输入；公司行动处理是 A 股落地细节；回测偏差大全展示这些错误在回测层的最终形态。

因子存储与数据质量监控

Mon, 01 Jan 0001 00:00:00 +0000

研究早期，因子是散落在 Notebook 里的几行代码；研究成熟后，因子必须成为可复用、可审计、可监控的资产——因为组合模型每天都要消费几十个因子的最新值，任何一个静默出错都会污染仓位。本篇讲因子资产的工程化：存储、版本、流水线与质量监控。

因子的存储模型

因子输出是统一形状的三维数据：因子 × 日期 × 股票。两种主流存储：

宽表（每因子一张 Parquet 表，index=日期，columns=股票代码）：与研究代码的 DataFrame 直通、按因子读取快。适合个人与中小团队。缺点：加股票要改所有表、稀疏（停牌日）占空间——用 nullable 类型 + 压缩可解；
长表（一张大表，列 = date, code, factor, value）：按日期/股票切片灵活、新增因子零迁移、对数据库友好。适合因子数 > 数百的团队。可上 ClickHouse/DuckDB（见调度与数据库）。

无论哪种，必须与因子元数据表配套：

1
2


factor_meta: factor_name, version, definition(公式/伪代码), universe(适用股票池),
 frequency, window(回看窗口), depends_on(依赖字段), owner, created_at, status

「这个动量因子用的是 20 日还是 60 日、复权了吗、含不含 ST」——半年后没有人记得，元数据表就是记忆（这与Git 的 commit 纪律同构：因子定义的每次修改提交一次，version 递增）。

版本管理：因子值是会漂移的

同一因子名的值随三件事漂移：定义修改（v1 用 20 日、v2 用 60 日）、数据回填（数据商修正历史财报）、股票池调整。不管理版本的下场：三个月前的回测结果无法复现，且说不清是因子变了还是数据变了。

最小可行方案：因子表名带版本（momentum_60d@v2），新版本生成时跑一次新旧对比报告（相关性、IC 差异、差异最大的 20 个股票-日期对），人工确认后切换默认版本、旧版本只读归档。这是「数据层的 A/B 测试」（见实验设计）。

每日更新流水线

生产因子的更新是一条定时流水线（工程骨架见任务调度）：

1
2


17:00 行情落地 → 17:10 校验通过 → 17:15 计算增量因子 → 17:20 质量检查
→ 17:25 写入正式表(原子切换) → 17:30 通知策略层

三条工程纪律：先写临时表、校验通过后原子重命名（绝不直接覆盖正式表——写到一半崩溃会让策略层读到半张表）；增量计算要定期全量重算对账（每月一次全量重算，与增量结果 diff，捕捉滚动窗口类因子的累积误差）；依赖排序（财报因子依赖财报表更新完成，用调度器声明依赖而不是猜时间）。

数据质量监控：六项检查

每天因子落地后自动运行，任何一项失败即告警并冻结策略信号（宁可停一天，不可带病交易）：

新鲜度：最新日期 = 预期交易日；行数 vs 股票池规模的偏差 < 2%；
零方差检测：某因子当日全市场标准差 ≈ 0 → 计算逻辑异常（如数据没接上全为默认值）；
极值占比：|z| > 5 的比例突变（正常 < 0.5%）→ 单点异常或数据源切换；
缺失率突变：某字段缺失率较 20 日均值跳升 > 3σ → 上游接口变化；
横截面秩稳定性：与昨日相比，因子排名的 Spearman 相关骤降（非调仓日）→ 排序被污染；
回溯对账：随机抽 20 个股票-因子-日期三元组，用「当时的原始数据 + 当前代码」重算比对——捕捉「代码悄悄变了」的漂移。

这六项检查是「多源校验」之外的最后一道防线——数据商接口静默变更、上游口径调整、代码意外退化，都会在其中一个检查上现形（数据来源的多源方案见数据来源）。

与策略层的契约：策略代码只读「正式表 + 版本号」，并在日志中记录当日消费的每个因子版本——回撤归因时才能回答「当时组合吃的是什么版本的动量」（见事后风控）。

成本意识的提醒

因子工程的复杂度要与研究规模匹配：5 个因子 + 1 个人，宽表 + Parquet + 上面这套检查的「手动脚本版」就够；别在因子数 < 10 时搭建分布式特征平台——工程应该追着研究的需求跑，而不是反过来（见生产系统架构的「何时升级」讨论）。

关联阅读：数据清洗是流水线中「校验」一步的依据；Alpha 研究流程定义因子从 idea 到入库的完整路径；生产运维把流水线纳入 CI/CD。

A 股数据特有问题：复权、停牌与行业变更

Mon, 01 Jan 0001 00:00:00 +0000

A 股的数据坑是「制度性」的：不是数据质量问题，而是市场规则投射到数据上的必然形状。本篇四个主题，每一个都对应一类反复发生的回测事故。

复权与除权除息：算收益的命门

分红送转让原始价格序列产生跳空，不复权直接算收益会把除息日当成暴跌。三种口径的取舍：

口径	基准	用途	陷阱
不复权	—	与实盘委托价对齐、盘口分析	不能跨除权日算收益
前复权	以最新价为锚向前调整	画图直观、技术指标	历史价格随每次分红整体重算；技术指标的历史值漂移
后复权	以上市首日为锚向后调整	收益计算、回测的价格序列	价格与实际盘口价脱钩（可用于判断「能不能成交」的只有不复权价）

回测的黄金组合：收益与信号计算用后复权（稳定、不漂移），成交与限价判断用不复权（真实委托价），除权日单独处理（按分红方案把昨日持仓的股数与成本调整，而不是靠复权价隐含处理——组合层的送转要「股数×2、价格÷2」地显式处理）。

前复权缓存漂移是最隐蔽的事故，算一个具体例子：2026 年 6 月某股每股分红 0.5 元（股价 25 元，2%），前复权把 2020 年以来全部历史价格整体下调 2%——你 5 月缓存的信号值、算好的技术指标、乃至当年的回测曲线，在 6 月全部「悄悄变了」。新旧缓存混用时，回测里出现「幽灵收益」。对策：只缓存后复权 + 复权因子两张表，前复权按需实时计算；任何缓存表记录「生成时间 + 覆盖的除权事件上限」（见因子存储与版本管理的对账思想）。

停牌：不可交易的建模

A 股停牌曾长期任性（2015 年千股停牌），2018 年后制度收紧但停牌仍常见。回测必须在三层显式建模：

信号层：停牌日因子值冻结（ffill）或缺失，该股当日不可买入（挂单也成不了交）；
组合层：已持仓的停牌股冻结——既不能卖也不能调权重。2015 年股灾中大量基金「停牌股撑住净值」的假象（复牌后补跌）就是这个机制的反面教材；回测里把停牌持仓按冻结处理，净值曲线才会诚实反映复牌补跌。量化其影响：若组合 8% 权重的持仓停牌 2 个月、复牌补跌 30%，回测里「冻结处理」与「假设照常交易」的净值差可达 2.4 个点——足够改变策略评级；
成交层：复牌首日波动巨大，成交假设要保守（见数据清洗的「穿越成交」原则）。

涨跌停与 ST：价格边界的两层含义

涨跌停（主板 ±10%、创业/科创 ±20%、北交所 ±30%、ST ±5%）对回测的三层影响：

收益层：涨停价收盘 → 次日惯性（打板策略的制度基础）；跌停封死 → 你挂在跌停价的卖单排在几十万手之后，大概率不成交。回测里「跌停日止损成功」是最常见的乐观偏差——正确建模：跌停封死时卖单不成交，顺延次日；
可交易层：涨停封死时买单同样无法成交——动量类策略「信号出现但买不进」的容量与收益都要打折。检验方法：统计信号日的涨停占比，>10% 就要认真处理；
成本层：接近涨跌停时的 spread 与冲击成本急剧放大，成本模型要对「距涨跌停的距离」分档（见交易成本分解）。

ST：风险警示股涨跌幅 5%、退市风险高、流动性差。多因子模型的常见处理：直接剔除（注意「剔除」本身要在 PIT 上做——用「当时是否 ST」而不是「现在是否 ST」）；或保留但加流动性过滤。小市值策略对 ST 处理最敏感：剔除 ST 后历史收益通常显著下降——这个下降是真实的（你在放弃真实市场里的一类风险收益），要在报告里披露而不是当作噪音（见站内原文小市值策略实战复盘对此的实战讨论）。

行业分类变更：申万改版的教训

行业因子与中性化都依赖行业分类，而行业分类会改版：申万 2021 年大改（一级 28 → 31 个，大量个股重分类）。用「最新申万分类」回测历史，等于让 2019 年的银行股被分进 2021 年的口径——中性化因子的历史表现系统性失真。

工程方案：行业表做成 PIT 结构（code, industry_sw, effective_from, effective_to），回测截面用「当时生效」的分类；跨口径研究（新旧对比）单独建映射表。中信、证监会、同花顺分类同理，且不同体系的「行业」粒度与逻辑不同（申万偏投资口径、证监会偏监管口径），跨体系混用是行业轮动研究的常见翻车点（见行业与主题）。

本篇总结成一条工程铁律：A 股数据的每个「特殊处理」（复权、停牌、涨跌停、ST、行业）都应该是回测配置里的显式开关 + 单元测试覆盖，而不是隐藏在数据预处理黑箱里的隐式行为——制度假设显式化，回测才可审计（见回测框架设计）。

关联阅读：权益类市场对比的制度清单是本篇的上游；A 股量化约束从策略层量化这些约束的影响；数据清洗是通用方法论。