如何解决回测过程中数据挖掘的问题是很多管理人——尤其量化类管理人——经常要面对的灵魂拷问。诸如“基于历史的回测如何应对未来”、“基于数据的暴力挖掘如何保证稳定性”等问题几乎是每场路演都要面对的。但一个如此老生常谈的问题被如此经久不衰地提出，说明管理人的确还没有打消投资人的疑虑，不管从原理上还是结果上。本文将同时站在管理人和投资人的视角试图梳理一下数据挖掘问题的根源在哪里，然后再探讨可能的应对方案。
首先我们认为，数据挖掘问题的根源不在于回测是“基于历史的”。主观策略的模型和逻辑也是基于历史的。理论上说，只要不是基于“演绎法”的推断都是“基于历史的”。而经济学，作为一门社会科学，基本是靠“归纳法”打天下的。经济学中几乎所有的理论和模型都是基于对历史和过去的研究而归纳总结所得。从凯恩斯到康波甚至到马克思主义政治经济学，哪一个不是强调经济学家在作了大量社会观察和历史经验总结后才得出的结论呢?谁也不是“凭心而论”的。至少我们很难想出一个类似物理学领域能够只依赖计算而发现星体的案例。而有意思的是明明主观类策略依靠的也是建立在“归纳法”之上的经济学逻辑，我们对主观类策略好像很少提出这样的问题，我们很少会挑战主观管理人或者卖方经济学家说“嗯，你过去说的都对，但我凭什么相信你下次还会说对呢”。所以原因并不在基于历史。当然，稍稍深挖一点的话，那么“模型的数据基于历史”与“模型背后的逻辑是基于历史经验总结所得”这两者有一定区别的。但谁又能找到一个基于“未来数据”的模型呢?往大了说，投资永远在做基于过去预测未来的事情，这与很多基于当下研究当下的工程学问题有本质的不同，就跟P-quant和Q-quant的差别一样。也许期权定价和高频套利已经是最接近“关注当下”的工程端的了。(插个题外话，我们一直认为，投资本质上是一个社会科学的问题，而不是工程学的问题。两者的区别在哪里，以后会有文章单独论述的，这里就稍稍提一点，机器学习人脸识别课堂级入门算法的准确率都是95%以上的，投资的胜率能有60%就是大师了，为什么?)
然后我们认为，数据挖掘问题的根源也不在于模型是“基于数据”的。与“基于数据对应的自然是“基于逻辑”的模型。而经济学领域的逻辑也是基于数据的，有什么脱离了数据的纯模型呢?即使是Law of Diminishing Demand这种貌似仅凭心智就能得出的推论也需要在经过数据的校验后引入吉芬商品(如奢侈品)这样的例外。这还是如此底层的概念，稍稍上层一些的更是如此。甚至逻辑在没有经过数据验证以前都叫hypothesis，不能叫理论。所以经济学很注重实证研究，当假设与实证观察不符的时候需要调整的更多是hypothesis。与之相比，数学领域貌似大多没有实证一说，证明就行了。物理也是允许有脱离了实证的纯理论(如弦理论)或者理论大大领先实证(如广义相对论、量子力学)的存在的。所以，在投资领域不管是数据本身还是模型都是基于数据的。试图寻找脱离了数据的纯理论“圣杯”这条路大致是走不通的。
那问题出在哪儿呢?我们的观点很明确，就是这种基于历史数据的归纳型研究有没有着力在因果性上，还是只是基于相关性的挖掘。基于历史没有问题，基于数据也没有问题，问题在基于了相关性。相当多的回测都只是在暴力挖掘因子数据与资产收益之间的相关性而已。
与人脑相比，算法最大的优势是在低维度结构化数据上暴力挖掘相关性。由于计算效率比较高(相对人脑)，算法很容易陷入无脑蛮干的挖掘工作中去，而抛下对事物本质的思考。因为对本质的思考往往需要在高维度的非结构化数据领域里产生。我们很容易让算法做各种单因子甚至多因子的线性回归，但是多个因子之间在不同时间序列阶段的非线性交互作用是传统算法(机器学习算法除外)不擅长处理的，而这恰恰是人脑这个黑盒子比较擅长的。只是人脑在处理这样的数据时有几个不足:第一只能处理小数据量;第二自己都无法解释和阐述这种处理的过程;第三不稳定。现在可以call back一下刚才为什么大家很少质疑主观类管理人数据挖掘问题了。因为计算资源有限和计算能力特性，依赖人脑的主观管理人天生是在用针对小数据的因果性研究来与这个世界抗衡的。给他几个数据项，他就开始思考这里面有什么样的因果性，谁也不会把大脑这种15-20瓦的计算资源浪费在一个诸如双均线带过滤策略几十万个参数集的暴力挖掘上，那其实是人肉计算器。传统算法的好处是计算量很大，但计算目标本身的价值并不大。扬长可以，不能不避短。举个栗子，同样是做展期收益，大致什么周期，截面还是时序，主要靠交易还是主要靠持有，等金额还是等风险，板块内要不要加权，需不需要加动量过滤，如何加动量过滤，如何定义展期收益，这些问题加一块儿少说可以有百万种参数组合。无脑跑一遍的话我不知道跑出来的结果有何意义。为什么这么说:
因为投资永远是在通过对过去的研究和总结来预测未来。这种从过去到未来的继承是需要很大的稳定性前提假设的，而这种稳定性最好的来源就是因果性。因果性越强，逻辑的成分越多，继承的概率就越大，继承的部分就越多(虽然我们终究无法从根本上解决预测未来这个问题)。我们看到了三百次闪电以后会打雷，我们也看到了三百次白天鹅，我们还看到农场里的火鸡在圣诞节前高高兴兴地活了三百天，但是不同的因果性让我们对事物的未来产生了不同的置信度。因果性越高，产生相同置信度要求的数据量就越少(也越适合人脑)。没有因果性的话前面那个展期收益策略跑一千万个回测也不会让人放心的。但假如我经过逻辑思考没有跑任何回测就能大致得出“中周期的截面，以持有为主，并且板块内加权更合适”这个前提的话，那既能让我的回测数量降低了3-4个数量级，还大大提高了回测结果的稳定性。
需要澄清的是，上述所说的稳定性是指从过去继承到未来的稳定性，是一个非常宽泛的概念，包含了很多因素，与统计学里狭义的公式化的稳定性不是一回事儿。统计学里的稳定性指的是某一条时间序列数据在过去在过去在过去某个特定时间段展现了稳定的特性。这恰恰不是我们最关心的，因为我们关心的是从过去到未来的稳定性。我们最多将统计意义上的稳定性当作参考或佐证，而不是依据。很多量化研究员上来就无脑先做个平稳性测试，大多也是为了做而做，做完不了了之。另外，统计学上还有个更大的misnomer(错误命名也好，用词不当也好)，就是Granger Causality(格兰杰因果关系)。严格地说，Granger Causality测试的是在过去某一段时间里因子数据与下一时刻的资产收益表现有无相关性。A因子在t时刻的数据与B资产在t+1时刻的表现有相关性自然是好事儿，但那不等于因果性!
这里可能存在了分歧。的确有不少人认为基于过去t-n时刻相对t-n+1时刻的分析是可以简单应用到未来的t相对t+1时刻的。即使偶尔心里没底，也并不是思考为什么会失效什么时候会失效，而是通过加强对过去的挖掘来掩盖对未来和失效的惶恐。而我们认为，quantitative research并不能简单等同于统计学，只有把经济学和统计学结合在一起才是好的quantiative research。定量分析并不是和定性分析二元对立的。定量分析可以更好地发现在过去有用的东西，而定性的思考能帮助我们更好地应对从过去到未来的继承性。所以，我们的口号是，"either始于逻辑终于回测，or始于挖掘终于逻辑”。通过定量与定性的结合来应对数据挖掘。也很喜欢AQR的approach,"Fundamental lnvesting, Systematically Applied, Thoughtfully Designed"。
因为我们不觉得定量分析能轻易自我解决因果性的问题(机器学习里的“涌现”我们将来另行探讨)。因果性是通过对逻辑的思考和研究的结果。这种研究可以是纯定性分析，也可以是定性+定量分析。始于逻辑终于回测和始于挖掘终于逻辑，都是试图将定性与定量结合起来。我们对于逻辑的要求并不高，只要说得出哪怕沾一点边的都行，因为反正还有回测来验证。当然逻辑性越弱，那么定量分析的control experiment要求就越高，反之亦然。但如果真的用了半天类似于
的因子，却连哪怕沾一点边的逻辑都说不上来的话，就很难跟数据挖掘撇清关系了。
还有个问题经常被附带问到，“那这些定性的东西不是主观了吗”?想回答两点。第一，研究过程中的主观和执行过程中的程序化是两码事儿。说实话我还没见过研究过程是程序化的呢。那还要量化研究员做什么?第二，投资是一件可以全流程完全程序化的事情吗?很多人其实也并没深入思考过平时挂在嘴边的程序化究竟是指执行程序化还是全流程程序化。具体本文就不展开讨论了，以后单独论述。
综上所述，好的量化研究不是埋头于数据堆中的暴力挖掘。缺乏定性的思考，只能是在用战术上的勤奋掩盖战略上的懒惰。基于过去的定量研究需要通过因果性来继承到未来。这种因果性很多时候是建立在定性分析和逻辑思考之上的。突然想起French & Fama，Black & Scholes，大师们好像都是more a thinker than a miner!
免责声明：上海心格私募基金管理合伙企业是中国基金业协会登记备案的私募证券基金管理人，从事私募证券投资基金管理业务。本研究内容仅作为交流参考使用，本公司所管理的产品可能已经反映本文所述观点，也有可能没有反映本文所述观点。本文观点无意构成任何投资建议，阅读者在使用该文观点时应自行独立判断决定，并承担投资所带来的各种风险。