2026-07-13 晚间随笔：相关性、数据稀缺性与不可说

数据和数据的相关性：不是所有行业都有「大数据」

我一直觉得，现在很多做机器学习的人，做事情的方式就是把所有东西都还原为数据和数据之间的相关性，不考虑逻辑联系，就看两个量之间有没有统计上的关系。但这里有一个很现实的问题：高质量的数据并不够多。 在一些场景下我们可能只能靠人工去分析其中的可行性和逻辑性，因为不是所有行业都像计算机科学里的某些领域一样，数据可以批量生产、批量处理，你多收集一点就有更多的东西可以用。有些行业可收集的数据是非常有限的，或者说生产这些数据的成本非常高。比如你生产一件衣服，你要真的把它卖出去、实际投放市场、去做市场调研，才知道有哪些人会买、哪些人会喜欢，而不是说在你没有付出成本之前就能得到「这个消费者会买这件衣服」的数据标签和相关性结论。在真正上架之前，你事先并不知道那个可能性到底是多少。

另一个更经典的例子就是股票市场，我最近在做量化。美股开盘时间久，时间维度上数据充裕，可以训练出一个很好的模型，可以用大量的历史数据去轮动。但在 A 股，一共也就开盘十多年，所有数据加起来就那么多，如果我们不关注这些数据之间的逻辑联系、不去解释它们，只是想把它们塞进一个黑盒子、让一个神经网络自己去理解，训练量根本就不够。我自己的训练经验也印证了这一点：如果用太大的模型，不仅速度慢，而且容易过拟合，因为模型过大，它的参数量比数据量所涵盖的信息还多，多出来的一些参数完全是冗余的。到后面我反而不得不用一些小模型去做训练，过拟合的可能性反而比大模型要小。容器太大，装进去的东西太少，结果就是空。

神经网络归根到底是统计学

从这个角度看，「神经网络或者人工智能归根到底是一门统计学」，这个观点我还是很认可的，其实以前也提到过类似的想法。我们用来训练的那些高质量数据，它们的平均值构成了模型的能力所在，模型相当于是在训练数据里面取了一个平均，不仅是数值上的平均，也可以抽象地理解成一种能力上的平均。模型越大，它能记住的东西也就越多，训练数据和模型大小之间需要一个相互匹配的关系，就像一个大脑容量：塞进去的知识有多少，它能记住、能取平均算出来的东西就有多少，一个是容器的大小，另一个是容器里装的东西的质量和数量。现在的这些大模型也好、小模型也好，它们能做的判断本质上就是在找输入和输出之间的相关性，就是一个概率统计的计算过程。

相关性容易，因果性很难

但这些机器学习模型，对于可解释性或者说因果性的能力，确实是弱的。弱的原因，我觉得主要在于：因果关系本身就很难判定、也很难标记，你很难说一个观点到底是对的还是错的、到底有没有道理，它可能在这个地方有道理，换个地方就没道理了。而且就算你能完完全全地把这个因果讲清楚，要花费的努力和成本也是极其高昂的，这个成本可能超过了「我们做这样一个因果分析」的价值，不如直接找一百万个相关性来得划算。所以我们在训练模型的时候，让它去学一个因果性、一个可解释性，确实是非常难的事情。当然现在强化学习、思维链这些已经在做相应的尝试了，试图找到因果性而不是局限于原来的相关性，方向是对的，只是还没到那个程度。

说到因果性，人和机器有一个本质的区别。机器学习模型的可解释性弱，是因为我们的训练方式决定了这个结果，成本方面的考量起了很大的作用。我们人去思考因果性、思考可解释性、理清逻辑问题，是没有计算这个「成本」的，很多人可能花一整天去思考一件事，花很多年去琢磨一个问题。但是打标签呢？你可以雇一小群人让他们在那儿干，一个人一天可以打很多很多标签。一个经济上的考量，在不经意间决定了现在的计算机模型长成什么样子。 当然如果有一天有人能把所有的文件都打上因果标签、提供一个足够庞大的因果数据集，然后让模型去训练、去记住这个平均值，那模型可能也会有因果推理的能力，只是现在还做不到。

有些东西可能就不该解释得太干净

最后聊到这，想起了之前讨论过的维特根斯坦。我觉得搞量子力学的人，到最后可能都会陷入一种搞哲学、搞维特根斯坦的路数，推导来推导去最后的结论差不多就是：你推不清楚的东西就别推了，你解释不清楚的东西就别解释了吧，在找到足够好的描述方式之前不要强行去解释它。他的观点确实也有可取之处，比如他说把科学定义为「寻找可解释性」这件事本身是一种科学崇拜、一种「科学主义」，好像什么东西都必须被解释清楚才行，但其实有一些东西是不可说的，或者不应该去追究到底的，应该把它们留给上帝。有点像中国那句老话：水至清则无鱼。 你把所有东西全都说得太清楚、不留一点余地、不留一点留白的空间，不一定就是一个理想的状态或者一个特别好的状态。

今天的一些思考，记录下来。