2026-07-13 晚间随笔：相关性、数据稀缺性与不可说

一、数据和数据的相关性：不是所有行业都有「大数据」

我一直觉得，现在很多做机器学习的人，做事情的方式就是把所有东西都还原为数据和数据之间的相关性。不考虑逻辑联系，就看两个量之间有没有统计上的关系。

但这里有一个很现实的问题：高质量的数据并不够多。

在一些场景下，我们可能只能靠人工去分析其中的可行性和逻辑性。因为不是所有行业都像计算机科学里的某些领域一样，数据可以批量生产、批量处理，你多收集一点就有更多的东西可以用。

有些行业，可收集的数据是非常有限的。或者说，生产这些数据的成本非常高。

比如你生产一件衣服，你要真的把它卖出去、实际投放市场、去做市场调研，才知道有哪些人会买、哪些人会喜欢。而不是说在你没有付出成本之前就能得到「这个消费者会买这件衣服」的数据标签和相关性结论。在真正上架之前，你事先并不知道那个可能性到底是多少。

另一个更经典的例子就是股票市场。我最近在做量化。

美股开盘时间久，时间维度上数据充裕，可以训练出一个很好的模型，可以用大量的历史数据去轮动。但在 A 股，一共也就开盘十多年，所有数据加起来就那么多。如果我们不关注这些数据之间的逻辑联系、不去解释它们，只是想把它们塞进一个黑盒子、让一个神经网络自己去理解。训练量根本就不够。

我自己的训练经验也印证了这一点。如果用太大的模型，不仅速度慢，而且容易过拟合。因为模型过大，它的参数量比数据量所涵盖的信息还多，多出来的一些参数完全是冗余的。到后面我反而不得不用一些小模型去做训练。过拟合的可能性反而比大模型要小。

容器太大，装进去的东西太少，结果就是空。

从这个角度看，「神经科学或者人工智能归根到底是一门统计学」，这个观点我还是很认可的。其实以前也提到过类似的想法。

我们用来训练的那些高质量数据，它们的平均值构成了模型的能力所在。模型相当于是在训练数据里面取了一个平均。不仅是数值上的平均，也可以抽象地理解成一种能力上的平均。

模型越大，它能记住的东西也就越多。训练数据和模型大小之间需要一个相互匹配的关系，就像一个大脑容量：塞进去的知识有多少，它能记住、能取平均算出来的东西就有多少。一个是容器的大小，另一个是容器里装的东西的质量和数量。

现在的这些大模型也好、小模型也好，它们能做的判断本质上就是在找输入和输出之间的相关性。就是一个概率统计的计算过程。

但这些机器学习模型，对于可解释性或者说因果性的能力，确实是弱的。

弱的原因，我觉得主要在于：因果关系本身就很难判定，也很难标记。你很难说一个观点到底是对的还是错的、到底有没有道理。它可能在这个地方有道理，换个地方就没道理了。而且就算你能完完全全地把这个因果讲清楚，要花费的努力和成本也是极其高昂的。

这个成本可能超过了「我们做这样一个因果分析」的价值，不如直接找一百万个相关性来得划算。所以我们在训练模型的时候，让它去学一个因果性、一个可解释性，确实是非常难的事情。

当然，现在强化学习、思维链这些已经在做相应的尝试了，试图找到因果性，而不是局限于原来的相关性。方向是对的，只是还没到那个程度。

说到因果性，人和机器有一个本质的区别。

机器学习模型的可解释性弱，是因为我们的训练方式决定了这个结果。成本方面的考量起了很大的作用。

我们人去思考因果性、思考可解释性、理清逻辑问题，是没有计算这个「成本」的。很多人可能花一整天去思考一件事，花很多年去琢磨一个问题。但是打标签呢？你可以雇一小群人，让他们在那儿干，一个人一天可以打很多很多标签。一个经济上的考量，在不经意间决定了现在的计算机模型长成什么样子。

当然，如果有一天有人能把所有的文件都打上因果标签、提供一个足够庞大的因果数据集，然后让模型去训练、去记住这个平均值。那模型可能也会有因果推理的能力。只是现在还做不到。

最后聊到这，想起了之前讨论过的维特根斯坦。

我觉得搞量子力学的人，到最后可能都会陷入一种搞哲学、搞维特根斯坦的路数。推导来推导去，最后的结论差不多就是：你推不清楚的东西就别推了，你解释不清楚的东西就别解释了吧。在找到足够好的描述方式之前，不要强行去解释它。

他的观点确实也有可取之处。比如他说，把科学定义为「寻找可解释性」，这件事本身是一种科学崇拜，一种「科学主义」。好像什么东西都必须被解释清楚才行。但其实有一些东西是不可说的，或者不应该去追究到底的。应该把它们留给上帝。

有点像中国那句老话：水至清则无鱼。

你把所有东西全都说得太清楚、不留一点余地、不留一点留白的空间，不一定就是一个理想的状态，或者一个特别好的状态。

今天零零散散的，串在一条线上了。