实用主义视角下的 LLM 发展

原始人围坐在火堆旁时，并不知道火焰是剧烈的氧化放热；他们烤熟肉食时，并不知道美拉德反应正在悄然发生；自行车的发明者更不会想到，直到一百多年后自行车平衡的原理仍在被不断修正和重新解释。但这并不妨碍火被使用、肉被烤熟、自行车风靡世界。

从实用主义的角度讲，这正是人类认识世界的常态：先利用现象，再总结规律。对于工科这种以“现象反馈、迭代改进”为核心的学科来说，方法论很朴素：做实验观察效果，如果有效就采用，然后再试着用一套能自洽的理论去解释它。哪怕这套理论目前还很粗糙也无妨，一切都会随着时间逐步澄清其机制原理。这个过程可能漫长，但“先上车后补票”带来的结果却是实打实的。

大语言模型 LLM 的处境与此高度相似。为什么 Transformer 架构能涌现出如此强的泛化和推理能力，也许要等未来许多年才能被完全解释。但当下，天才们靠直觉对现象进行筛选和收敛，产出的效果是真实的，对人类生产和生活的改变也是真实的。

也许将来我们会发现 LLM 这条路是错的，退一步讲我也并不认为基于当前 Transformer 架构能够真正实现 AGI。但做错也好过什么都不做，在高度不确定的环境中，在反馈极快的系统中，试错获得的反馈远高于停滞观望。不可否认，目前阶段的 LLM 已经对生产和生活带来了质的变化。

不管黑猫白猫，能抓住老鼠的就是好猫。至于将来需要抓蛇、抓蟑螂，that’s another story.