人工神经网络，一路走来，不可思议

昨天中午、昨天晚上和今天中午睡觉都睡不着。吃饭也感觉没心情。

回忆一下人工神经网络的发展史，简直是魔法、奇迹、不可思议。

1960年，它只是一个连异或都解决不了的双层感知机。不就是一个逻辑回归的等价算法嘛。

1980年，几个人提出了反向传播，能训练多层感知机了。但看着也就那么回事。

1990年，LeCun把Hubel, Wiesel对于视网膜结构的研究照搬过来搞出了他的LeNet，没想到这照猫画虎的东西真能成。真是不可思议。

2012年，Alex和Ilya仅仅是把 LeNet 做大了，没想到这东西甩开了其它所有CV的算法。真是不可思议。

2017年，一群人搞出了Transformer，这东西不就是加入了一个全局的相关性吗？没想到后来在NLP上横扫各个SOTA，后来竟然还能用在CV里。真是不可思议。

2022年，年初，OpenAI想到把RLHF用进GPT3里。年末，ChatGPT莫名其妙地展现了超强的语言能力，还莫名其妙地学会了不回答训练数据截止日期之后的问题。真是不可思议。

2024年，OpenAI不就是加了一个思维链吗，怎么就轻轻松松把我碾压了。真是不可思议。

爱迪生和特斯拉当年给世人演示电时，大多数人也觉得电是魔法吧。

魔法、奇迹、不可思议。

当然，一路走来，也有很多人不服。

Gray Markus，符号学派的支持者，一直不服人工神经网络。他认为智能应基于规则和逻辑推理，而不是模式识别和数据驱动。2022年时他还说深度学习撞墙了。不知道ChatGPT出来后，他服不服。

Yann LeCun，世界模型的支持者，一直不服大语言模型。他认为我们要在人工智能中加入对物理世界的理解。LeCun认为，大语言模型仅仅通过统计相关性来生成文本，仅仅是模仿，而非真正的理解。不知道o1出来后，他服不服。

心情很复杂，最主要的还是不可思议吧，哈哈。

不知道LeCun的数学好没好可以让他不服o1的程度。如果有一天他不会的数学问题要去问o1，他还会不服吗？