世表 · 年表

← 返回时间线

仿《史记》体例:三代不可纪年,作世表;春秋战国纪年,作年表;秦楚之际事繁变众,特作月表。
本表同理——Transformer 之前(1948–2016)以世代记;ChatGPT 之前(2017–2022)以记;此后(2022-11 起)以记。

世表 · Pre-Transformer Era(1948–2016)

记世代、不记年份。表中仅列语言建模主线;语音、视觉等背景条目以〔旁支〕标注,不入主线。

世代时期主线事件
统计世代 1948–2003 香农以 n-gram 估计英语熵(1948);n-gram 成语言模型标准件,语音识别与统计机器翻译为两大应用(IBM Model 1–5,1980–90s)
神经萌芽 2003–2010 NNLM 神经概率语言模型(Bengio 等,2003):词向量 + 神经网络语言建模的开端
RNN/LSTM 世代 2010–2016 RNNLM(Mikolov,2010)开始替代 n-gram;word2vec(Google,2013);seq2seq(Google,2014);GNMT 神经机器翻译(Google,2016);fastText(Meta,2016)

〔旁支〕视觉与算力奠基同期:AlexNet(2012)引爆深度学习;ResNet(2015)残差连接为 Transformer 所承;GPU/CUDA 大规模训练普及。〔旁支〕语音识别同期先行神经化:CTC(Graves,2006)、深度 LSTM 声学模型(Graves,2013)、Deep Speech(百度,2014)——声学端已换深度网络,语言端解码仍用 5-gram,两代技术同堂。

年表 · Pre-ChatGPT Era(2017–2022)

注:年表仅收录月表中已有对应列、且在 ChatGPT 前存在公开发布的厂商;公司成立事件(如 Anthropic 2021 年成立)不计入。

月表 · ChatGPT Era(2022-11 起)

秦楚之际,事繁变众,以月记——即主页时间线