仿《史记》体例:三代不可纪年,作世表;春秋战国纪年,作年表;秦楚之际事繁变众,特作月表。
本表同理——Transformer 之前(1948–2016)以世代记;ChatGPT 之前(2017–2022)以年记;此后(2022-11 起)以月记。
记世代、不记年份。表中仅列语言建模主线;语音、视觉等背景条目以〔旁支〕标注,不入主线。
| 世代 | 时期 | 主线事件 |
|---|---|---|
| 统计世代 | 1948–2003 | 香农以 n-gram 估计英语熵(1948);n-gram 成语言模型标准件,语音识别与统计机器翻译为两大应用(IBM Model 1–5,1980–90s) |
| 神经萌芽 | 2003–2010 | NNLM 神经概率语言模型(Bengio 等,2003):词向量 + 神经网络语言建模的开端 |
| RNN/LSTM 世代 | 2010–2016 | RNNLM(Mikolov,2010)开始替代 n-gram;word2vec(Google,2013);seq2seq(Google,2014);GNMT 神经机器翻译(Google,2016);fastText(Meta,2016) |
〔旁支〕视觉与算力奠基同期:AlexNet(2012)引爆深度学习;ResNet(2015)残差连接为 Transformer 所承;GPU/CUDA 大规模训练普及。〔旁支〕语音识别同期先行神经化:CTC(Graves,2006)、深度 LSTM 声学模型(Graves,2013)、Deep Speech(百度,2014)——声学端已换深度网络,语言端解码仍用 5-gram,两代技术同堂。
| Year | OpenAI | Meta | GLM-Z.ai | NVIDIA | Baidu | Microsoft | Huawei | Stability | Open-Source | LLM-Applications | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 2017 | Transformer | ||||||||||
| 2018 | GPT-1 | BERT | |||||||||
| 2019 | GPT-2 | RoBERTa | T5 | ERNIE 2.0 | |||||||
| 2020 | GPT-3(davinci) | Turing-NLG | |||||||||
| 2021 | Codex | LaMDA + Gopher | MT-NLG 530B | ERNIE 3.0 | Copilot Preview | 盘古 α | GPT-J | ||||
| 2022 | InstructGPT + DALL·E 2 + Whisper | OPT-175B | GLM-130B | Chinchilla + Flamingo(DeepMind,视觉-语言) + PaLM | Stable Diffusion | BLOOM | Midjourney |
注:年表仅收录月表中已有对应列、且在 ChatGPT 前存在公开发布的厂商;公司成立事件(如 Anthropic 2021 年成立)不计入。
秦楚之际,事繁变众,以月记——即主页时间线。