--- title: 大语言模型 url: https://ftrlg.com/zh/wiki/large-language-model/ lang: zh published: 2026-10-16 version: 1 summary: 一种被训练来在海量文本中猜测下一个词的神经网络。随着规模扩大，它学会了翻译、写代码和推理，并成为聊天机器人和 AI 智能体的基础。 cite_as: "future.log, «大语言模型», https://ftrlg.com/zh/wiki/large-language-model/" license: CC BY 4.0 https://creativecommons.org/licenses/by/4.0/ --- # 大语言模型 **大语言模型**（英语 *large language model*，LLM）是一种神经网络，人们用海量文本训练它只做一件事：猜测下一个词，更准确地说，是下一个 token，即词的一个片段。模型的回答就是一连串这样的猜测。聊天机器人、面向程序员的 AI 助手以及 [AI 智能体](https://ftrlg.com/zh/wiki/autonomous-ai-agents/)都建立在大语言模型之上。 这项技术最出人意料的地方在于规模。“续写文本”这个任务自 2018 年以来从未改变，但模型、数据和算力越大，模型会做的事情就越多：根据几个示例解决问题、翻译、编写程序，后来又学会了推理和独立工作。[^4][^5] 这背后是否存在理解，至今仍有争论。 ## 历史 - **2017年6月12日** Google 的研究人员发表论文“Attention Is All You Need”，提出 Transformer 架构：它完全建立在注意力机制之上，不使用循环神经网络，训练速度也比以往的架构更快。[^1] - **2018年6月11日** [OpenAI](https://ftrlg.com/zh/models/openai/) 展示 GPT：先在大规模文本语料上训练 Transformer，让它只是预测后续内容，再在小型标注数据集上针对具体任务进行微调。[^2] - **2019年2月14日** GPT-2 有 15 亿个参数，“只是被训练来预测 40GB 互联网文本中的下一个词”。OpenAI 担心被滥用，起初没有公开完整模型，而是分阶段发布，直到 2019年11月5日才全部放出。[^3] - **2020年1月23日** OpenAI 的贾里德·卡普兰（Jared Kaplan）及其合著者描述了缩放定律：随着参数数量、数据量和算力的增长，模型的误差按幂律下降。[^4] - **2020年5月28日** GPT-3 有 1750 亿个参数。模型能根据请求中直接给出的几个示例解决新任务，无需微调。[^5] - **2022年3月4日** OpenAI 介绍 InstructGPT：模型根据人类的评分进行微调（基于人类反馈的强化学习（RLHF）），人们更喜欢其 13 亿参数版本的回答，而不是规模大 100 倍的 GPT-3 的回答。[^6] - **2022年3月29日** [DeepMind](https://ftrlg.com/zh/models/google-deepmind/) 展示 Chinchilla：在相同的算力预算下，一个用更多文本训练的 700 亿参数模型胜过了 2800 亿参数的 Gopher。作者的结论是：模型规模和训练 token 数应当同步增加。[^7] - **2022年11月30日** OpenAI 推出 ChatGPT——一个 GPT-3.5 系列模型，采用与 InstructGPT 相同的方法微调。[^8] - **2022年12月15日** [Anthropic](https://ftrlg.com/zh/models/anthropic/) 介绍 Constitutional AI（宪法式 AI）——一种无需人类标注有害回答就能训练出无害助手的方法：人类唯一的监督是一份规则和原则清单，即“宪法”。模型自己批评并修改自己的回答，两个回答中哪个更好则由另一个模型来判断。[^33] - **2023年2月1日** 据 UBS 分析师估计，ChatGPT 上线两个月后月活跃用户就达到约 1 亿，增长速度超过此前任何一款消费类应用。[^9] ⧗ - **2023年3月14日** GPT-4：据 OpenAI 称，在模拟律师资格考试中，该模型的分数达到前 10% 考生的水平，而 GPT-3.5 处于后 10%。[^10] - **2023年3月14日** 同一天，Anthropic 推出 [Claude](https://ftrlg.com/zh/models/claude/)——一个基于该公司关于训练“有用、诚实且无害的 AI 系统”研究的助手。它有两个版本：Claude 和更轻量、更便宜、更快的 Claude Instant；可通过聊天界面和 API 使用。[^34] - **2023年7月18日** [Meta](https://ftrlg.com/zh/models/meta/) 发布 Llama 2，它“可免费用于研究和商业用途”；而 2 月发布的第一代 LLaMA 只按申请提供给研究人员。Llama 2 开启了开放权重模型的浪潮。[^11] - **2024年3月4日** Anthropic 发布 Claude 3 系列——Haiku、Sonnet 和 Opus：规模不同的模型，用户可以在智能、速度和价格之间权衡选择。据该公司称，Opus 在大多数常用基准测试上超过竞争对手；上下文窗口为 20 万个 token。[^35] - **2024年9月12日** OpenAI 发布 o1——一种推理模型：强化学习教它在回答之前先用思维链“思考”，其质量不仅随训练算力提高，也随思考时间增加而提高。[^12] - **2025年1月20日** [DeepSeek](https://ftrlg.com/zh/models/deepseek-ai/) 发布 R1——一个以 MIT 许可证开放权重的推理模型；据该公司称，它在数学、代码和推理方面达到 o1 的水平。[^13] - **2026年10月7日** OpenAI 在 ChatGPT 中向所有用户开放 GPT-6，包括免费用户。[^14] - **2026年10月7日** 同一天，Anthropic 发布 Claude Haiku 5.5：据该公司称，其平均运行成本比 Haiku 4.5 低约 75%，每百万输入 token 的价格为 0.10 美元，而此前为 1 美元。[^36] ## 工作原理 文本被切分成 token，模型根据前面所有的 token 给出下一个 token 的概率；回答就是由这样一步一个 token 拼成的。训练分两个阶段。**预训练**：模型阅读海量文本语料，学习续写它们；知识和能力就是在这一阶段获得的。**后训练**把“文本续写器”变成助手：教模型遵循指令，并按人们偏好的方式回答（RLHF）；对推理模型来说，还要教它通过一条带答案检验的长思维链来解决问题（强化学习）。[^6][^12] 主要能力来自预训练。OpenAI 在 GPT-4 的技术报告中写道，模型的能力似乎主要来自预训练过程，而 RLHF 并不能提高考试成绩。[^15] 因此，模型竞赛首先是规模的竞赛：缩放定律承诺每投入一美元都能带来可预测的收益，而 Chinchilla 表明，数据与模型规模同样重要。[^4][^7] 模型内部发生了什么，长期以来一直是个黑箱。2024年5月21日，Anthropic 宣布找到了数百万个概念在 Claude Sonnet 内部的表示方式；用该公司的话说，这是“有史以来第一次详细观察”一个已投入生产使用的现代大语言模型的内部。例如，同一个特征会在用英语、日语、中文、俄语等语言提到金门大桥时被激活，看到金门大桥的图片时也会被激活。[^37] ## 数据 | 研究 | 测量内容 | 结果 | |---|---|---| | Epoch AI，28.05.2024[^16] | 2010 年以来训练前沿模型所用的算力；估算 | 每年增长 **4–5 倍** | | Stanford AI Index 2024，04.2024[^17] | 按云租用价格计算的训练算力成本；Epoch AI 的估算，各公司本身不公开数字 | GPT-4 约 **7800 万美元**，Gemini Ultra 约 **1.91 亿美元** | | Stanford AI Index 2025，04.2025[^18] | 在 MMLU 测试上不低于 GPT-3.5 的最便宜模型的调用价格 | 从 2022年11月到 2024年10月，每百万 token 从 20 美元降至 **0.07 美元**，便宜了 280 多倍 | | Epoch AI，06.06.2024[^19] | 人类撰写的公开文本存量；估算 | 约 **300 万亿个 token**；按目前的速度，将在 2026 年至 2032 年间被完全用尽 | | NBER，09.2025[^20] | 人们如何使用 ChatGPT（仅个人套餐）；两位作者是 OpenAI 员工 | 到 2025年7月，每周有 **7 亿**人使用，约占全球成年人的 10%；73% 的消息与工作无关 | | Stanford AI Index 2026，04.2026[^21] | 美国和中国最佳模型在 Arena 排行榜上的差距 | 截至 2026年3月，美国最佳模型 Claude Opus 4.6 领先中国最佳模型 **2.7%**；报告认为，这一差距“实际上已经弥合” | > **[编辑部结论]** 数据中有两条走向相反的曲线。训练前沿模型所用的算力每年增长 4–5 倍，训练一个模型的成本已达数亿美元。而同等能力水平的价格却下降了数百倍：2022 年的前沿模型，两年后几乎不值钱了。由此带来了普及——每周数亿用户——以及快速追赶：中国模型几乎已与最好的美国模型持平。瓶颈在于数据：人类撰写的文本可能只够用到这个十年结束。需要说明：训练成本和文本存量都是基于间接数据的估算，使用情况研究有 OpenAI 的参与。 ## 事件 ### Mata v. Avianca：ChatGPT 编造的法院判决，2023年6月 在一起起诉 Avianca 航空公司的案件中，原告律师向纽约联邦法院提交了一份文件，其中援引了并不存在的法院判决和编造的引文——这些都是 ChatGPT 杜撰的。2023年6月22日，法官凯文·卡斯特尔（Kevin Castel）对两名律师及其律所处以 5000 美元罚款：他们不仅提交了编造的内容，而且在法院质疑这些判决是否存在时仍然坚持。[^22] ## 批评 埃米莉·本德（Emily Bender）、蒂姆尼特·格布鲁（Timnit Gebru）及其合著者在论文“On the Dangers of Stochastic Parrots”（2021年3月）中把语言模型称为这样一种系统：它根据关于语言形式如何组合的概率信息，“胡乱地拼接”它在海量训练数据中见过的语言形式序列，却“与意义毫无关联”——一只“随机鹦鹉”。在他们看来，其文本的连贯性只存在于读者的感知之中。[^23] 杨立昆（Yann LeCun）于 2023年3月26日发布了一张幻灯片：“自回归 LLM 注定失败”。每个 token 都有一定概率让回答偏离正确的路径，误差呈指数级累积，不对架构进行重大重新设计就无法解决。[^24] 他现在是 AMI Labs 的创始人，该公司正在构建以现实世界传感器数据训练的“世界模型”。[^25] 2025年9月4日，OpenAI 的研究人员这样解释模型的编造行为：训练和评估流程“奖励猜测，而不是承认不确定性”。在 10 个流行的基准测试中，有 9 个对“我不知道”的回答给零分，因此模型猜测更划算。[^26] 作者和出版商在法庭上质疑用他们的文本训练模型这件事本身。2023年12月27日，《纽约时报》起诉 OpenAI 和微软；该案现已与其他针对 OpenAI 的诉讼合并审理，尚无判决。[^27] 在 Bartz v. Anthropic 一案中，法官威廉·阿尔苏普（William Alsup）于 2025年6月23日裁定，用书籍训练 [Claude](https://ftrlg.com/zh/models/claude/) 属于合理使用——“极具转换性”——但保存盗版图书副本不属于合理使用。[^28] [Anthropic](https://ftrlg.com/zh/models/anthropic/) 同意支付 15 亿美元，约合每部作品 3000 美元；2026年7月20日，法院最终批准了该和解协议。[^29] ## 发展 用模型自己生成的文本来训练无法替代人类数据：伊利亚·舒迈洛夫（Ilya Shumailov）及其合著者在《自然》上发表的论文（2024年7月24日）表明，如果不加区分地用生成的文本训练，模型会不可逆转地丢失原始分布的“尾部”——那些罕见和不寻常的内容。[^30] 伊利亚·苏茨克维（Ilya Sutskever）2024年12月13日在 NeurIPS 大会上说，“我们所知的预训练无疑将会终结”：算力在增长，数据却没有，因为“我们只有一个互联网”；他把数据称为“AI 的化石燃料”。他认为接下来的方向是智能体、合成数据和回答时的计算。[^31] ⧗ 事实也是如此：自 2024 年起，增长不仅来自预训练，也来自推理（推理模型），而且模型越来越多地独立工作——作为[智能体](https://ftrlg.com/zh/wiki/autonomous-ai-agents/)，在[智能体工程](https://ftrlg.com/zh/wiki/agentic-engineering/)中，以及在[数学](https://ftrlg.com/zh/wiki/ai-mathematics/)中。[安德烈·卡帕西](https://ftrlg.com/zh/wiki/andrej-karpathy/)在 2025年6月把 LLM 称为“一种新型计算机”，类似于操作系统：提示词就是程序，“而且值得注意的是，这些提示词是用英语写的”。[^32] ## 信号 - 2026-10-15 — 尼克·卡马拉塔: «多义性——一个神经元对应许多概念——主要是一种误读：神经网络“本来就是干净的”，智能体可以逐个神经元地解析它们；在对 Qwen3-32B 的初步审查中，约 90% 的神经元只有一项主要功能» — Goodfire 的可解释性研究者，曾在 OpenAI 发起神经元自动解释项目；出自随笔《神经网络本来就是干净的》（工作假说，未经同行评审，配套论文尚未发布）；Neel Nanda 等研究者提出了异议 (https://ftrlg.com/zh/signals/cgij8q2um/) - 2026-10-11 — 安德烈·卡帕西: «约 60 亿人（约占人口 75%）几乎没接触过大语言模型，而能在内部接触前沿级系统的只有约 5000 人» — 谈公众、专业人士和实验室之间对 AI 能力的认知差距正在扩大 (https://ftrlg.com/zh/signals/cc3qwtwnz/) ## 参见 Transformer · 聊天机器人 · 推理模型 · 开放权重 · [自主 AI 智能体](https://ftrlg.com/zh/wiki/autonomous-ai-agents/) · [氛围编程](https://ftrlg.com/zh/wiki/vibe-coding/) · [数学中的 AI](https://ftrlg.com/zh/wiki/ai-mathematics/) ## 参考资料 [^1]: A. Vaswani et al. Attention Is All You Need — arXiv, 12.06.2017. [arxiv.org](https://arxiv.org/abs/1706.03762) [^2]: Improving language understanding with unsupervised learning — OpenAI, 11.06.2018. [openai.com](https://openai.com/index/language-unsupervised/) [^3]: Better Language Models and Their Implications — OpenAI, 14.02.2019. [openai.com](https://openai.com/index/better-language-models/); GPT-2: 1.5B Release — OpenAI, 05.11.2019. [openai.com](https://openai.com/index/gpt-2-1-5b-release/) [^4]: J. Kaplan et al. Scaling Laws for Neural Language Models — arXiv, 23.01.2020. [arxiv.org](https://arxiv.org/abs/2001.08361) [^5]: T. Brown et al. Language Models are Few-Shot Learners — arXiv, 28.05.2020. [arxiv.org](https://arxiv.org/abs/2005.14165) [^6]: L. Ouyang et al. Training language models to follow instructions with human feedback — arXiv, 04.03.2022. [arxiv.org](https://arxiv.org/abs/2203.02155) [^7]: J. Hoffmann et al. Training Compute-Optimal Large Language Models — arXiv, 29.03.2022. [arxiv.org](https://arxiv.org/abs/2203.15556) [^8]: Introducing ChatGPT — OpenAI, 30.11.2022. [openai.com](https://openai.com/index/chatgpt/) [^9]: ChatGPT sets record for fastest-growing user base — Reuters, 02.02.2023（转载）. [finance.yahoo.com](https://finance.yahoo.com/news/1-chatgpt-sets-record-fastest-051929384.html) ⧗ [^10]: GPT-4 — OpenAI, 14.03.2023. [openai.com](https://openai.com/index/gpt-4-research/) [^11]: Meta and Microsoft Introduce the Next Generation of Llama — Meta, 18.07.2023. [about.fb.com](https://about.fb.com/news/2023/07/llama-2/) [^12]: Learning to reason with LLMs — OpenAI, 12.09.2024. [openai.com](https://openai.com/index/learning-to-reason-with-llms/) [^13]: DeepSeek-R1 Release — DeepSeek, 20.01.2025. [api-docs.deepseek.com](https://api-docs.deepseek.com/news/news250120) [^14]: GPT-6 and Intelligent UI for everyone — OpenAI, 07.10.2026. [openai.com](https://openai.com/index/gpt-6-for-everyone/) [^15]: OpenAI. GPT-4 Technical Report — arXiv, 15.03.2023. [arxiv.org](https://arxiv.org/abs/2303.08774) [^16]: Training compute of frontier AI models grows by 4-5x per year — Epoch AI, 28.05.2024. [epoch.ai](https://epoch.ai/blog/training-compute-of-frontier-ai-models-grows-by-4-5x-per-year) [^17]: AI Index Report 2024 — Stanford HAI, 04.2024. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2024-ai-index-report) [^18]: AI Index Report 2025 — Stanford HAI, 04.2025. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2025-ai-index-report) [^19]: Will we run out of data? Limits of LLM scaling based on human-generated data — Epoch AI, 06.06.2024. [epoch.ai](https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data) [^20]: A. Chatterji et al. How People Use ChatGPT — NBER Working Paper 34255, 09.2025. [nber.org](https://www.nber.org/papers/w34255) [^21]: AI Index Report 2026 — Stanford HAI, 04.2026. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2026-ai-index-report) [^22]: Mata v. Avianca, Inc., 22-cv-1461 (PKC): Opinion and Order on Sanctions — U.S. District Court, S.D.N.Y., 22.06.2023. [courtlistener.com](https://storage.courtlistener.com/recap/gov.uscourts.nysd.575368/gov.uscourts.nysd.575368.54.0_3.pdf) [^23]: E. Bender, T. Gebru, A. McMillan-Major, S. Shmitchell. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? — FAccT ’21, ACM, 03.2021. [doi.org](https://doi.org/10.1145/3442188.3445922) [^24]: Yann LeCun: «I have claimed that Auto-Regressive LLMs are exponentially diverging diffusion processes» — X, 26.03.2023. [x.com](https://x.com/ylecun/status/1640122342570336267) [^25]: AMI Labs. [amilabs.xyz](https://amilabs.xyz) [^26]: A. Kalai, O. Nachum, S. Vempala, E. Zhang. Why Language Models Hallucinate — arXiv, 04.09.2025. [arxiv.org](https://arxiv.org/abs/2509.04664) [^27]: The New York Times Company v. Microsoft Corporation et al., 1:23-cv-11195: 起诉状 — U.S. District Court, S.D.N.Y., 27.12.2023. [nytco-assets.nytimes.com](https://nytco-assets.nytimes.com/2023/12/NYT_Complaint_Dec2023.pdf) [^28]: Bartz v. Anthropic PBC, 3:24-cv-05417: Order on Fair Use — U.S. District Court, N.D. Cal., 23.06.2025. [courtlistener.com](https://storage.courtlistener.com/recap/gov.uscourts.cand.434709/gov.uscourts.cand.434709.231.0_2.pdf) [^29]: Anthropic Copyright Settlement — 和解协议官方网站. [anthropiccopyrightsettlement.com](https://www.anthropiccopyrightsettlement.com/) [^30]: I. Shumailov et al. AI models collapse when trained on recursively generated data — Nature, 24.07.2024. [nature.com](https://www.nature.com/articles/s41586-024-07566-y) [^31]: Ilya Sutskever. Sequence to sequence learning with neural networks: what a decade — NeurIPS, 13.12.2024（演讲录像）. [youtube.com](https://www.youtube.com/watch?v=1yvBqasHLZs) ⧗ [^32]: Andrej Karpathy: Software Is Changing (Again) — Y Combinator, 18.06.2025. [youtube.com](https://www.youtube.com/watch?v=LCEmiRjPEtQ) [^33]: Y. Bai et al. Constitutional AI: Harmlessness from AI Feedback — arXiv, 15.12.2022. [arxiv.org](https://arxiv.org/abs/2212.08073) [^34]: Introducing Claude — Anthropic, 14.03.2023. [anthropic.com](https://www.anthropic.com/news/introducing-claude) [^35]: Introducing the next generation of Claude — Anthropic, 04.03.2024. [anthropic.com](https://www.anthropic.com/news/claude-3-family) [^36]: Introducing Claude Haiku 5.5 — Anthropic, 07.10.2026. [anthropic.com](https://www.anthropic.com/claude-haiku-5-5) [^37]: Mapping the mind of a large language model — Anthropic, 21.05.2024. [anthropic.com](https://www.anthropic.com/research/mapping-mind-language-model) — future.log, «大语言模型», https://ftrlg.com/zh/wiki/large-language-model/ · CC BY 4.0