Большая языковая модель

Большая языковая модель (англ. large language model, LLM) — нейросеть, которую обучают на огромном объёме текста одному делу: угадывать следующее слово, точнее — токен, кусок слова. Ответ модели — это много таких угадываний подряд. На больших языковых моделях построены чат-боты, ИИ-ассистенты для программистов и ИИ-агенты.

Главная неожиданность технологии — масштаб. Задача «продолжи текст» с 2018 года не менялась, но чем больше становились модели, данные и вычисления, тем больше умели модели: решать задачи по нескольким примерам, переводить, писать программы, а затем — рассуждать и работать самостоятельно.¹² Спор о том, стоит ли за этим понимание, идёт до сих пор.

История

12.06.2017Исследователи Google публикуют статью «Attention Is All You Need» об архитектуре Transformer: она построена только на механизме внимания, без рекуррентных сетей, и обучается быстрее прежних.³ ¶ csanuy4nd
11.06.2018OpenAI показывает GPT: трансформер сначала обучают на большом корпусе текстов просто предсказывать продолжение, а потом дообучают на небольших размеченных наборах под конкретную задачу.⁴ ¶ c9p9gfxz6
14.02.2019GPT-2 — 1,5 млрд параметров, обучена «просто предсказывать следующее слово» в 40 ГБ интернет-текста. Полную модель OpenAI сначала не выкладывает, опасаясь злоупотреблений, и выпускает её по частям до 05.11.2019.⁵ ¶ cx8dznxpz
23.01.2020Джаред Каплан и соавторы из OpenAI описывают законы масштабирования: ошибка модели падает по степенному закону с ростом числа параметров, объёма данных и вычислений.¹ ¶ czpw8t6ic
28.05.2020GPT-3 — 175 млрд параметров. Модель решает новые задачи по нескольким примерам прямо в запросе, без дообучения.² ¶ chru876b8
04.03.2022OpenAI описывает InstructGPT: модель дообучают на оценках людей (RLHF), и ответы версии на 1,3 млрд параметров люди предпочитают ответам GPT-3, которая больше в 100 раз.⁶ ¶ c585bcdf6
29.03.2022DeepMind показывает Chinchilla: при том же бюджете вычислений модель на 70 млрд параметров, обученная на большем объёме текста, превосходит Gopher на 280 млрд. Вывод авторов: размер модели и число токенов для обучения надо наращивать одинаково.⁷ ¶ cgg6g9xvw
30.11.2022OpenAI открывает ChatGPT — модель серии GPT-3.5, дообученную тем же способом, что InstructGPT.⁸ ¶ cexyrfgim
15.12.2022Anthropic описывает Constitutional AI — способ обучить безвредного ассистента без пометок людей о вредных ответах: единственный надзор человека — список правил и принципов, «конституция». Модель сама критикует и исправляет свои ответы, а какой из двух ответов лучше, решает другая модель.⁹ ¶ c6yd2bh89
01.02.2023По оценке аналитиков UBS, ChatGPT через два месяца после запуска набрал около 100 млн пользователей в месяц — быстрее любого потребительского приложения до него.¹⁰ ⧗ ¶ c77uhf6xw
14.03.2023GPT-4: по данным OpenAI, на смоделированном экзамене на адвоката модель набирает балл на уровне лучших 10% участников, а GPT-3.5 — худших 10%.¹¹ ¶ cj6i7dziy
14.03.2023В тот же день Anthropic открывает Claude — ассистента, основанного на исследованиях компании об обучении «полезных, честных и безвредных» систем, — в двух версиях: Claude и более лёгкий, дешёвый и быстрый Claude Instant; доступ — через чат и API.¹² ¶ c62ai5hfk
18.07.2023Meta выпускает Llama 2 — «бесплатно для исследований и коммерческого использования»; первую LLaMA в феврале выдавали только исследователям по заявке. С Llama 2 начинается волна моделей с открытыми весами.¹³ ¶ cauga2wua
04.03.2024Anthropic выпускает семейство Claude 3 — Haiku, Sonnet и Opus: модели разного размера, между которыми выбирают по соотношению ума, скорости и цены. По данным компании, Opus превосходит конкурентов на большинстве распространённых тестов; окно контекста — 200 тыс. токенов.¹⁴ ¶ cafmxgxnp
12.09.2024OpenAI выпускает o1 — модель рассуждений: обучение с подкреплением учит её «думать» цепочкой рассуждений перед ответом, и качество растёт не только от вычислений при обучении, но и от времени на размышление.¹⁵ ¶ c2aep9gte
20.01.2025DeepSeek выпускает R1 — модель рассуждений с открытыми весами под лицензией MIT; по данным компании, она на уровне o1 в математике, коде и рассуждениях.¹⁶ ¶ cbq5443qj
07.10.2026OpenAI открывает GPT-6 в ChatGPT всем пользователям, включая бесплатных.¹⁷ ¶ cb92g57km
07.10.2026В тот же день Anthropic выпускает Claude Haiku 5.5: по данным компании, работа с ней обходится в среднем примерно на 75% дешевле, чем с Haiku 4.5, а миллион входных токенов стоит $0,10 вместо $1.¹⁸ ¶ csfz8waiq

Как устроено

Текст режется на токены, и модель по всем предыдущим токенам выдаёт вероятности следующего; ответ складывается из таких шагов по одному токену. Обучение идёт в два этапа. Предобучение — модель читает огромный корпус текстов и учится продолжать их; здесь она получает знания и умения. Дообучение превращает «продолжатель текста» в ассистента: модель учат следовать инструкциям и отвечать так, как предпочитают люди (RLHF), а модели рассуждений — ещё и решать задачи длинной цепочкой мыслей с проверкой ответа (обучение с подкреплением).⁶¹⁵

Основное умение даёт предобучение. В отчёте о GPT-4 OpenAI пишет, что способности модели, по-видимому, берутся в основном из предобучения, а RLHF не улучшает результат на экзаменах.¹⁹ Поэтому гонка моделей — это прежде всего гонка масштаба: законы масштабирования обещают предсказуемый выигрыш от каждого вложенного доллара, а Chinchilla показала, что данные важны не меньше размера модели.¹⁷

Что происходит внутри модели, долго оставалось чёрным ящиком. 21.05.2024 Anthropic сообщила, что нашла, как внутри Claude Sonnet представлены миллионы понятий, — по её словам, это «первый подробный взгляд» внутрь современной большой языковой модели, работающей в продукте. Например, один и тот же признак срабатывает на упоминания моста Золотые Ворота по-английски, на японском, китайском, русском и других языках и на его изображение.²⁰ ¶ capmi3s8r

Данные

исследование	что измеряли	результат
Epoch AI, 28.05.2024²¹	вычисления на обучение передовых моделей с 2010 года; оценка	растут в 4–5 раз в год ¶ c7h878889
Stanford AI Index 2024, 04.2024²²	стоимость вычислений на обучение по ценам аренды облака; оценка Epoch AI — сами компании цифр не раскрывают	GPT-4 — около $78 млн, Gemini Ultra — около $191 млн ¶ c7z8xhuaj
Stanford AI Index 2025, 04.2025²³	цена запроса к самой дешёвой модели, которая на тесте MMLU не хуже GPT-3.5	с $20 до $0,07 за миллион токенов с 11.2022 по 10.2024 — дешевле более чем в 280 раз ¶ cufck82s7
Epoch AI, 06.06.2024²⁴	запас публичного текста, написанного людьми; оценка	около 300 трлн токенов; при нынешних темпах будет полностью использован между 2026 и 2032 годами ¶ cdz6z7iqp
NBER, 09.2025²⁵	как пользуются ChatGPT (только личные тарифы); двое авторов — сотрудники OpenAI	к 07.2025 — 700 млн человек в неделю, около 10% взрослых в мире; 73% сообщений не связаны с работой ¶ c6i4k2f2j
Stanford AI Index 2026, 04.2026²⁶	разрыв между лучшими моделями США и Китая в рейтинге Arena	на 03.2026 лучшая модель США — Claude Opus 4.6 — впереди лучшей китайской на 2,7%; по оценке доклада, разрыв «фактически закрылся» ¶ cnr972udr

[ВЫВОД РЕДАКЦИИ]

В данных две кривые, которые идут в разные стороны. Вычисления на обучение передовых моделей растут в 4–5 раз в год, и обучение одной модели стоит уже сотни миллионов долларов. А цена одного и того же уровня способностей падает в сотни раз: модель, которая в 2022 году была передовой, через два года почти ничего не стоит. Отсюда массовость — сотни миллионов людей в неделю — и быстрое догоняние: китайские модели почти сравнялись с лучшими американскими. Упор — в данные: написанного людьми текста может хватить лишь до конца десятилетия. Оговорки: стоимость обучения и запас текста — оценки по косвенным данным, исследование использования проведено при участии OpenAI. ¶ cff336hjw

Инциденты

Mata v. Avianca: выдуманные ChatGPT судебные решения, июнь 2023 ¶ ct8pjche9

Юристы истца по делу против авиакомпании Avianca подали в федеральный суд Нью-Йорка документ со ссылками на несуществующие судебные решения с выдуманными цитатами — их сочинил ChatGPT. 22.06.2023 судья Кевин Кастел оштрафовал двух юристов и их фирму на $5000: они не только подали выдумки, но и продолжали на них настаивать, когда суд усомнился в существовании решений.²⁷

Критика

Эмили Бендер, Тимнит Гебру и соавторы в статье «On the Dangers of Stochastic Parrots» (03.2021) называют языковую модель системой, которая «как попало сшивает» последовательности языковых форм из обучающих данных по вероятностям, «без всякой отсылки к смыслу», — «стохастическим попугаем». Связность её текста, по их словам, существует только в восприятии читателя.²⁸ ¶ cx8v9ep8f

Ян Лекун 26.03.2023 выложил слайд «Авторегрессионные LLM обречены»: каждый токен с некоторой вероятностью уводит ответ с верного пути, ошибка накапливается экспоненциально, и без серьёзной смены архитектуры это не исправить.²⁹ Сейчас он основатель AMI Labs, которая строит «модели мира», обучающиеся на данных с датчиков реального мира.³⁰ ¶ ccpxjcsqn

Исследователи OpenAI 04.09.2025 объяснили выдумки моделей так: обучение и тесты «награждают угадывание, а не признание неуверенности». Из 10 популярных тестов 9 ставят за ответ «не знаю» ноль баллов, поэтому модели выгоднее угадывать.³¹ ¶ cmt8ggmzu

Авторы и издатели оспаривают в суде само обучение на их текстах. The New York Times 27.12.2023 подала иск к OpenAI и Microsoft; теперь он рассматривается вместе с другими исками к OpenAI, решения нет.³² ¶ cur6y399x

В деле Bartz v. Anthropic судья Уильям Алсап 23.06.2025 признал обучение Claude на книгах добросовестным использованием — «исключительно преобразующим», — но не хранение пиратских копий книг.³³ Anthropic согласилась выплатить $1,5 млрд — около $3000 за произведение; 20.07.2026 суд окончательно утвердил соглашение.³⁴ ¶ c3yvibi7r

Развитие

Обучение на собственных текстах моделей не заменяет человеческие данные: в работе в Nature (24.07.2024) Илья Шумайлов и соавторы показали, что при обучении без разбора на сгенерированном тексте модели необратимо теряют «хвосты» исходного распределения — редкое и необычное.³⁵ ¶ cbar47t97

Илья Суцкевер 13.12.2024 на конференции NeurIPS сказал, что «предобучение в том виде, в каком мы его знаем, безусловно закончится»: вычисления растут, а данные — нет, потому что интернет у нас один; данные он назвал «ископаемым топливом ИИ». Следующими шагами он назвал агентов, синтетические данные и вычисления во время ответа.³⁶ ⧗ ¶ ci59hi8ky

Так и вышло: с 2024 года рост идёт не только от предобучения, но и от рассуждений (модели рассуждений), а модели всё чаще работают сами — как агенты, в агентной инженерии и математике. Андрей Карпаты в июне 2025 года назвал LLM «новым видом компьютера», похожим на операционную систему: промпты — это программы, «и написаны они на английском».³⁷ ¶ ccan4rb26

Сигналы

15.10.2026Наука / Ник Каммарата: «Полисемантичность — один нейрон на много понятий — в основном была ошибкой прочтения: нейросети «уже чистые», и агенты могут разбирать их нейрон за нейроном; в предварительной проверке Qwen3-32B примерно у 90% нейронов одна основная работа»исследователь интерпретируемости в Goodfire, начинал проект автоматической интерпретации нейронов в OpenAI, — в эссе «Нейросети уже чистые» (рабочая гипотеза, без рецензии; сопроводительная статья обещана); Нил Нанда и другие исследователи возразили
11.10.2026Работа и профессии / Андрей Карпаты: «Около 6 млрд человек (~75% населения) почти не сталкивались с LLM, а доступ к системам передового уровня внутри лабораторий есть примерно у 5000»о том, что разрыв в понимании возможностей ИИ между публикой, профессионалами и лабораториями растёт

См. также

Transformer Чат-боты Модели рассуждений Открытые веса Автономные ИИ-агенты Вайбкодинг ИИ в математике

Примечания

J. Kaplan et al. Scaling Laws for Neural Language Models — arXiv, 23.01.2020. arxiv.org ↩ ↩² ↩³
T. Brown et al. Language Models are Few-Shot Learners — arXiv, 28.05.2020. arxiv.org ↩ ↩²
A. Vaswani et al. Attention Is All You Need — arXiv, 12.06.2017. arxiv.org ↩
Improving language understanding with unsupervised learning — OpenAI, 11.06.2018. openai.com ↩
Better Language Models and Their Implications — OpenAI, 14.02.2019. openai.com; GPT-2: 1.5B Release — OpenAI, 05.11.2019. openai.com ↩
L. Ouyang et al. Training language models to follow instructions with human feedback — arXiv, 04.03.2022. arxiv.org ↩ ↩²
J. Hoffmann et al. Training Compute-Optimal Large Language Models — arXiv, 29.03.2022. arxiv.org ↩ ↩²
Introducing ChatGPT — OpenAI, 30.11.2022. openai.com ↩
Y. Bai et al. Constitutional AI: Harmlessness from AI Feedback — arXiv, 15.12.2022. arxiv.org ↩
ChatGPT sets record for fastest-growing user base — Reuters, 02.02.2023 (перепечатка). finance.yahoo.com ⧗ ↩
GPT-4 — OpenAI, 14.03.2023. openai.com ↩
Introducing Claude — Anthropic, 14.03.2023. anthropic.com ↩
Meta and Microsoft Introduce the Next Generation of Llama — Meta, 18.07.2023. about.fb.com ↩
Introducing the next generation of Claude — Anthropic, 04.03.2024. anthropic.com ↩
Learning to reason with LLMs — OpenAI, 12.09.2024. openai.com ↩ ↩²
DeepSeek-R1 Release — DeepSeek, 20.01.2025. api-docs.deepseek.com ↩
GPT-6 and Intelligent UI for everyone — OpenAI, 07.10.2026. openai.com ↩
Introducing Claude Haiku 5.5 — Anthropic, 07.10.2026. anthropic.com ↩
OpenAI. GPT-4 Technical Report — arXiv, 15.03.2023. arxiv.org ↩
Mapping the mind of a large language model — Anthropic, 21.05.2024. anthropic.com ↩
Training compute of frontier AI models grows by 4-5x per year — Epoch AI, 28.05.2024. epoch.ai ↩
AI Index Report 2024 — Stanford HAI, 04.2024. hai.stanford.edu ↩
AI Index Report 2025 — Stanford HAI, 04.2025. hai.stanford.edu ↩
Will we run out of data? Limits of LLM scaling based on human-generated data — Epoch AI, 06.06.2024. epoch.ai ↩
A. Chatterji et al. How People Use ChatGPT — NBER Working Paper 34255, 09.2025. nber.org ↩
AI Index Report 2026 — Stanford HAI, 04.2026. hai.stanford.edu ↩
Mata v. Avianca, Inc., 22-cv-1461 (PKC): Opinion and Order on Sanctions — U.S. District Court, S.D.N.Y., 22.06.2023. courtlistener.com ↩
E. Bender, T. Gebru, A. McMillan-Major, S. Shmitchell. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? — FAccT ’21, ACM, 03.2021. doi.org ↩
Yann LeCun: «I have claimed that Auto-Regressive LLMs are exponentially diverging diffusion processes» — X, 26.03.2023. x.com ↩
AMI Labs. amilabs.xyz ↩
A. Kalai, O. Nachum, S. Vempala, E. Zhang. Why Language Models Hallucinate — arXiv, 04.09.2025. arxiv.org ↩
The New York Times Company v. Microsoft Corporation et al., 1:23-cv-11195: исковое заявление — U.S. District Court, S.D.N.Y., 27.12.2023. nytco-assets.nytimes.com ↩
Bartz v. Anthropic PBC, 3:24-cv-05417: Order on Fair Use — U.S. District Court, N.D. Cal., 23.06.2025. courtlistener.com ↩
Anthropic Copyright Settlement — официальный сайт соглашения. anthropiccopyrightsettlement.com ↩
I. Shumailov et al. AI models collapse when trained on recursively generated data — Nature, 24.07.2024. nature.com ↩
Ilya Sutskever. Sequence to sequence learning with neural networks: what a decade — NeurIPS, 13.12.2024 (запись доклада). youtube.com ⧗ ↩
Andrej Karpathy: Software Is Changing (Again) — Y Combinator, 18.06.2025. youtube.com ↩