--- title: Большая языковая модель url: https://ftrlg.com/ru/wiki/large-language-model/ lang: ru published: 2026-10-16 version: 1 summary: Нейросеть, обученная угадывать следующее слово в огромном объёме текста. С ростом масштаба она научилась переводить, писать код и рассуждать — и стала основой чат-ботов и ИИ-агентов. cite_as: "future.log, «Большая языковая модель», https://ftrlg.com/ru/wiki/large-language-model/" license: CC BY 4.0 https://creativecommons.org/licenses/by/4.0/ --- # Большая языковая модель **Большая языковая модель** (англ. *large language model*, LLM) — нейросеть, которую обучают на огромном объёме текста одному делу: угадывать следующее слово, точнее — токен, кусок слова. Ответ модели — это много таких угадываний подряд. На больших языковых моделях построены чат-боты, ИИ-ассистенты для программистов и [ИИ-агенты](https://ftrlg.com/ru/wiki/autonomous-ai-agents/). Главная неожиданность технологии — масштаб. Задача «продолжи текст» с 2018 года не менялась, но чем больше становились модели, данные и вычисления, тем больше умели модели: решать задачи по нескольким примерам, переводить, писать программы, а затем — рассуждать и работать самостоятельно.[^4][^5] Спор о том, стоит ли за этим понимание, идёт до сих пор. ## История - **12.06.2017** Исследователи Google публикуют статью «Attention Is All You Need» об архитектуре Transformer: она построена только на механизме внимания, без рекуррентных сетей, и обучается быстрее прежних.[^1] - **11.06.2018** [OpenAI](https://ftrlg.com/ru/models/openai/) показывает GPT: трансформер сначала обучают на большом корпусе текстов просто предсказывать продолжение, а потом дообучают на небольших размеченных наборах под конкретную задачу.[^2] - **14.02.2019** GPT-2 — 1,5 млрд параметров, обучена «просто предсказывать следующее слово» в 40 ГБ интернет-текста. Полную модель OpenAI сначала не выкладывает, опасаясь злоупотреблений, и выпускает её по частям до 05.11.2019.[^3] - **23.01.2020** Джаред Каплан и соавторы из OpenAI описывают законы масштабирования: ошибка модели падает по степенному закону с ростом числа параметров, объёма данных и вычислений.[^4] - **28.05.2020** GPT-3 — 175 млрд параметров. Модель решает новые задачи по нескольким примерам прямо в запросе, без дообучения.[^5] - **04.03.2022** OpenAI описывает InstructGPT: модель дообучают на оценках людей (RLHF), и ответы версии на 1,3 млрд параметров люди предпочитают ответам GPT-3, которая больше в 100 раз.[^6] - **29.03.2022** [DeepMind](https://ftrlg.com/ru/models/google-deepmind/) показывает Chinchilla: при том же бюджете вычислений модель на 70 млрд параметров, обученная на большем объёме текста, превосходит Gopher на 280 млрд. Вывод авторов: размер модели и число токенов для обучения надо наращивать одинаково.[^7] - **30.11.2022** OpenAI открывает ChatGPT — модель серии GPT-3.5, дообученную тем же способом, что InstructGPT.[^8] - **15.12.2022** [Anthropic](https://ftrlg.com/ru/models/anthropic/) описывает Constitutional AI — способ обучить безвредного ассистента без пометок людей о вредных ответах: единственный надзор человека — список правил и принципов, «конституция». Модель сама критикует и исправляет свои ответы, а какой из двух ответов лучше, решает другая модель.[^33] - **01.02.2023** По оценке аналитиков UBS, ChatGPT через два месяца после запуска набрал около 100 млн пользователей в месяц — быстрее любого потребительского приложения до него.[^9] ⧗ - **14.03.2023** GPT-4: по данным OpenAI, на смоделированном экзамене на адвоката модель набирает балл на уровне лучших 10% участников, а GPT-3.5 — худших 10%.[^10] - **14.03.2023** В тот же день Anthropic открывает [Claude](https://ftrlg.com/ru/models/claude/) — ассистента, основанного на исследованиях компании об обучении «полезных, честных и безвредных» систем, — в двух версиях: Claude и более лёгкий, дешёвый и быстрый Claude Instant; доступ — через чат и API.[^34] - **18.07.2023** [Meta](https://ftrlg.com/ru/models/meta/) выпускает Llama 2 — «бесплатно для исследований и коммерческого использования»; первую LLaMA в феврале выдавали только исследователям по заявке. С Llama 2 начинается волна моделей с открытыми весами.[^11] - **04.03.2024** Anthropic выпускает семейство Claude 3 — Haiku, Sonnet и Opus: модели разного размера, между которыми выбирают по соотношению ума, скорости и цены. По данным компании, Opus превосходит конкурентов на большинстве распространённых тестов; окно контекста — 200 тыс. токенов.[^35] - **12.09.2024** OpenAI выпускает o1 — модель рассуждений: обучение с подкреплением учит её «думать» цепочкой рассуждений перед ответом, и качество растёт не только от вычислений при обучении, но и от времени на размышление.[^12] - **20.01.2025** [DeepSeek](https://ftrlg.com/ru/models/deepseek-ai/) выпускает R1 — модель рассуждений с открытыми весами под лицензией MIT; по данным компании, она на уровне o1 в математике, коде и рассуждениях.[^13] - **07.10.2026** OpenAI открывает GPT-6 в ChatGPT всем пользователям, включая бесплатных.[^14] - **07.10.2026** В тот же день Anthropic выпускает Claude Haiku 5.5: по данным компании, работа с ней обходится в среднем примерно на 75% дешевле, чем с Haiku 4.5, а миллион входных токенов стоит $0,10 вместо $1.[^36] ## Как устроено Текст режется на токены, и модель по всем предыдущим токенам выдаёт вероятности следующего; ответ складывается из таких шагов по одному токену. Обучение идёт в два этапа. **Предобучение** — модель читает огромный корпус текстов и учится продолжать их; здесь она получает знания и умения. **Дообучение** превращает «продолжатель текста» в ассистента: модель учат следовать инструкциям и отвечать так, как предпочитают люди (RLHF), а модели рассуждений — ещё и решать задачи длинной цепочкой мыслей с проверкой ответа (обучение с подкреплением).[^6][^12] Основное умение даёт предобучение. В отчёте о GPT-4 OpenAI пишет, что способности модели, по-видимому, берутся в основном из предобучения, а RLHF не улучшает результат на экзаменах.[^15] Поэтому гонка моделей — это прежде всего гонка масштаба: законы масштабирования обещают предсказуемый выигрыш от каждого вложенного доллара, а Chinchilla показала, что данные важны не меньше размера модели.[^4][^7] Что происходит внутри модели, долго оставалось чёрным ящиком. 21.05.2024 Anthropic сообщила, что нашла, как внутри Claude Sonnet представлены миллионы понятий, — по её словам, это «первый подробный взгляд» внутрь современной большой языковой модели, работающей в продукте. Например, один и тот же признак срабатывает на упоминания моста Золотые Ворота по-английски, на японском, китайском, русском и других языках и на его изображение.[^37] ## Данные | исследование | что измеряли | результат | |---|---|---| | Epoch AI, 28.05.2024[^16] | вычисления на обучение передовых моделей с 2010 года; оценка | растут в **4–5 раз в год** | | Stanford AI Index 2024, 04.2024[^17] | стоимость вычислений на обучение по ценам аренды облака; оценка Epoch AI — сами компании цифр не раскрывают | GPT-4 — около **$78 млн**, Gemini Ultra — около **$191 млн** | | Stanford AI Index 2025, 04.2025[^18] | цена запроса к самой дешёвой модели, которая на тесте MMLU не хуже GPT-3.5 | с $20 до **$0,07** за миллион токенов с 11.2022 по 10.2024 — дешевле более чем в 280 раз | | Epoch AI, 06.06.2024[^19] | запас публичного текста, написанного людьми; оценка | около **300 трлн токенов**; при нынешних темпах будет полностью использован между 2026 и 2032 годами | | NBER, 09.2025[^20] | как пользуются ChatGPT (только личные тарифы); двое авторов — сотрудники OpenAI | к 07.2025 — **700 млн** человек в неделю, около 10% взрослых в мире; 73% сообщений не связаны с работой | | Stanford AI Index 2026, 04.2026[^21] | разрыв между лучшими моделями США и Китая в рейтинге Arena | на 03.2026 лучшая модель США — Claude Opus 4.6 — впереди лучшей китайской на **2,7%**; по оценке доклада, разрыв «фактически закрылся» | > **[ВЫВОД РЕДАКЦИИ]** В данных две кривые, которые идут в разные стороны. Вычисления на обучение передовых моделей растут в 4–5 раз в год, и обучение одной модели стоит уже сотни миллионов долларов. А цена одного и того же уровня способностей падает в сотни раз: модель, которая в 2022 году была передовой, через два года почти ничего не стоит. Отсюда массовость — сотни миллионов людей в неделю — и быстрое догоняние: китайские модели почти сравнялись с лучшими американскими. Упор — в данные: написанного людьми текста может хватить лишь до конца десятилетия. Оговорки: стоимость обучения и запас текста — оценки по косвенным данным, исследование использования проведено при участии OpenAI. ## Инциденты ### Mata v. Avianca: выдуманные ChatGPT судебные решения, июнь 2023 Юристы истца по делу против авиакомпании Avianca подали в федеральный суд Нью-Йорка документ со ссылками на несуществующие судебные решения с выдуманными цитатами — их сочинил ChatGPT. 22.06.2023 судья Кевин Кастел оштрафовал двух юристов и их фирму на $5000: они не только подали выдумки, но и продолжали на них настаивать, когда суд усомнился в существовании решений.[^22] ## Критика Эмили Бендер, Тимнит Гебру и соавторы в статье «On the Dangers of Stochastic Parrots» (03.2021) называют языковую модель системой, которая «как попало сшивает» последовательности языковых форм из обучающих данных по вероятностям, «без всякой отсылки к смыслу», — «стохастическим попугаем». Связность её текста, по их словам, существует только в восприятии читателя.[^23] Ян Лекун 26.03.2023 выложил слайд «Авторегрессионные LLM обречены»: каждый токен с некоторой вероятностью уводит ответ с верного пути, ошибка накапливается экспоненциально, и без серьёзной смены архитектуры это не исправить.[^24] Сейчас он основатель AMI Labs, которая строит «модели мира», обучающиеся на данных с датчиков реального мира.[^25] Исследователи OpenAI 04.09.2025 объяснили выдумки моделей так: обучение и тесты «награждают угадывание, а не признание неуверенности». Из 10 популярных тестов 9 ставят за ответ «не знаю» ноль баллов, поэтому модели выгоднее угадывать.[^26] Авторы и издатели оспаривают в суде само обучение на их текстах. The New York Times 27.12.2023 подала иск к OpenAI и Microsoft; теперь он рассматривается вместе с другими исками к OpenAI, решения нет.[^27] В деле Bartz v. Anthropic судья Уильям Алсап 23.06.2025 признал обучение [Claude](https://ftrlg.com/ru/models/claude/) на книгах добросовестным использованием — «исключительно преобразующим», — но не хранение пиратских копий книг.[^28] [Anthropic](https://ftrlg.com/ru/models/anthropic/) согласилась выплатить $1,5 млрд — около $3000 за произведение; 20.07.2026 суд окончательно утвердил соглашение.[^29] ## Развитие Обучение на собственных текстах моделей не заменяет человеческие данные: в работе в Nature (24.07.2024) Илья Шумайлов и соавторы показали, что при обучении без разбора на сгенерированном тексте модели необратимо теряют «хвосты» исходного распределения — редкое и необычное.[^30] Илья Суцкевер 13.12.2024 на конференции NeurIPS сказал, что «предобучение в том виде, в каком мы его знаем, безусловно закончится»: вычисления растут, а данные — нет, потому что интернет у нас один; данные он назвал «ископаемым топливом ИИ». Следующими шагами он назвал агентов, синтетические данные и вычисления во время ответа.[^31] ⧗ Так и вышло: с 2024 года рост идёт не только от предобучения, но и от рассуждений (модели рассуждений), а модели всё чаще работают сами — как [агенты](https://ftrlg.com/ru/wiki/autonomous-ai-agents/), в [агентной инженерии](https://ftrlg.com/ru/wiki/agentic-engineering/) и [математике](https://ftrlg.com/ru/wiki/ai-mathematics/). [Андрей Карпаты](https://ftrlg.com/ru/wiki/andrej-karpathy/) в июне 2025 года назвал LLM «новым видом компьютера», похожим на операционную систему: промпты — это программы, «и написаны они на английском».[^32] ## Сигналы - 2026-10-15 — Ник Каммарата: «Полисемантичность — один нейрон на много понятий — в основном была ошибкой прочтения: нейросети «уже чистые», и агенты могут разбирать их нейрон за нейроном; в предварительной проверке Qwen3-32B примерно у 90% нейронов одна основная работа» — исследователь интерпретируемости в Goodfire, начинал проект автоматической интерпретации нейронов в OpenAI, — в эссе «Нейросети уже чистые» (рабочая гипотеза, без рецензии; сопроводительная статья обещана); Нил Нанда и другие исследователи возразили (https://ftrlg.com/ru/signals/cgij8q2um/) - 2026-10-11 — Андрей Карпаты: «Около 6 млрд человек (~75% населения) почти не сталкивались с LLM, а доступ к системам передового уровня внутри лабораторий есть примерно у 5000» — о том, что разрыв в понимании возможностей ИИ между публикой, профессионалами и лабораториями растёт (https://ftrlg.com/ru/signals/cc3qwtwnz/) ## См. также Transformer · Чат-боты · Модели рассуждений · Открытые веса · [Автономные ИИ-агенты](https://ftrlg.com/ru/wiki/autonomous-ai-agents/) · [Вайбкодинг](https://ftrlg.com/ru/wiki/vibe-coding/) · [ИИ в математике](https://ftrlg.com/ru/wiki/ai-mathematics/) ## Примечания [^1]: A. Vaswani et al. Attention Is All You Need — arXiv, 12.06.2017. [arxiv.org](https://arxiv.org/abs/1706.03762) [^2]: Improving language understanding with unsupervised learning — OpenAI, 11.06.2018. [openai.com](https://openai.com/index/language-unsupervised/) [^3]: Better Language Models and Their Implications — OpenAI, 14.02.2019. [openai.com](https://openai.com/index/better-language-models/); GPT-2: 1.5B Release — OpenAI, 05.11.2019. [openai.com](https://openai.com/index/gpt-2-1-5b-release/) [^4]: J. Kaplan et al. Scaling Laws for Neural Language Models — arXiv, 23.01.2020. [arxiv.org](https://arxiv.org/abs/2001.08361) [^5]: T. Brown et al. Language Models are Few-Shot Learners — arXiv, 28.05.2020. [arxiv.org](https://arxiv.org/abs/2005.14165) [^6]: L. Ouyang et al. Training language models to follow instructions with human feedback — arXiv, 04.03.2022. [arxiv.org](https://arxiv.org/abs/2203.02155) [^7]: J. Hoffmann et al. Training Compute-Optimal Large Language Models — arXiv, 29.03.2022. [arxiv.org](https://arxiv.org/abs/2203.15556) [^8]: Introducing ChatGPT — OpenAI, 30.11.2022. [openai.com](https://openai.com/index/chatgpt/) [^9]: ChatGPT sets record for fastest-growing user base — Reuters, 02.02.2023 (перепечатка). [finance.yahoo.com](https://finance.yahoo.com/news/1-chatgpt-sets-record-fastest-051929384.html) ⧗ [^10]: GPT-4 — OpenAI, 14.03.2023. [openai.com](https://openai.com/index/gpt-4-research/) [^11]: Meta and Microsoft Introduce the Next Generation of Llama — Meta, 18.07.2023. [about.fb.com](https://about.fb.com/news/2023/07/llama-2/) [^12]: Learning to reason with LLMs — OpenAI, 12.09.2024. [openai.com](https://openai.com/index/learning-to-reason-with-llms/) [^13]: DeepSeek-R1 Release — DeepSeek, 20.01.2025. [api-docs.deepseek.com](https://api-docs.deepseek.com/news/news250120) [^14]: GPT-6 and Intelligent UI for everyone — OpenAI, 07.10.2026. [openai.com](https://openai.com/index/gpt-6-for-everyone/) [^15]: OpenAI. GPT-4 Technical Report — arXiv, 15.03.2023. [arxiv.org](https://arxiv.org/abs/2303.08774) [^16]: Training compute of frontier AI models grows by 4-5x per year — Epoch AI, 28.05.2024. [epoch.ai](https://epoch.ai/blog/training-compute-of-frontier-ai-models-grows-by-4-5x-per-year) [^17]: AI Index Report 2024 — Stanford HAI, 04.2024. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2024-ai-index-report) [^18]: AI Index Report 2025 — Stanford HAI, 04.2025. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2025-ai-index-report) [^19]: Will we run out of data? Limits of LLM scaling based on human-generated data — Epoch AI, 06.06.2024. [epoch.ai](https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data) [^20]: A. Chatterji et al. How People Use ChatGPT — NBER Working Paper 34255, 09.2025. [nber.org](https://www.nber.org/papers/w34255) [^21]: AI Index Report 2026 — Stanford HAI, 04.2026. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2026-ai-index-report) [^22]: Mata v. Avianca, Inc., 22-cv-1461 (PKC): Opinion and Order on Sanctions — U.S. District Court, S.D.N.Y., 22.06.2023. [courtlistener.com](https://storage.courtlistener.com/recap/gov.uscourts.nysd.575368/gov.uscourts.nysd.575368.54.0_3.pdf) [^23]: E. Bender, T. Gebru, A. McMillan-Major, S. Shmitchell. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? — FAccT ’21, ACM, 03.2021. [doi.org](https://doi.org/10.1145/3442188.3445922) [^24]: Yann LeCun: «I have claimed that Auto-Regressive LLMs are exponentially diverging diffusion processes» — X, 26.03.2023. [x.com](https://x.com/ylecun/status/1640122342570336267) [^25]: AMI Labs. [amilabs.xyz](https://amilabs.xyz) [^26]: A. Kalai, O. Nachum, S. Vempala, E. Zhang. Why Language Models Hallucinate — arXiv, 04.09.2025. [arxiv.org](https://arxiv.org/abs/2509.04664) [^27]: The New York Times Company v. Microsoft Corporation et al., 1:23-cv-11195: исковое заявление — U.S. District Court, S.D.N.Y., 27.12.2023. [nytco-assets.nytimes.com](https://nytco-assets.nytimes.com/2023/12/NYT_Complaint_Dec2023.pdf) [^28]: Bartz v. Anthropic PBC, 3:24-cv-05417: Order on Fair Use — U.S. District Court, N.D. Cal., 23.06.2025. [courtlistener.com](https://storage.courtlistener.com/recap/gov.uscourts.cand.434709/gov.uscourts.cand.434709.231.0_2.pdf) [^29]: Anthropic Copyright Settlement — официальный сайт соглашения. [anthropiccopyrightsettlement.com](https://www.anthropiccopyrightsettlement.com/) [^30]: I. Shumailov et al. AI models collapse when trained on recursively generated data — Nature, 24.07.2024. [nature.com](https://www.nature.com/articles/s41586-024-07566-y) [^31]: Ilya Sutskever. Sequence to sequence learning with neural networks: what a decade — NeurIPS, 13.12.2024 (запись доклада). [youtube.com](https://www.youtube.com/watch?v=1yvBqasHLZs) ⧗ [^32]: Andrej Karpathy: Software Is Changing (Again) — Y Combinator, 18.06.2025. [youtube.com](https://www.youtube.com/watch?v=LCEmiRjPEtQ) [^33]: Y. Bai et al. Constitutional AI: Harmlessness from AI Feedback — arXiv, 15.12.2022. [arxiv.org](https://arxiv.org/abs/2212.08073) [^34]: Introducing Claude — Anthropic, 14.03.2023. [anthropic.com](https://www.anthropic.com/news/introducing-claude) [^35]: Introducing the next generation of Claude — Anthropic, 04.03.2024. [anthropic.com](https://www.anthropic.com/news/claude-3-family) [^36]: Introducing Claude Haiku 5.5 — Anthropic, 07.10.2026. [anthropic.com](https://www.anthropic.com/claude-haiku-5-5) [^37]: Mapping the mind of a large language model — Anthropic, 21.05.2024. [anthropic.com](https://www.anthropic.com/research/mapping-mind-language-model) — future.log, «Большая языковая модель», https://ftrlg.com/ru/wiki/large-language-model/ · CC BY 4.0