--- title: Modelo de lenguaje grande url: https://ftrlg.com/es/wiki/large-language-model/ lang: es published: 2026-10-16 version: 1 summary: Red neuronal entrenada para adivinar la palabra siguiente en un enorme volumen de texto. Al crecer aprendió a traducir, programar y razonar, y es la base de los chatbots y los agentes de IA. cite_as: "future.log, «Modelo de lenguaje grande», https://ftrlg.com/es/wiki/large-language-model/" license: CC BY 4.0 https://creativecommons.org/licenses/by/4.0/ --- # Modelo de lenguaje grande Un **modelo de lenguaje grande** (en inglés, *large language model*, LLM) es una red neuronal a la que se entrena con un enorme volumen de texto para una sola tarea: adivinar la palabra siguiente o, más exactamente, el token siguiente, un fragmento de palabra. La respuesta del modelo son muchas de esas predicciones seguidas. Sobre los modelos de lenguaje grandes se construyen los chatbots, los asistentes de IA para programadores y los [agentes de IA](https://ftrlg.com/es/wiki/autonomous-ai-agents/). La gran sorpresa de esta tecnología es la escala. La tarea de «continuar el texto» no ha cambiado desde 2018, pero cuanto más crecían los modelos, los datos y el cómputo, más cosas sabían hacer los modelos: resolver tareas a partir de unos pocos ejemplos, traducir, escribir programas y, después, razonar y trabajar por su cuenta.[^4][^5] El debate sobre si detrás de esto hay comprensión sigue abierto. ## Historia - **12.06.2017** Investigadores de Google publican el artículo «Attention Is All You Need» sobre la arquitectura Transformer: se basa únicamente en el mecanismo de atención, sin redes recurrentes, y se entrena más rápido que las anteriores.[^1] - **11.06.2018** [OpenAI](https://ftrlg.com/es/models/openai/) presenta GPT: primero se entrena un transformer con un gran corpus de textos simplemente para predecir la continuación, y después se ajusta con pequeños conjuntos etiquetados para cada tarea concreta.[^2] - **14.02.2019** GPT-2: 1500 millones de parámetros, entrenado «simplemente para predecir la palabra siguiente» en 40 GB de texto de internet. Al principio OpenAI no publica el modelo completo por temor a usos indebidos y lo libera por partes hasta el 05.11.2019.[^3] - **23.01.2020** Jared Kaplan y sus coautores de OpenAI describen las leyes de escalado: el error del modelo disminuye según una ley de potencias a medida que crecen el número de parámetros, el volumen de datos y el cómputo.[^4] - **28.05.2020** GPT-3: 175.000 millones de parámetros. El modelo resuelve tareas nuevas a partir de unos pocos ejemplos incluidos en la propia petición, sin ajuste adicional.[^5] - **04.03.2022** OpenAI describe InstructGPT: el modelo se ajusta con valoraciones de personas (RLHF), y las personas prefieren las respuestas de la versión de 1300 millones de parámetros a las de GPT-3, que es 100 veces mayor.[^6] - **29.03.2022** [DeepMind](https://ftrlg.com/es/models/google-deepmind/) presenta Chinchilla: con el mismo presupuesto de cómputo, un modelo de 70.000 millones de parámetros entrenado con más texto supera a Gopher, de 280.000 millones. La conclusión de los autores: el tamaño del modelo y el número de tokens de entrenamiento deben aumentarse en la misma proporción.[^7] - **30.11.2022** OpenAI abre ChatGPT, un modelo de la serie GPT-3.5 ajustado con el mismo método que InstructGPT.[^8] - **15.12.2022** [Anthropic](https://ftrlg.com/es/models/anthropic/) describe Constitutional AI, un método para entrenar un asistente inofensivo sin etiquetas humanas sobre respuestas dañinas: la única supervisión humana es una lista de reglas y principios, la «constitución». El modelo critica y corrige sus propias respuestas, y otro modelo decide cuál de dos respuestas es mejor.[^33] - **01.02.2023** Según estimaciones de analistas de UBS, ChatGPT alcanzó unos 100 millones de usuarios mensuales dos meses después de su lanzamiento, más rápido que cualquier aplicación de consumo anterior.[^9] ⧗ - **14.03.2023** GPT-4: según OpenAI, en un examen simulado de acceso a la abogacía el modelo obtiene una puntuación al nivel del 10% de los mejores participantes, y GPT-3.5, al del 10% de los peores.[^10] - **14.03.2023** Ese mismo día, Anthropic abre [Claude](https://ftrlg.com/es/models/claude/), un asistente basado en la investigación de la empresa sobre cómo entrenar sistemas de IA «útiles, honestos e inofensivos», en dos versiones: Claude y Claude Instant, más ligero, barato y rápido; el acceso es a través del chat y de la API.[^34] - **18.07.2023** [Meta](https://ftrlg.com/es/models/meta/) lanza Llama 2, «gratuito para investigación y uso comercial»; la primera LLaMA, en febrero, solo se entregaba a investigadores previa solicitud. Con Llama 2 empieza la ola de modelos de pesos abiertos.[^11] - **04.03.2024** Anthropic lanza la familia Claude 3 (Haiku, Sonnet y Opus): modelos de distinto tamaño entre los que se elige según el equilibrio entre inteligencia, velocidad y precio. Según la empresa, Opus supera a sus competidores en la mayoría de las pruebas habituales; la ventana de contexto es de 200.000 tokens.[^35] - **12.09.2024** OpenAI lanza o1, un modelo de razonamiento: el aprendizaje por refuerzo le enseña a «pensar» con una cadena de razonamiento antes de responder, y la calidad crece no solo con el cómputo de entrenamiento, sino también con el tiempo dedicado a pensar.[^12] - **20.01.2025** [DeepSeek](https://ftrlg.com/es/models/deepseek-ai/) lanza R1, un modelo de razonamiento de pesos abiertos con licencia MIT; según la empresa, está al nivel de o1 en matemáticas, código y razonamiento.[^13] - **07.10.2026** OpenAI abre GPT-6 en ChatGPT a todos los usuarios, incluidos los gratuitos.[^14] - **07.10.2026** Ese mismo día, Anthropic lanza Claude Haiku 5.5: según la empresa, usarlo cuesta de media un 75% menos que Haiku 4.5, y el millón de tokens de entrada cuesta 0,10 dólares en lugar de 1 dólar.[^36] ## Cómo funciona El texto se divide en tokens, y el modelo, a partir de todos los tokens anteriores, da las probabilidades del siguiente; la respuesta se compone de esos pasos, token a token. El entrenamiento tiene dos etapas. En el **preentrenamiento**, el modelo lee un enorme corpus de textos y aprende a continuarlos; aquí adquiere conocimientos y habilidades. El **ajuste posterior** convierte el «continuador de textos» en un asistente: al modelo se le enseña a seguir instrucciones y a responder como prefieren las personas (RLHF), y a los modelos de razonamiento, además, a resolver tareas con una larga cadena de pensamiento y verificación de la respuesta (aprendizaje por refuerzo).[^6][^12] La capacidad principal la aporta el preentrenamiento. En el informe sobre GPT-4, OpenAI escribe que las capacidades del modelo parecen provenir sobre todo del preentrenamiento, y que el RLHF no mejora el rendimiento en los exámenes.[^15] Por eso la carrera de los modelos es ante todo una carrera de escala: las leyes de escalado prometen una ganancia predecible por cada dólar invertido, y Chinchilla mostró que los datos importan tanto como el tamaño del modelo.[^4][^7] Durante mucho tiempo, lo que ocurre dentro del modelo fue una caja negra. El 21.05.2024, Anthropic anunció que había descubierto cómo se representan millones de conceptos dentro de Claude Sonnet; según la empresa, es «la primera mirada detallada» al interior de un modelo de lenguaje grande moderno que funciona en un producto. Por ejemplo, un mismo rasgo se activa con las menciones del puente Golden Gate en inglés, japonés, chino, ruso y otros idiomas, y con imágenes del puente.[^37] ## Datos | estudio | qué se midió | resultado | |---|---|---| | Epoch AI, 28.05.2024[^16] | el cómputo de entrenamiento de los modelos punteros desde 2010; estimación | crece **entre 4 y 5 veces al año** | | Stanford AI Index 2024, 04.2024[^17] | el coste del cómputo de entrenamiento a precios de alquiler en la nube; estimación de Epoch AI, ya que las empresas no revelan sus cifras | GPT-4, unos **78 millones de dólares**; Gemini Ultra, unos **191 millones de dólares** | | Stanford AI Index 2025, 04.2025[^18] | el precio de una petición al modelo más barato que no es peor que GPT-3.5 en la prueba MMLU | de 20 a **0,07 dólares** por millón de tokens entre 11.2022 y 10.2024: más de 280 veces más barato | | Epoch AI, 06.06.2024[^19] | la reserva de texto público escrito por personas; estimación | unos **300 billones de tokens**; al ritmo actual se agotará por completo entre 2026 y 2032 | | NBER, 09.2025[^20] | cómo se usa ChatGPT (solo planes personales); dos de los autores son empleados de OpenAI | en 07.2025, **700 millones** de personas a la semana, cerca del 10% de los adultos del mundo; el 73% de los mensajes no tiene relación con el trabajo | | Stanford AI Index 2026, 04.2026[^21] | la distancia entre los mejores modelos de EE. UU. y de China en la clasificación de Arena | en 03.2026, el mejor modelo estadounidense, Claude Opus 4.6, aventaja al mejor chino en un **2,7%**; según el informe, la distancia «en la práctica se ha cerrado» | > **[CONCLUSIÓN DE LA REDACCIÓN]** Los datos muestran dos curvas que van en direcciones opuestas. El cómputo de entrenamiento de los modelos punteros crece entre 4 y 5 veces al año, y entrenar un solo modelo ya cuesta cientos de millones de dólares. En cambio, el precio de un mismo nivel de capacidad cae cientos de veces: un modelo que era puntero en 2022 casi no cuesta nada dos años después. De ahí la adopción masiva, con cientos de millones de personas a la semana, y la rápida recuperación de terreno: los modelos chinos casi han alcanzado a los mejores estadounidenses. El límite está en los datos: el texto escrito por personas quizá solo alcance hasta el final de la década. Salvedades: el coste del entrenamiento y la reserva de texto son estimaciones basadas en datos indirectos, y el estudio sobre el uso se hizo con participación de OpenAI. ## Incidentes ### Mata v. Avianca: sentencias inventadas por ChatGPT, junio de 2023 Los abogados del demandante en un pleito contra la aerolínea Avianca presentaron ante un tribunal federal de Nueva York un escrito con referencias a sentencias inexistentes y citas inventadas, todas ellas obra de ChatGPT. El 22.06.2023, el juez Kevin Castel multó con 5000 dólares a dos abogados y a su bufete: no solo habían presentado las invenciones, sino que siguieron defendiéndolas cuando el tribunal puso en duda que esas sentencias existieran.[^22] ## Críticas Emily Bender, Timnit Gebru y sus coautores, en el artículo «On the Dangers of Stochastic Parrots» (03.2021), describen el modelo de lenguaje como un sistema que «cose de forma azarosa» secuencias de formas lingüísticas observadas en sus datos de entrenamiento según información probabilística, «sin ninguna referencia al significado»: un «loro estocástico». La coherencia de sus textos, según ellos, solo existe en la percepción del lector.[^23] Yann LeCun publicó el 26.03.2023 una diapositiva titulada «Los LLM autorregresivos están condenados»: cada token tiene cierta probabilidad de desviar la respuesta del camino correcto, el error se acumula de forma exponencial y, sin un rediseño profundo de la arquitectura, esto no tiene arreglo.[^24] Hoy es el fundador de AMI Labs, que construye «modelos del mundo» entrenados con datos de sensores del mundo real.[^25] Investigadores de OpenAI explicaron el 04.09.2025 las invenciones de los modelos así: los procedimientos de entrenamiento y evaluación «recompensan adivinar en lugar de reconocer la incertidumbre». De 10 pruebas populares, 9 dan cero puntos por responder «no lo sé», así que al modelo le sale más a cuenta adivinar.[^26] Autores y editoriales impugnan ante los tribunales el propio entrenamiento con sus textos. The New York Times demandó el 27.12.2023 a OpenAI y a Microsoft; la demanda se tramita ahora junto con otras contra OpenAI y aún no hay sentencia.[^27] En el caso Bartz v. Anthropic, el juez William Alsup consideró el 23.06.2025 que entrenar a [Claude](https://ftrlg.com/es/models/claude/) con libros es un uso legítimo (*fair use*), «sumamente transformador», pero no así guardar copias pirata de los libros.[^28] [Anthropic](https://ftrlg.com/es/models/anthropic/) aceptó pagar 1500 millones de dólares, unos 3000 dólares por obra; el 20.07.2026 el tribunal aprobó definitivamente el acuerdo.[^29] ## Evolución Entrenar con los textos de los propios modelos no sustituye a los datos humanos: en un trabajo publicado en Nature (24.07.2024), Ilia Shumailov y sus coautores mostraron que, al entrenar indiscriminadamente con texto generado, los modelos pierden de forma irreversible las «colas» de la distribución original, lo raro y lo inusual.[^30] Ilya Sutskever dijo el 13.12.2024 en la conferencia NeurIPS que «el preentrenamiento tal como lo conocemos terminará sin duda»: el cómputo crece, pero los datos no, porque «solo tenemos un internet»; a los datos los llamó «el combustible fósil de la IA». Como pasos siguientes señaló los agentes, los datos sintéticos y el cómputo en el momento de responder.[^31] ⧗ Así ocurrió: desde 2024 el progreso no viene solo del preentrenamiento, sino también del razonamiento (modelos de razonamiento), y los modelos trabajan cada vez más por su cuenta: como [agentes](https://ftrlg.com/es/wiki/autonomous-ai-agents/), en la [ingeniería agéntica](https://ftrlg.com/es/wiki/agentic-engineering/) y en las [matemáticas](https://ftrlg.com/es/wiki/ai-mathematics/). [Andrej Karpathy](https://ftrlg.com/es/wiki/andrej-karpathy/) llamó en junio de 2025 al LLM «un nuevo tipo de ordenador», parecido a un sistema operativo: los prompts son programas que programan al LLM, «y, sorprendentemente, están escritos en inglés».[^32] ## Señales - 2026-10-15 — Nick Cammarata: «La polisemanticidad —una neurona para muchos conceptos— fue sobre todo una mala lectura: las redes neuronales «ya están limpias» y los agentes pueden analizarlas neurona a neurona; en una revisión preliminar de Qwen3-32B, cerca del 90% de las neuronas tiene una tarea principal» — investigador de interpretabilidad en Goodfire, que inició el proyecto de interpretación automática de neuronas en OpenAI, en el ensayo «Las redes neuronales ya están limpias» (una hipótesis de trabajo, sin revisión por pares; se promete un artículo complementario); Neel Nanda y otros investigadores le respondieron con objeciones (https://ftrlg.com/es/signals/cgij8q2um/) - 2026-10-11 — Andrej Karpathy: «Unos 6.000 millones de personas (~75% de la población) apenas han tenido contacto con los LLM, mientras ~5.000 tienen acceso interno a sistemas de nivel puntero» — sobre la brecha creciente en la comprensión de las capacidades de la IA entre el público, los profesionales y los laboratorios (https://ftrlg.com/es/signals/cc3qwtwnz/) ## Véase también Transformer · Chatbots · Modelos de razonamiento · Pesos abiertos · [Agentes de IA autónomos](https://ftrlg.com/es/wiki/autonomous-ai-agents/) · [Vibe coding](https://ftrlg.com/es/wiki/vibe-coding/) · [IA en matemáticas](https://ftrlg.com/es/wiki/ai-mathematics/) ## Referencias [^1]: A. Vaswani et al. Attention Is All You Need — arXiv, 12.06.2017. [arxiv.org](https://arxiv.org/abs/1706.03762) [^2]: Improving language understanding with unsupervised learning — OpenAI, 11.06.2018. [openai.com](https://openai.com/index/language-unsupervised/) [^3]: Better Language Models and Their Implications — OpenAI, 14.02.2019. [openai.com](https://openai.com/index/better-language-models/); GPT-2: 1.5B Release — OpenAI, 05.11.2019. [openai.com](https://openai.com/index/gpt-2-1-5b-release/) [^4]: J. Kaplan et al. Scaling Laws for Neural Language Models — arXiv, 23.01.2020. [arxiv.org](https://arxiv.org/abs/2001.08361) [^5]: T. Brown et al. Language Models are Few-Shot Learners — arXiv, 28.05.2020. [arxiv.org](https://arxiv.org/abs/2005.14165) [^6]: L. Ouyang et al. Training language models to follow instructions with human feedback — arXiv, 04.03.2022. [arxiv.org](https://arxiv.org/abs/2203.02155) [^7]: J. Hoffmann et al. Training Compute-Optimal Large Language Models — arXiv, 29.03.2022. [arxiv.org](https://arxiv.org/abs/2203.15556) [^8]: Introducing ChatGPT — OpenAI, 30.11.2022. [openai.com](https://openai.com/index/chatgpt/) [^9]: ChatGPT sets record for fastest-growing user base — Reuters, 02.02.2023 (reproducción). [finance.yahoo.com](https://finance.yahoo.com/news/1-chatgpt-sets-record-fastest-051929384.html) ⧗ [^10]: GPT-4 — OpenAI, 14.03.2023. [openai.com](https://openai.com/index/gpt-4-research/) [^11]: Meta and Microsoft Introduce the Next Generation of Llama — Meta, 18.07.2023. [about.fb.com](https://about.fb.com/news/2023/07/llama-2/) [^12]: Learning to reason with LLMs — OpenAI, 12.09.2024. [openai.com](https://openai.com/index/learning-to-reason-with-llms/) [^13]: DeepSeek-R1 Release — DeepSeek, 20.01.2025. [api-docs.deepseek.com](https://api-docs.deepseek.com/news/news250120) [^14]: GPT-6 and Intelligent UI for everyone — OpenAI, 07.10.2026. [openai.com](https://openai.com/index/gpt-6-for-everyone/) [^15]: OpenAI. GPT-4 Technical Report — arXiv, 15.03.2023. [arxiv.org](https://arxiv.org/abs/2303.08774) [^16]: Training compute of frontier AI models grows by 4-5x per year — Epoch AI, 28.05.2024. [epoch.ai](https://epoch.ai/blog/training-compute-of-frontier-ai-models-grows-by-4-5x-per-year) [^17]: AI Index Report 2024 — Stanford HAI, 04.2024. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2024-ai-index-report) [^18]: AI Index Report 2025 — Stanford HAI, 04.2025. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2025-ai-index-report) [^19]: Will we run out of data? Limits of LLM scaling based on human-generated data — Epoch AI, 06.06.2024. [epoch.ai](https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data) [^20]: A. Chatterji et al. How People Use ChatGPT — NBER Working Paper 34255, 09.2025. [nber.org](https://www.nber.org/papers/w34255) [^21]: AI Index Report 2026 — Stanford HAI, 04.2026. [hai.stanford.edu](https://hai.stanford.edu/ai-index/2026-ai-index-report) [^22]: Mata v. Avianca, Inc., 22-cv-1461 (PKC): Opinion and Order on Sanctions — U.S. District Court, S.D.N.Y., 22.06.2023. [courtlistener.com](https://storage.courtlistener.com/recap/gov.uscourts.nysd.575368/gov.uscourts.nysd.575368.54.0_3.pdf) [^23]: E. Bender, T. Gebru, A. McMillan-Major, S. Shmitchell. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? — FAccT ’21, ACM, 03.2021. [doi.org](https://doi.org/10.1145/3442188.3445922) [^24]: Yann LeCun: «I have claimed that Auto-Regressive LLMs are exponentially diverging diffusion processes» — X, 26.03.2023. [x.com](https://x.com/ylecun/status/1640122342570336267) [^25]: AMI Labs. [amilabs.xyz](https://amilabs.xyz) [^26]: A. Kalai, O. Nachum, S. Vempala, E. Zhang. Why Language Models Hallucinate — arXiv, 04.09.2025. [arxiv.org](https://arxiv.org/abs/2509.04664) [^27]: The New York Times Company v. Microsoft Corporation et al., 1:23-cv-11195: demanda — U.S. District Court, S.D.N.Y., 27.12.2023. [nytco-assets.nytimes.com](https://nytco-assets.nytimes.com/2023/12/NYT_Complaint_Dec2023.pdf) [^28]: Bartz v. Anthropic PBC, 3:24-cv-05417: Order on Fair Use — U.S. District Court, N.D. Cal., 23.06.2025. [courtlistener.com](https://storage.courtlistener.com/recap/gov.uscourts.cand.434709/gov.uscourts.cand.434709.231.0_2.pdf) [^29]: Anthropic Copyright Settlement — sitio oficial del acuerdo. [anthropiccopyrightsettlement.com](https://www.anthropiccopyrightsettlement.com/) [^30]: I. Shumailov et al. AI models collapse when trained on recursively generated data — Nature, 24.07.2024. [nature.com](https://www.nature.com/articles/s41586-024-07566-y) [^31]: Ilya Sutskever. Sequence to sequence learning with neural networks: what a decade — NeurIPS, 13.12.2024 (grabación de la ponencia). [youtube.com](https://www.youtube.com/watch?v=1yvBqasHLZs) ⧗ [^32]: Andrej Karpathy: Software Is Changing (Again) — Y Combinator, 18.06.2025. [youtube.com](https://www.youtube.com/watch?v=LCEmiRjPEtQ) [^33]: Y. Bai et al. Constitutional AI: Harmlessness from AI Feedback — arXiv, 15.12.2022. [arxiv.org](https://arxiv.org/abs/2212.08073) [^34]: Introducing Claude — Anthropic, 14.03.2023. [anthropic.com](https://www.anthropic.com/news/introducing-claude) [^35]: Introducing the next generation of Claude — Anthropic, 04.03.2024. [anthropic.com](https://www.anthropic.com/news/claude-3-family) [^36]: Introducing Claude Haiku 5.5 — Anthropic, 07.10.2026. [anthropic.com](https://www.anthropic.com/claude-haiku-5-5) [^37]: Mapping the mind of a large language model — Anthropic, 21.05.2024. [anthropic.com](https://www.anthropic.com/research/mapping-mind-language-model) — future.log, «Modelo de lenguaje grande», https://ftrlg.com/es/wiki/large-language-model/ · CC BY 4.0