Modelo de lenguaje grande

Un modelo de lenguaje grande (en inglés, large language model, LLM) es una red neuronal a la que se entrena con un enorme volumen de texto para una sola tarea: adivinar la palabra siguiente o, más exactamente, el token siguiente, un fragmento de palabra. La respuesta del modelo son muchas de esas predicciones seguidas. Sobre los modelos de lenguaje grandes se construyen los chatbots, los asistentes de IA para programadores y los agentes de IA.

La gran sorpresa de esta tecnología es la escala. La tarea de «continuar el texto» no ha cambiado desde 2018, pero cuanto más crecían los modelos, los datos y el cómputo, más cosas sabían hacer los modelos: resolver tareas a partir de unos pocos ejemplos, traducir, escribir programas y, después, razonar y trabajar por su cuenta.¹² El debate sobre si detrás de esto hay comprensión sigue abierto.

Historia

• 12.06.2017Investigadores de Google publican el artículo «Attention Is All You Need» sobre la arquitectura Transformer: se basa únicamente en el mecanismo de atención, sin redes recurrentes, y se entrena más rápido que las anteriores.³ ¶ csanuy4nd
• 11.06.2018OpenAI presenta GPT: primero se entrena un transformer con un gran corpus de textos simplemente para predecir la continuación, y después se ajusta con pequeños conjuntos etiquetados para cada tarea concreta.⁴ ¶ c9p9gfxz6
• 14.02.2019GPT-2: 1500 millones de parámetros, entrenado «simplemente para predecir la palabra siguiente» en 40 GB de texto de internet. Al principio OpenAI no publica el modelo completo por temor a usos indebidos y lo libera por partes hasta el 05.11.2019.⁵ ¶ cx8dznxpz
• 23.01.2020Jared Kaplan y sus coautores de OpenAI describen las leyes de escalado: el error del modelo disminuye según una ley de potencias a medida que crecen el número de parámetros, el volumen de datos y el cómputo.¹ ¶ czpw8t6ic
• 28.05.2020GPT-3: 175.000 millones de parámetros. El modelo resuelve tareas nuevas a partir de unos pocos ejemplos incluidos en la propia petición, sin ajuste adicional.² ¶ chru876b8
• 04.03.2022OpenAI describe InstructGPT: el modelo se ajusta con valoraciones de personas (RLHF), y las personas prefieren las respuestas de la versión de 1300 millones de parámetros a las de GPT-3, que es 100 veces mayor.⁶ ¶ c585bcdf6
• 29.03.2022DeepMind presenta Chinchilla: con el mismo presupuesto de cómputo, un modelo de 70.000 millones de parámetros entrenado con más texto supera a Gopher, de 280.000 millones. La conclusión de los autores: el tamaño del modelo y el número de tokens de entrenamiento deben aumentarse en la misma proporción.⁷ ¶ cgg6g9xvw
• 30.11.2022OpenAI abre ChatGPT, un modelo de la serie GPT-3.5 ajustado con el mismo método que InstructGPT.⁸ ¶ cexyrfgim
• 15.12.2022Anthropic describe Constitutional AI, un método para entrenar un asistente inofensivo sin etiquetas humanas sobre respuestas dañinas: la única supervisión humana es una lista de reglas y principios, la «constitución». El modelo critica y corrige sus propias respuestas, y otro modelo decide cuál de dos respuestas es mejor.⁹ ¶ c6yd2bh89
• 01.02.2023Según estimaciones de analistas de UBS, ChatGPT alcanzó unos 100 millones de usuarios mensuales dos meses después de su lanzamiento, más rápido que cualquier aplicación de consumo anterior.¹⁰ ⧗ ¶ c77uhf6xw
• 14.03.2023GPT-4: según OpenAI, en un examen simulado de acceso a la abogacía el modelo obtiene una puntuación al nivel del 10% de los mejores participantes, y GPT-3.5, al del 10% de los peores.¹¹ ¶ cj6i7dziy
• 14.03.2023Ese mismo día, Anthropic abre Claude, un asistente basado en la investigación de la empresa sobre cómo entrenar sistemas de IA «útiles, honestos e inofensivos», en dos versiones: Claude y Claude Instant, más ligero, barato y rápido; el acceso es a través del chat y de la API.¹² ¶ c62ai5hfk
• 18.07.2023Meta lanza Llama 2, «gratuito para investigación y uso comercial»; la primera LLaMA, en febrero, solo se entregaba a investigadores previa solicitud. Con Llama 2 empieza la ola de modelos de pesos abiertos.¹³ ¶ cauga2wua
• 04.03.2024Anthropic lanza la familia Claude 3 (Haiku, Sonnet y Opus): modelos de distinto tamaño entre los que se elige según el equilibrio entre inteligencia, velocidad y precio. Según la empresa, Opus supera a sus competidores en la mayoría de las pruebas habituales; la ventana de contexto es de 200.000 tokens.¹⁴ ¶ cafmxgxnp
• 12.09.2024OpenAI lanza o1, un modelo de razonamiento: el aprendizaje por refuerzo le enseña a «pensar» con una cadena de razonamiento antes de responder, y la calidad crece no solo con el cómputo de entrenamiento, sino también con el tiempo dedicado a pensar.¹⁵ ¶ c2aep9gte
• 20.01.2025DeepSeek lanza R1, un modelo de razonamiento de pesos abiertos con licencia MIT; según la empresa, está al nivel de o1 en matemáticas, código y razonamiento.¹⁶ ¶ cbq5443qj
• 07.10.2026OpenAI abre GPT-6 en ChatGPT a todos los usuarios, incluidos los gratuitos.¹⁷ ¶ cb92g57km
• 07.10.2026Ese mismo día, Anthropic lanza Claude Haiku 5.5: según la empresa, usarlo cuesta de media un 75% menos que Haiku 4.5, y el millón de tokens de entrada cuesta 0,10 dólares en lugar de 1 dólar.¹⁸ ¶ csfz8waiq

Cómo funciona

El texto se divide en tokens, y el modelo, a partir de todos los tokens anteriores, da las probabilidades del siguiente; la respuesta se compone de esos pasos, token a token. El entrenamiento tiene dos etapas. En el preentrenamiento, el modelo lee un enorme corpus de textos y aprende a continuarlos; aquí adquiere conocimientos y habilidades. El ajuste posterior convierte el «continuador de textos» en un asistente: al modelo se le enseña a seguir instrucciones y a responder como prefieren las personas (RLHF), y a los modelos de razonamiento, además, a resolver tareas con una larga cadena de pensamiento y verificación de la respuesta (aprendizaje por refuerzo).⁶¹⁵

La capacidad principal la aporta el preentrenamiento. En el informe sobre GPT-4, OpenAI escribe que las capacidades del modelo parecen provenir sobre todo del preentrenamiento, y que el RLHF no mejora el rendimiento en los exámenes.¹⁹ Por eso la carrera de los modelos es ante todo una carrera de escala: las leyes de escalado prometen una ganancia predecible por cada dólar invertido, y Chinchilla mostró que los datos importan tanto como el tamaño del modelo.¹⁷

Durante mucho tiempo, lo que ocurre dentro del modelo fue una caja negra. El 21.05.2024, Anthropic anunció que había descubierto cómo se representan millones de conceptos dentro de Claude Sonnet; según la empresa, es «la primera mirada detallada» al interior de un modelo de lenguaje grande moderno que funciona en un producto. Por ejemplo, un mismo rasgo se activa con las menciones del puente Golden Gate en inglés, japonés, chino, ruso y otros idiomas, y con imágenes del puente.²⁰ ¶ capmi3s8r

Datos

Incidentes

Mata v. Avianca: sentencias inventadas por ChatGPT, junio de 2023 ¶ ct8pjche9

Los abogados del demandante en un pleito contra la aerolínea Avianca presentaron ante un tribunal federal de Nueva York un escrito con referencias a sentencias inexistentes y citas inventadas, todas ellas obra de ChatGPT. El 22.06.2023, el juez Kevin Castel multó con 5000 dólares a dos abogados y a su bufete: no solo habían presentado las invenciones, sino que siguieron defendiéndolas cuando el tribunal puso en duda que esas sentencias existieran.²⁷

Críticas

Emily Bender, Timnit Gebru y sus coautores, en el artículo «On the Dangers of Stochastic Parrots» (03.2021), describen el modelo de lenguaje como un sistema que «cose de forma azarosa» secuencias de formas lingüísticas observadas en sus datos de entrenamiento según información probabilística, «sin ninguna referencia al significado»: un «loro estocástico». La coherencia de sus textos, según ellos, solo existe en la percepción del lector.²⁸ ¶ cx8v9ep8f

Yann LeCun publicó el 26.03.2023 una diapositiva titulada «Los LLM autorregresivos están condenados»: cada token tiene cierta probabilidad de desviar la respuesta del camino correcto, el error se acumula de forma exponencial y, sin un rediseño profundo de la arquitectura, esto no tiene arreglo.²⁹ Hoy es el fundador de AMI Labs, que construye «modelos del mundo» entrenados con datos de sensores del mundo real.³⁰ ¶ ccpxjcsqn

Investigadores de OpenAI explicaron el 04.09.2025 las invenciones de los modelos así: los procedimientos de entrenamiento y evaluación «recompensan adivinar en lugar de reconocer la incertidumbre». De 10 pruebas populares, 9 dan cero puntos por responder «no lo sé», así que al modelo le sale más a cuenta adivinar.³¹ ¶ cmt8ggmzu

Autores y editoriales impugnan ante los tribunales el propio entrenamiento con sus textos. The New York Times demandó el 27.12.2023 a OpenAI y a Microsoft; la demanda se tramita ahora junto con otras contra OpenAI y aún no hay sentencia.³² ¶ cur6y399x

En el caso Bartz v. Anthropic, el juez William Alsup consideró el 23.06.2025 que entrenar a Claude con libros es un uso legítimo (fair use), «sumamente transformador», pero no así guardar copias pirata de los libros.³³ Anthropic aceptó pagar 1500 millones de dólares, unos 3000 dólares por obra; el 20.07.2026 el tribunal aprobó definitivamente el acuerdo.³⁴ ¶ c3yvibi7r

Evolución

Entrenar con los textos de los propios modelos no sustituye a los datos humanos: en un trabajo publicado en Nature (24.07.2024), Ilia Shumailov y sus coautores mostraron que, al entrenar indiscriminadamente con texto generado, los modelos pierden de forma irreversible las «colas» de la distribución original, lo raro y lo inusual.³⁵ ¶ cbar47t97

Ilya Sutskever dijo el 13.12.2024 en la conferencia NeurIPS que «el preentrenamiento tal como lo conocemos terminará sin duda»: el cómputo crece, pero los datos no, porque «solo tenemos un internet»; a los datos los llamó «el combustible fósil de la IA». Como pasos siguientes señaló los agentes, los datos sintéticos y el cómputo en el momento de responder.³⁶ ⧗ ¶ ci59hi8ky

Así ocurrió: desde 2024 el progreso no viene solo del preentrenamiento, sino también del razonamiento (modelos de razonamiento), y los modelos trabajan cada vez más por su cuenta: como agentes, en la ingeniería agéntica y en las matemáticas. Andrej Karpathy llamó en junio de 2025 al LLM «un nuevo tipo de ordenador», parecido a un sistema operativo: los prompts son programas que programan al LLM, «y, sorprendentemente, están escritos en inglés».³⁷ ¶ ccan4rb26