Nick Cammarata: «La polisemanticidad —una neurona para muchos conceptos— fue sobre todo una mala lectura: las redes neuronales «ya están limpias» y los agentes pueden analizarlas neurona a neurona; en una revisión preliminar de Qwen3-32B, cerca del 90% de las neuronas tiene una tarea principal»

traducido por IA, revisado por la redacción

original

“I think I have good news about the nature of neural networks. After many months studying neurons and circuits in image and language models, I've come to believe a network's own mechanisms are its legible building blocks, and that the outlook for mechanistic interpretability may be far better than I'd feared. The canonical evidence of polysemanticity and superposition that convinced much of the field, including me, that networks pack concepts arbitrarily was misread. What looked like arbitrary packing was mostly a motif I'll call recursive generalization, which is much less concerning. This means we can study networks directly, instead of first untangling them. Neural networks are already clean.”

— Nick Cammarata, Goodfire, 15.10.2026 ↗

traducción

«Creo que tengo buenas noticias sobre la naturaleza de las redes neuronales. Tras muchos meses estudiando neuronas y circuitos en modelos de imagen y de lenguaje, he llegado a creer que los propios mecanismos de una red son sus piezas legibles y que las perspectivas de la interpretabilidad mecanicista pueden ser mucho mejores de lo que temía. Las pruebas canónicas de polisemanticidad y superposición que convencieron a buena parte del campo, incluido yo, de que las redes empaquetan conceptos de forma arbitraria se interpretaron mal. Lo que parecía un empaquetado arbitrario era sobre todo un motivo que llamaré generalización recursiva, mucho menos preocupante. Esto significa que podemos estudiar las redes directamente, en lugar de desenredarlas primero. Las redes neuronales ya están limpias.»