Ник Каммарата: «Полисемантичность — один нейрон на много понятий — в основном была ошибкой прочтения: нейросети «уже чистые», и агенты могут разбирать их нейрон за нейроном; в предварительной проверке Qwen3-32B примерно у 90% нейронов одна основная работа»

оригинал

“I think I have good news about the nature of neural networks. After many months studying neurons and circuits in image and language models, I've come to believe a network's own mechanisms are its legible building blocks, and that the outlook for mechanistic interpretability may be far better than I'd feared. The canonical evidence of polysemanticity and superposition that convinced much of the field, including me, that networks pack concepts arbitrarily was misread. What looked like arbitrary packing was mostly a motif I'll call recursive generalization, which is much less concerning. This means we can study networks directly, instead of first untangling them. Neural networks are already clean.”

— Ник Каммарата, Goodfire, 15.10.2026 ↗

перевод

«Кажется, у меня хорошие новости о природе нейросетей. После многих месяцев изучения нейронов и цепей в моделях для изображений и языка я пришёл к выводу, что собственные механизмы сети — это её понятные строительные блоки, а перспективы механистической интерпретируемости, возможно, куда лучше, чем я опасался. Канонические свидетельства полисемантичности и суперпозиции, которые убедили значительную часть области, включая меня, что сети упаковывают понятия как попало, были прочитаны неверно. То, что выглядело как произвольная упаковка, в основном было мотивом, который я назову рекурсивным обобщением, — и он куда менее тревожен. Это значит, что сети можно изучать напрямую, не распутывая их сначала. Нейросети уже чистые.»