Transformer+Тексты веба → Большая языковая модель

OpenAI GPT: трансформер, предобученный на текстах — openai.com ↗

Наука

⚑ Подкрепляют

• Работа и профессии / Андрей Карпаты: «Около 6 млрд человек (~75% населения) почти не сталкивались с LLM, а доступ к системам передового уровня внутри лабораторий есть примерно у 5000»
• Наука / Ник Каммарата: «Полисемантичность — один нейрон на много понятий — в основном была ошибкой прочтения: нейросети «уже чистые», и агенты могут разбирать их нейрон за нейроном; в предварительной проверке Qwen3-32B примерно у 90% нейронов одна основная работа»

¶ c9p9gfxz6