В обучающих данных GPT-3 Википедия — всего 3% текстов (3 млрд токенов), но модель прочитала её 3,4 раза, а основной массив веб-страниц Common Crawl — меньше одного раза (0,44)
· Медиа и информация · Наука
- технология
- Википедия после ИИ
- источник
- arxiv.org ↗
¶ c8nn7qzx9