在 GPT-3 的训练数据中,维基百科只占 3%(30 亿个 token),但模型把它读了 3.4 遍,而 Common Crawl 的大批网页数据还不到一遍(0.44)由 AI 翻译,经编辑部审校2020/05/28 · 媒体与信息 · 科学技术AI 时代的维基百科来源arxiv.org ↗¶ c8nn7qzx9