Машинное обучение+Обучение с подкреплением → Безопасность ИИ

Амодеи, Ола и соавторы из Google, Стэнфорда, Беркли и OpenAI публикуют «Конкретные проблемы безопасности ИИ»: побочные эффекты, взлом награды, масштабируемый надзор, безопасное исследование среды и сдвиг распределения — arxiv.org ↗

Наука

⚑ Подкрепляют

• Кибербезопасность / Дарио Амодеи: «Я считаю, что если составить список того, что Anthropic за прошлый год сделала ради безопасности в ущерб себе коммерчески, он намного перевесит ваш список. … Модели класса Mythos впервые появились у нас в феврале, но в общий доступ мы выпустили их только в июне, когда появились более сильные защиты от киберзлоупотреблений. … Экономически было бы гораздо разумнее просто выпустить модель для всех. Скорее всего, мы пожертвовали значительной частью преимущества в несколько месяцев.»

¶ car56caj3