Aprendizaje automático+Aprendizaje por refuerzo → Seguridad de la IA

Amodei, Olah y coautores de Google, Stanford, Berkeley y OpenAI publican «Problemas concretos de seguridad de la IA»: efectos secundarios, hackeo de la recompensa, supervisión escalable, exploración segura del entorno y cambio de distribución — arxiv.org ↗

Ciencia

⚑ Respaldan

• Ciberseguridad / Dario Amodei: «Creo que, si hacemos una lista de lo que Anthropic hizo el último año a favor de la seguridad y con un coste comercial para nosotros, pesa mucho más que la lista que tú has hecho … tuvimos los primeros modelos de la clase Mythos en febrero, pero no los pusimos a disposición de todos hasta junio (cuando ya contábamos con salvaguardas más sólidas frente al ciberabuso). … Habría sido mucho más racional económicamente lanzar sin más el modelo para todo el mundo. Probablemente sacrificamos una parte importante de una ventaja de varios meses en modelos.»

¶ car56caj3