Superalignment: Alineando la superinteligencia
OpenAI presenta Superalignment, un equipo dedicado a resolver uno de los problemas técnicos más apremiantes de nuestra era: la alineación de la superinteligencia. Co-liderado por Ilya Sutskever y Jan Leike, este equipo cuenta con el respaldo del 20% de los recursos computacionales de OpenAI durante los próximos cuatro años.
La superinteligencia, que se espera llegue en esta década, representa una tecnología de gran impacto para la humanidad. Si bien tiene el potencial de resolver importantes problemas mundiales, también plantea riesgos significativos, incluida la posibilidad de que la humanidad sea desempoderada o incluso enfrente la extinción.
La gestión de estos riesgos requiere el desarrollo de nuevas instituciones de gobernanza y soluciones para garantizar que los sistemas de IA más inteligentes que los humanos sigan la intención humana. Actualmente, no existe una solución para controlar y dirigir una IA potencialmente superinteligente y evitar que se desvíe de nuestros objetivos. Las técnicas actuales de alineación de IA, como el aprendizaje por refuerzo a partir de comentarios humanos, no son escalables a la superinteligencia. Es necesario alcanzar avances científicos y técnicos significativos para abordar este desafío.
Descubre cómo OpenAI busca controlar y dirigir sistemas de inteligencia artificial superiores a los seres humanos
El enfoque de Superalignment se centra en construir un investigador automatizado de alineación de nivel humano. Esto implica desarrollar un método de entrenamiento escalable, validar el modelo resultante y poner a prueba la tubería completa de alineación. Para proporcionar señales de entrenamiento en tareas difíciles de evaluar para los humanos, se utilizarán sistemas de IA para asistir en la evaluación de otros sistemas de IA, lo que permitirá una supervisión escalable. Además, se explorará la generalización de la supervisión a tareas no supervisadas y se automatizará la búsqueda de comportamientos y aspectos problemáticos. También se realizarán pruebas deliberadas de modelos desalineados para evaluar la capacidad de detección de los peores tipos de desalineaciones.
Superalignment reconoce que sus prioridades de investigación evolucionarán a medida que se profundice en el problema. El equipo tiene la intención de compartir su hoja de ruta en el futuro y se compromete a contribuir ampliamente en la alineación y seguridad de los modelos de IA más allá de OpenAI.
Este esfuerzo complementa el trabajo existente en OpenAI para mejorar la seguridad de los modelos actuales y abordar otros riesgos asociados con la IA. Aunque el enfoque principal de Superalignment se centra en los desafíos del aprendizaje automático para alinear la superinteligencia con la intención humana, se consideran también los aspectos sociotécnicos más amplios en colaboración con expertos interdisciplinarios.
Conclusión
OpenAI está abordando el desafío de la alineación de la superinteligencia con su nuevo equipo de investigación llamado Superalignment. Mediante el reclutamiento de destacados expertos en aprendizaje automático y la dedicación del 20% de su capacidad informática, OpenAI busca desarrollar soluciones científicas y técnicas para asegurar que los sistemas de inteligencia artificial superiores a los humanos sigan la intención humana y eviten comportamientos peligrosos. Este proyecto representa un esfuerzo ambicioso y crucial para garantizar que el desarrollo de la superinteligencia beneficie a la humanidad y evite posibles riesgos.
Recuerda que estaremos publicando constantemente en nuestro blog más contenido sobre tecnología.
Puedes encontrarnos en Facebook y Linkedln para más contenido relacionado con seguridad en internet y muchos temas más.