OpenAI, la empresa estadounidense detrás de ChatGPT, ha establecido un equipo dedicado a evaluar y prevenir riesgos asociados con la Inteligencia Artificial (IA) en sus modelos en desarrollo.

Este grupo, siguiendo las directrices reveladas recientemente, se centrará en áreas clave como ciberseguridad, poder de persuasión y autonomía potencial de estos modelos, incluso teniendo la capacidad de suspender nuevos lanzamientos de aplicaciones.

El anuncio de OpenAI llega aproximadamente un mes después de un breve despido y posterior recontratación de su director ejecutivo, Sam Altman.

Informes indican que el consejo de administración criticó a Altman por priorizar el desarrollo rápido de OpenAI sin abordar adecuadamente las preocupaciones sobre posibles riesgos de la IA.

La empresa reconoce que el estudio científico de riesgos catastróficos relacionados con la IA ha sido insuficiente hasta ahora y espera que este nuevo equipo ayude a cerrar esa brecha.

El equipo recién formado se enfocará en los «modelos de frontera», con capacidades superiores a los actuales programas de IA.

Estos modelos solo se desplegarán si son catalogados como de riesgo «medio» o inferior, tras un análisis detallado en categorías como ciberseguridad, capacidad para generar amenazas químicas o nucleares, poder de persuasión y riesgo de autonomía sin control.

La información sobre los riesgos identificados se enviará al Grupo de Asesoramiento en Seguridad de OpenAI, que hará recomendaciones para posibles modificaciones a Sam Altman u otro designado, con la posibilidad de reversión por parte del consejo de administración.

También te puede interesar: Jueces alertan de demandas por daño moral por fake news