Según un informe de WIRED, Meta había estado promocionando una aplicación que ya ha sido retirada, la cual permitía a los usuarios crear imágenes pornográficas deepfake generadas por IA basadas en personas reales, y uno de los anuncios mostraba a una mujer que se parecía a una conocida política estadounidense. A continuación, los detalles.
Meta y Apple toman medidas contra aplicaciones de imágenes pornográficas deepfake
Apple indicó que la aplicación había añadido funciones prohibidas tras la revisión. Según el informe de WIRED, Meta lanzó una campaña promocional para una aplicación que se autodenomina «IA utilizada realmente por hombres», donde uno de los anuncios mostraba imágenes pornográficas deepfake generadas por IA de una mujer que se parecía mucho a una conocida política estadounidense. El informe señala que esta herramienta, llamada Kromix, se presenta como un «estilizador de imágenes de IA». En uno de los anuncios en video que se vieron en WIRED, la narración promocionaba la herramienta diciendo que «no hay restricciones» y afirmaba que «todos los personajes son personas reales», describiéndola como «IA utilizada realmente por hombres».
En un anuncio, una mujer que se parecía a una conocida política aparece frente a la bandera estadounidense y la bandera presidencial, con el título del anuncio «¿Y si ella se mueve?». Luego, ella parpadea y el anuncio cambia a una escena donde una mujer con un rostro similar actúa en un video pornográfico.
El informe señala que ambas compañías tomaron medidas inmediatamente después de que WIRED se pusiera en contacto: Apple retiró la aplicación de su tienda de aplicaciones, mientras que Meta eliminó 32 anuncios dirigidos a usuarios masculinos. Apple enfatizó en su respuesta a WIRED que Kromix parecía haber añadido contenido y funciones prohibidas tras la revisión inicial en la tienda de aplicaciones. La compañía también declaró: «Siempre hemos prohibido estrictamente las aplicaciones diseñadas para generar, distribuir o consumir contenido pornográfico. […] Las aplicaciones de ‘desnudado’ violan nuestras pautas de revisión de aplicaciones, y trabajamos activamente para identificar y eliminar aplicaciones y cuentas de desarrolladores que intentan eludir nuestros procesos y políticas.»
La opinión de Apple es similar a los comentarios realizados el mes pasado por el fiscal de la ciudad de San Francisco, David Chiu, quien pidió a la compañía que retirara ocho aplicaciones de «desnudado» de su tienda. Volviendo al informe de WIRED, se señala que Kromix no es la única aplicación de este tipo que Apple ha retirado recientemente tras ser contactada por la publicación. En otra investigación, WIRED descubrió que había varios anuncios problemáticos relacionados con MaskAI en Meta, una aplicación similar que permite a los usuarios subir fotos y colocar a personas en situaciones sexuales. Apple también retiró esa aplicación tras el contacto de WIRED.