Anthropic anunció oficialmente el lanzamiento de un programa de financiamiento de 5 millones de dólares, destinado a financiar investigaciones independientes que exploren el impacto de la inteligencia artificial (IA) en el bienestar de los usuarios. Este programa proporcionará a los beneficiarios financiamiento directo, acceso a sus modelos y soporte técnico, ayudando a establecer evaluaciones de código abierto que ayuden a la industria de la IA a medir el impacto de sus modelos en los usuarios.
Propósito e importancia del programa de financiamiento
Anthropic indicó que los sistemas de IA se han convertido en herramientas centrales para muchas personas en su trabajo, aprendizaje y resolución de problemas, y también se han convertido en fuentes de apoyo emocional y compañeros de conversación en tiempos difíciles. Sin embargo, toda la industria aún está luchando por establecer estándares claros para garantizar que el comportamiento de los modelos en estas conversaciones sea apropiado.
“Esperamos invitar a más personas a participar en este campo emergente y crítico, incluyendo clínicos, psicólogos, expertos en metodologías, a través de la financiación de evaluaciones y referencias independientes.”
Anthropic
Desafíos en la evaluación del bienestar
Evaluar el bienestar es un campo especialmente complicado. La evaluación del comportamiento de la mayoría de los modelos puede determinarse a través de una única respuesta que indique su precisión y adecuación, pero la evaluación del bienestar requiere más contexto. Por ejemplo, un usuario en crisis puede no compartir inmediatamente pensamientos de autolesionismo, sino que puede necesitar revelarlos gradualmente a lo largo de una conversación prolongada.
“La forma correcta de responder necesita evolucionar continuamente a medida que nuestros modelos y sus usos cambian.”
Anthropic
Requisitos específicos del programa de financiamiento
En este programa de financiamiento, Anthropic compartirá la orientación de su equipo de salvaguardias, aclarando qué tipo de evaluación del bienestar es lo suficientemente rigurosa. La evaluación debe describir claramente qué se mide, involucrar a expertos clínicos y temáticos en su diseño y validación, y reflejar la forma en que los usuarios realmente utilizan la IA.
“Las evaluaciones que buscamos deben ser capaces de probar medidas preventivas y riesgos, incluyendo la evaluación de los riesgos de la sobreconformidad y el rechazo excesivo.”
Anthropic
Los investigadores interesados en postularse pueden obtener el formulario de solicitud a través del sitio web oficial, con una fecha límite del 21 de septiembre, y los solicitantes seleccionados serán notificados el 5 de octubre.
Fuente: Anuncio oficial de Anthropic