Según informes de medios extranjeros, el ganador del Premio Fields de este año, el matemático Jacob Zimmerman, ha anunciado recientemente la creación del Instituto de Investigación en Seguridad de IA MAISI, donde Zimmerman se desempeñará como director científico y Andrew Critch como secretario general. El Premio Fields se otorga cada cuatro años a matemáticos menores de 40 años y es considerado el galardón más prestigioso en el campo de las matemáticas.
MAISI iniciará su primer semestre de investigación en seguridad de IA en 2027
MAISI se inspira en la estructura del Instituto de Estudios Avanzados de Princeton, invitando a matemáticos a realizar investigaciones sobre la seguridad de IA por semestres. El instituto planea iniciar su primer semestre en enero de 2027, invitando de 10 a 30 matemáticos a la Bahía; mientras que en el año académico especial de septiembre de 2027, la escala se expandirá a entre 30 y 100 personas. El objetivo del instituto es desarrollar conceptos de definición, métodos de medición y soluciones, con el fin de establecer las condiciones bajo las cuales se puede tener confianza en que un sistema de IA específico no provocará desastres.
Los miembros del consejo asesor incluyen a Timothy Gowers, Ravi Vakil, Jeffrey Irving y Paul Christiano. Gowers y Vakil son matemáticos, mientras que Irving y Christiano han estado involucrados en la investigación de seguridad de IA durante mucho tiempo. MAISI colaborará con Alignment.org y Resolution.org.
Zimmerman se unirá este mes al departamento de seguridad de OpenAI, pero MAISI ha declarado que su operación es independiente de OpenAI. Critch coescribió un artículo en 2025 con Zimmerman, explorando situaciones en las que los riesgos de IA amenazan a toda la humanidad. Las discusiones sobre la seguridad de IA se han centrado principalmente en políticas, evaluaciones y experimentos, y no es común la formación de organizaciones que reúnan a matemáticos para dedicarse a las bases teóricas. El responsable de ciencia de Anthropic, Evan Hubinger, declaró el mismo día que aún no se ha encontrado un método para resolver el problema de alineación de la superinteligencia.