Matemáticos líderes exigen limitar el papel de la IA en la investigación científica
- 25 laureados con el Premio Fields firmaron una carta en contra de los modelos de IA
- OpenAI es acusada de presionar a los científicos y de usar datos de manera oculta
- La empresa renunció al patrocinio del evento del KTI tras las críticas
- Los científicos temen la pérdida de la cultura científica abierta
A principios de la semana, 25 destacados matemáticos, entre los cuales todos los firmantes son poseedores de la medalla Fields, publicaron una carta abierta. En el documento, indican que las empresas que desarrollan grandes modelos de lenguaje ponen en peligro el proceso tradicional de la creatividad científica, tratando de superarse entre sí en la resolución de problemas matemáticos conocidos.
Conflicto específico con OpenAI
El profesor Tristan Buckmaster de la Universidad de Nueva York acusó a OpenAI de presionarlo para que excluyera de la lista de coautores a un colega de Anthropic, con quien trabajó en una tarea importante. Buckmaster también expresó su preocupación de que OpenAI pudiera haber utilizado materiales cargados por los científicos en el sistema Codex para obtener su propia prueba innovadora durante cálculos prolongados.
En respuesta a la creciente crítica por parte de los investigadores del Instituto Tecnológico de California (KTI), OpenAI anunció el jueves que renunciaba al patrocinio del evento matemático programado, organizado por esta institución.
Los defensores de la IA subrayan que la capacidad de los modelos para resolver problemas complejos no resueltos puede traer enormes beneficios a la humanidad. Sin embargo, los autores de la carta creen que tales logros solo serán significativos cuando los resultados puedan ser entendidos, verificados y explicados por matemáticos, y luego comunicados a una audiencia más amplia.
En la carta se señala que a menudo los anuncios sobre nuevas soluciones se hacen con prisa, sin la debida formalidad, sin destacar los métodos clave y sin referencia a trabajos anteriores. Esto plantea serias preguntas sobre la autoría y el posible plagio, y también pone en peligro la cadena de transmisión de conocimientos, característica de la cultura matemática.
Otros científicos se preguntan cada vez más si OpenAI pudo haber utilizado información sobre su interacción con Codex al entrenar nuevos modelos. El verdadero peligro radica en que la cultura de investigación abierta puede ser reemplazada por la opacidad: un gran laboratorio de IA, al descubrir un camino prometedor hacia una prueba, puede invertir decenas de millones de dólares en el desarrollo de modelos de lenguaje y publicar el resultado primero, dejando a los investigadores originales en la sombra.
La carta siguió a la llamada Declaración de Leiden, publicada en junio por un grupo de trabajo de científicos. En la declaración se discutieron los posibles cambios en el trabajo de los matemáticos relacionados con las pruebas obtenidas mediante grandes modelos de lenguaje, y se hicieron recomendaciones para investigadores, instituciones educativas y organismos gubernamentales.
Así, el problema va más allá de un conflicto aislado entre OpenAI y ciertos científicos. Se refiere a una cuestión fundamental sobre cómo mantener la apertura, la transparencia y el carácter colectivo del proceso científico en una época en la que potentes sistemas de IA pueden generar resultados más rápido y a menor costo, pero sin control humano, estos pueden permanecer incomprensibles e inaccesibles para el desarrollo futuro.
Fuente: 3DNews
