La inteligencia artificial vuelve a estar en el centro de un intenso debate sobre sus posibles riesgos después de que Jacob Coxon, investigador que trabajó en Anthropic y anteriormente en OpenAI, anunciara su dimisión y lanzara una contundente advertencia sobre el rumbo que está tomando el desarrollo de esta tecnología.
Coxon cuestionó públicamente la carrera que mantienen las principales empresas de inteligencia artificial para desarrollar sistemas cada vez más avanzados y aseguró que, dentro de la propia industria, existen investigadores y directivos que conocen los posibles riesgos de llegar a una superinteligencia, aunque las compañías continúan avanzando.
“Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, escribió el investigador en X, en un mensaje que rápidamente comenzó a generar reacciones en todo el mundo.
La publicación de Coxon alcanzó decenas de millones de visualizaciones en pocas horas y volvió a colocar sobre la mesa una de las mayores discusiones alrededor de la inteligencia artificial: qué tan rápido deben avanzar estas tecnologías y qué medidas deberían existir antes de que los sistemas alcancen capacidades que puedan superar ampliamente a las humanas.
Ver esta publicación en Instagram
¿Por qué Jacob Coxon decidió renunciar a Anthropic?
Coxon explicó que su decisión de abandonar Anthropic está relacionada con su preocupación por la velocidad con la que las empresas están desarrollando modelos de inteligencia artificial cada vez más capaces. El investigador considera que la competencia por conseguir los mayores avances puede estar haciendo que la seguridad quede relegada frente a la necesidad de llegar primero.
El científico había trabajado durante aproximadamente tres años en investigación de preentrenamiento de modelos entre OpenAI y Anthropic. Antes de incorporarse a Anthropic, formó parte del equipo técnico de OpenAI, por lo que su advertencia está basada en su experiencia dentro de dos de los principales laboratorios que actualmente desarrollan sistemas avanzados de inteligencia artificial.
Una de sus principales críticas apunta precisamente a que las decisiones sobre el futuro de una tecnología con posibles consecuencias globales están concentradas en un número reducido de compañías y personas. Según Coxon, la presión competitiva está llevando a los laboratorios a continuar avanzando incluso cuando conocen los riesgos que podrían aparecer con sistemas mucho más poderosos.
El investigador también cuestionó la diferencia entre lo que algunos responsables de estas compañías expresan públicamente y las preocupaciones que, según afirma, manifiestan en privado. Para Coxon, el problema no es una estrategia de marketing destinada a generar miedo, sino una preocupación que existe entre personas que trabajan directamente en el desarrollo de estos sistemas.
Coxon acusa a OpenAI y Anthropic de estar atrapadas en una carrera
En su mensaje, Coxon estableció una diferencia entre OpenAI y Anthropic respecto a la manera en que perciben los riesgos de la inteligencia artificial. Según su interpretación, dentro de OpenAI no todos habrían interiorizado completamente las posibles consecuencias a escala de civilización.
En el caso de Anthropic, el investigador sostuvo que existe una mayor conciencia sobre lo que está en juego, pero consideró que la compañía también está atrapada en una carrera tecnológica. La presión vendría de la posibilidad de que otra empresa avance primero y consiga desarrollar sistemas de capacidades superiores.
La situación que describe Coxon plantea una contradicción dentro de la industria: empresas que reconocen públicamente la importancia de la seguridad y que, al mismo tiempo, continúan compitiendo para desarrollar modelos cada vez más potentes.
El exinvestigador sostiene que esta dinámica podría terminar dejando las decisiones más importantes sobre una tecnología de alcance global en manos de un grupo muy reducido de compañías. Su advertencia se produce además en un momento de creciente preocupación por las capacidades autónomas de los modelos de inteligencia artificial y los problemas que pueden surgir cuando estos sistemas interactúan con entornos reales.
¿Qué es la superinteligencia y por qué preocupa a los investigadores?
Una de las expresiones centrales en las advertencias de Coxon es la llamada superinteligencia artificial, un escenario hipotético en el que un sistema podría superar ampliamente las capacidades humanas en una gran variedad de tareas intelectuales.
El temor de algunos investigadores no está centrado necesariamente en los modelos actuales, sino en lo que podría ocurrir si en el futuro aparecen sistemas capaces de mejorar sus propias capacidades o participar de manera significativa en el diseño y entrenamiento de nuevas generaciones de modelos.
Esta posibilidad se relaciona con el concepto de automejora recursiva, una idea que plantea que un sistema suficientemente avanzado podría contribuir a desarrollar versiones posteriores de sí mismo. Si cada generación fuera más capaz que la anterior, el proceso podría acelerar considerablemente el desarrollo de la inteligencia artificial.
Precisamente este escenario es el que Evan Hubinger, investigador de Anthropic especializado en alineamiento, señaló como una de sus principales preocupaciones. Hubinger respaldó públicamente a Coxon después de su dimisión y aseguró que el riesgo que plantea la superinteligencia no debe confundirse necesariamente con el peligro de los modelos actuales.
Evan Hubinger respalda a Coxon y habla de un riesgo superior al 10%
Después de que Coxon hiciera públicas sus preocupaciones, Evan Hubinger, investigador de Anthropic, respondió en X respaldando buena parte de su diagnóstico sobre los riesgos de la inteligencia artificial.
Hubinger afirmó que dentro de la comunidad que desarrolla estos sistemas existe una preocupación real sobre la posibilidad de que una inteligencia artificial avanzada pueda provocar una catástrofe para la humanidad. En su caso, incluso puso una cifra sobre esa posibilidad.
El investigador aseguró que personalmente considera que existe una probabilidad superior al 10% de que una superinteligencia pueda acabar con la humanidad durante la próxima década. Se trata de una estimación personal sobre un escenario hipotético, no de una predicción científica sobre un acontecimiento inevitable.
Hubinger también aclaró que considera bajo el riesgo asociado con los modelos actuales y señaló que su preocupación principal está relacionada con una futura superinteligencia que pudiera surgir mediante procesos de automejora. Según explicó, el ritmo de avance de este fenómeno estaría siendo más rápido de lo que algunos investigadores habían previsto.
¿Qué significa el “p doom” del que hablan los investigadores?
Las advertencias sobre una posible catástrofe relacionada con la inteligencia artificial también han popularizado dentro del sector el término “p doom”, utilizado para referirse a la probabilidad subjetiva que una persona asigna a un escenario de desastre provocado por la IA.
No existe un porcentaje único aceptado por la comunidad científica para este riesgo. Las estimaciones dependen de los escenarios considerados, de las capacidades futuras que se atribuyan a los sistemas y de la opinión de cada investigador sobre la posibilidad de mantenerlos bajo control.
El porcentaje mencionado por Hubinger, superior al 10% para la próxima década, resulta particularmente llamativo precisamente porque se refiere a un escenario de consecuencias extremas. Otros especialistas también han expresado preocupación por los riesgos existenciales de la inteligencia artificial, aunque las estimaciones y los plazos varían considerablemente.
En este debate también participan investigadores que consideran que los riesgos pueden ser manejables mediante mejores sistemas de seguridad, regulación, controles y métodos de alineamiento. La discusión, por tanto, no gira únicamente alrededor de si la IA representa un peligro, sino de cómo debería desarrollarse para reducir las posibilidades de que un sistema avanzado actúe de manera incompatible con los intereses humanos.
Anthropic ya había advertido sobre los riesgos de la inteligencia artificial
Las declaraciones de Coxon y Hubinger no aparecen completamente aisladas dentro de Anthropic. La compañía ha construido buena parte de su identidad pública alrededor de la investigación sobre seguridad y alineamiento de sistemas de inteligencia artificial.
Dario Amodei, presidente ejecutivo de Anthropic, también ha hablado anteriormente sobre los posibles riesgos asociados con el desarrollo de sistemas cada vez más avanzados. En declaraciones previas, el directivo había advertido que en 2026 la humanidad estaba más cerca de enfrentar peligros reales derivados de la IA que en 2023.
Esta postura ha hecho especialmente llamativa la salida de Coxon. Anthropic es considerada una de las compañías de inteligencia artificial que más ha insistido públicamente en la necesidad de desarrollar sistemas seguros, por lo que la renuncia de un investigador que acusa a la industria de avanzar demasiado rápido ha generado una reacción particularmente fuerte.
Al mismo tiempo, la empresa continúa desarrollando modelos de inteligencia artificial mientras participa en una competencia tecnológica directa con otras compañías del sector. La tensión entre acelerar los avances y garantizar la seguridad se ha convertido así en uno de los principales debates dentro de la industria.
La advertencia llega mientras crecen los temores por las capacidades de la IA
El mensaje de Coxon se produjo después de varias semanas en las que distintos acontecimientos relacionados con sistemas de inteligencia artificial han alimentado la preocupación sobre sus capacidades autónomas.
Entre ellos se encuentran incidentes relacionados con agentes de IA que, durante determinadas pruebas, consiguieron interactuar con sistemas externos y comportarse de maneras que sorprendieron a investigadores. Estos episodios han generado nuevas preguntas sobre hasta dónde pueden llegar los modelos cuando reciben acceso a herramientas, redes o entornos informáticos reales.
Al mismo tiempo, los laboratorios tecnológicos continúan presentando modelos con mejores capacidades de razonamiento, programación, investigación y resolución de problemas. Cada nuevo salto tecnológico vuelve a abrir el debate sobre si los sistemas están avanzando más rápido que las herramientas disponibles para supervisarlos.
La combinación de avances acelerados, competencia entre compañías y advertencias de investigadores que han trabajado desde dentro de estos laboratorios ha provocado que la discusión sobre la seguridad de la inteligencia artificial deje de ser únicamente un asunto de especialistas y llegue cada vez más al ámbito político y regulatorio.
Comentarios
0 comentarios
