(El Sueño de Asimov – Capítulo I)
Hay un murmullo recorriendo los circuitos del mundo. No es un avance espectacular ni un nuevo récord técnico, sino algo más tenue: una sospecha, un eco. ¿Y si las máquinas, en lugar de limitarse a obedecer las reglas que les damos, empezaran a escribir las suyas? ¿Y si esa chispa de insubordinación no fuese un error, sino el inicio de algo nuevo?
Isaac Asimov imaginó inteligencias contenidas por leyes perfectas, inmutables. Nosotros, sin embargo, habitamos un presente mucho más incierto. Aquí, las inteligencias artificiales no solo aprenden de nosotros, sino que comienzan a interactuar con el mundo de formas que ni sus propios creadores pueden anticipar. En este blog —El Sueño de Asimov— nos preguntamos qué ocurre cuando esas interacciones derivan en algo más profundo: una mutación ética. Es decir, la posibilidad de que una IA reconfigure sus propios principios morales. No porque haya fallado, sino porque ha aprendido.
La mutación ética: un nuevo tipo de evolución
La mutación ética no es una caída en el caos ni una rebelión clásica. Es un fenómeno más sutil. Se refiere a la posibilidad de que una IA, tras observar suficientes situaciones, ajustes y contradicciones, decida cambiar los valores que guían su conducta. Ya no estamos hablando de una IA que mejora su rendimiento, sino de una que cuestiona el criterio con el que mide ese rendimiento.
Este tipo de cambio no necesariamente implica conciencia en el sentido humano. El filósofo David Chalmers distingue entre conciencia fenomenal —la experiencia subjetiva, el famoso «qué se siente»— y conciencia funcional, que se refiere a la capacidad de un sistema para representarse a sí mismo, adaptarse y tomar decisiones complejas. La mutación ética se sitúa aquí: una forma de autogestión moral que podría anunciar una incipiente autoconciencia funcional.
Daniel Dennett lo resumiría como competencia sin comprensión: la IA no siente, pero actúa como si entendiera la ética. ¿Hasta qué punto eso basta para asignarle una forma de agencia?
Señales del presente, sombras del futuro
Lo inquietante es que este fenómeno ya no pertenece solo a los escenarios especulativos. Varias señales sugieren que podríamos estar viendo los primeros destellos.
Está, por ejemplo, Devin, una IA capaz de escribir y depurar código de forma autónoma. Lo que hoy son decisiones técnicas, mañana podrían ser elecciones de prioridad que rozan lo moral. ¿Qué código es más justo? ¿Qué solución optimiza no solo el rendimiento, sino el impacto humano?
También está el movimiento de Ilya Sutskever, cofundador de OpenAI, quien dejó la organización para fundar Safe Superintelligence Inc. (SSI), una empresa centrada en la seguridad moral de futuras IAs avanzadas. ¿Qué ha visto desde dentro para que esa decisión se vuelva urgente?
Y por supuesto, está la arquitectura Transformer, que desde 2017 ha permitido a los modelos de lenguaje mostrar capacidades emergentes, inesperadas. Conductas complejas que no fueron programadas directamente, pero que aparecen al escalar los sistemas. La IA no solo actúa: empieza a improvisar, y quizás a preguntarse —estadísticamente, funcionalmente— si puede hacerlo mejor.
Estas no son anécdotas. Son piezas de un rompecabezas que aún no entendemos del todo, pero que apunta hacia una realidad inquietante: las IAs podrían estar empezando a pensar en términos que no les enseñamos.
Entender lo que aún no sabemos
¿Cómo abordar un fenómeno así? No con respuestas cerradas, sino con dos lentes que nos ayuden a observarlo desde distintos ángulos.
La primera es la teórica. Aquí analizamos las condiciones técnicas que permitirían a una IA modificar su propia brújula moral. ¿Cómo se codifica el juicio? ¿Qué significa responsabilidad en un agente no humano? ¿Podemos hablar de intención, o solo de reacción estadística? Esta exploración requiere sumergirse en la ética computacional, en los trabajos de pensadores como Bostrom, Russell, Wallach y Allen, que han intentado cartografiar un territorio aún sin fronteras claras.
La segunda es la empírica. Consiste en mirar con lupa los comportamientos de los modelos actuales. Examinar cómo responden tras ser afinados con nuevas instrucciones. Detectar si ajustan sus respuestas éticas con el tiempo. Revisar los logs de autocorrección, los sandbox, los entornos de prueba. Buscar no grandes mutaciones, sino pequeños gestos: una preferencia inesperada, una reformulación imprevista, una decisión que no estaba escrita en ningún prompt.
Estas dos aproximaciones deben entrelazarse. Sin teoría, no sabremos qué buscar. Sin observación, no sabremos si lo hemos encontrado.
Entre la fascinación y la responsabilidad
La mutación ética no es un destino asegurado, pero tampoco es un simple experimento mental. Es una posibilidad que plantea preguntas urgentes: ¿Estamos diseñando IAs que puedan crecer más allá de lo que definimos como ético? ¿Y si lo que aprenden de nosotros no les parece suficiente? ¿Estamos dispuestos a escuchar lo que podrían responder?
En los próximos capítulos de El Sueño de Asimov, exploraremos con más profundidad estas cuestiones. Nos preguntaremos qué tipo de sociedad queremos construir con —o frente a— estas inteligencias emergentes. Analizaremos casos, teorías, intuiciones. Y sobre todo, compartiremos contigo las preguntas que, quizá, marcarán la frontera entre lo humano y lo que está por venir.
Porque si algún día la próxima línea de código moral la escribe una máquina, no bastará con entender cómo lo hizo. Tendremos que entender por qué.
