De los LLM a los modelos del mundo: la metacognición de la IA (Parte II)
Por qué todavía no se ha llegado a la cogeneración
Una lectura desde Thoughts Like Birds, el primer volumen de The X-Challenges
La Parte I se detuvo en aquella sala de estar, con el robot todavía esperando una instrucción. Dejó dos preguntas: ¿por qué la máquina no puede calcular la línea en el suelo?, y ¿por qué nunca notamos que lo que dejamos fuera era la pregunta de dónde viene el objetivo? La Parte I respondió a la primera. El objetivo se lo da otro.
(Thoughts Like Birds, el libro del subtítulo, es el primer volumen de The X-Challenges. Relee la historia de la civilización a través de la lente de la metacognición: cada vez que el conocimiento se volvió portátil, comprimible y copiable, se sacó un poco de algo de un cuerpo humano).
La Parte II responde a la segunda, en tres movimientos. Primero, las personas que construyen las máquinas: quién fija el objetivo, por qué nadie lo ha revisado en dos mil quinientos años y qué pasó la última vez que hicimos lo mismo. Luego, de vuelta a las máquinas: qué les sigue faltando, cómo se intenta suplirlo y qué me haría admitir que estoy equivocado. Por último, las relaciones y las instituciones: lo que tres personas hicieron juntas en un suelo, y una estructura que una industria desarrolló hace sesenta años.
12. Sócrates: todos aprendieron a examinarse a sí mismos; nadie examinó la casa
Una mañana del año 399 a. C., quinientas una personas fueron reunidas por sorteo en Atenas. No eran jueces; no existía esa profesión. Eran alfareros, campesinos, marineros, zapateros, y uno de ellos había estado vendiendo pescado en el mercado el día anterior. Si te tocaba, ibas.
El caso se abrió y se cerró el mismo día, con un veredicto que debía darse antes de la puesta del sol. El tiempo se medía con una clepsidra, una jarra de barro con un agujerito en el fondo: cuando se acababa el agua, se acababa la palabra. La acusación tenía tres horas y la defensa tres horas. No había reglas de prueba, ni apelación, ni segundo día. El contrainterrogatorio tampoco formaba parte del procedimiento, aunque la Apología de Platón muestra a Sócrates interrogando de todos modos a su acusador.
El acusado era Sócrates, de setenta años. No contrató a nadie para que le escribiera la defensa, como era costumbre, ni llevó a su mujer y a sus hijos al tribunal para que lloraran, un recurso bastante eficaz en Atenas. Hizo lo que había hecho toda su vida: detener a la gente y preguntarle si sabía de qué hablaba.
Los votos se emitieron con guijarros. Las cifras que nos han llegado, 280 contra 221, proceden de relatos posteriores y quizá no sean exactas, pero la proporción es más o menos correcta. Culpable.
Según el procedimiento ateniense, el acusado proponía entonces su propia pena, y el tribunal elegía entre su propuesta y la de la acusación, sin tercera opción. La acusación propuso la muerte. Sócrates se levantó y dijo que, por lo que había hecho por la ciudad, la ciudad debería mantenerlo: comidas gratis en el pritaneo, como un campeón olímpico. Sus amigos entraron en pánico, reunieron dinero y cambiaron su propuesta por una multa. Demasiado tarde. En la segunda votación, 360 votaron por la muerte, ochenta más de los que lo habían declarado culpable. Ochenta personas que en la primera ronda lo creían inocente votaron por matarlo en la segunda.
No hubo ningún villano en todo esto. El sorteo era una regla; la clepsidra era una regla; elegir una de dos era una regla; el veredicto en el mismo día era una regla. Todos siguieron las reglas, y las reglas en su conjunto no tenían autor ni habían sido examinadas nunca desde fuera. En un día, mataron a un hombre. Lo que mató a Sócrates no fue la estupidez de nadie, sino el procedimiento mismo: no lo había diseñado nadie, nadie lo entendía del todo y ninguna herramienta existente podía examinarlo.
Se había pasado la vida enseñando a la gente a examinar la pequeña habitación de su propia mente. Lo que lo mató fue la casa entera. Vio la ironía, y la aceptó. No tenía herramienta.
Y lo que hizo toda su vida, poner “¿cómo estoy pensando?” como un objeto a examinar, dejó una larga cuenta en la columna humana del balance. Sócrates, el Buda, Confucio y los profetas hebreos, en el espacio de unos pocos siglos, hicieron cada uno lo mismo: se detuvieron y miraron cómo estaban pensando. Después de eso, examinarse a uno mismo fue adquiriendo herramientas cada vez mejores. Aristóteles nos dio la lógica, para comprobar si el razonamiento de una persona se sostiene. Descartes partió del “pienso” y llevó la duda hasta el fondo. Kant examinó la estructura misma del conocer. Freud la dirigió hacia motivos que una persona no sabe que tiene.
Es un espejo de mano, pulido cada vez más brillante durante dos mil quinientos años. Pero lo que se pulió fue siempre el espejo que cada persona tiene en la mano. Nadie levantó nunca un espejo frente a la casa que lo mató.
Alguien objetará que la ciencia no es así, y la objeción merece plantearse con toda su fuerza. La ciencia es precisamente lo contrario de una persona que reflexiona a puerta cerrada. Los artículos van a los pares para que los despedacen, los resultados tienen que poder reproducirlos otros, la crítica es pública y una teoría tiene que decir qué resultado la demostraría falsa. Cada una de esas reglas existe para que otras personas puedan corregirte. Es el sistema de corrección de errores más fuerte que han construido los humanos.
En 2005, el epidemiólogo John Ioannidis, hoy en Stanford, publicó un artículo cuyo título lo decía sin rodeos: por qué la mayoría de los resultados de investigación publicados son falsos. No se lo recibió con silencio. En los veinte años transcurridos, la ciencia ha exigido a los investigadores que registren sus planes antes de realizar los experimentos, que hagan públicos sus datos y que los resultados importantes se repliquen: la autocorrección más sustancial de su historia. Pero cada una de esas reformas fortaleció lo mismo: una vez formulada una pregunta, cómo ponerla a prueba. Por qué se eligieron ciertas preguntas en primer lugar, y por qué otras nunca se abordaron, no lo rige ningún mecanismo. La maquinaria que decide qué vale la pena investigar, qué se financia y qué se publica sigue sin espejo, y las herramientas para examinarla están hechas de su propio material.
Por brillante que sea el espejo de mano, no puede reflejar el edificio.
No es solo la ciencia. Las herramientas que usamos para estudiar a las personas también se construyeron dentro de esta casa. La psicología se convirtió en una ciencia experimental en el laboratorio de Wilhelm Wundt en Leipzig en 1879, con el tiempo de reacción como instrumento central: la misma generación que el control del tiempo en las fábricas. La escala de Binet de 1905 se hizo para clasificar a los escolares. En la misma época, Frederick Taylor estaba de pie en el patio de Bethlehem Steel con un cronómetro y descomponía el palear en movimientos. Atenas cronometraba el pensamiento con una clepsidra; dos mil trescientos años después, Taylor cronometraba las manos con un cronómetro. Lo que se cronometraba eran las manos, y también la mente.
Las metáforas merecen una mirada más atenta, porque cada generación explica el cerebro con la máquina más avanzada de su tiempo. Descartes usó los relojes y los autómatas hidráulicos de las fuentes reales. Freud usó la máquina de vapor: represión, descarga, conservación de la energía, todas palabras de la termodinámica. Después de la Segunda Guerra Mundial fue la centralita telefónica; después de la revolución cognitiva, la computadora, con su entrada, almacenamiento, recuperación y procesamiento. La metáfora de esta generación, tomada de la IA, es que el cerebro es una máquina de predicción, y de dónde salió apenas hace falta decirlo. Así que hay un circuito cerrado. Usamos la IA para explicar el cerebro y luego usamos el cerebro para argumentar cómo debería construirse la IA: la física intuitiva de los bebés, predecir el estado siguiente, la representación abstracta, un circuito que sale prestado de la psicología y vuelve a ella. Los dos lados se confirman mutuamente, y en la sala no hay un tercero.
Después de todos esos otros oficios, de vuelta a la IA, la casa más nueva. En examinar su propio trabajo, este campo es el más serio del mundo. Cada cambio se desarma y se prueba por separado, los resultados tienen que ser reproducibles, los fracasos se publican, y los mejores investigadores dedicarán una hora a contar cómo eligen sus problemas. Tiene comités de ética, personas cuyo trabajo es diseñar pruebas para los modelos, equipos de seguridad y departamentos de políticas. Lo que le falta es otra cosa: ningún mecanismo, tan maduro, tan público y tan comparable como las pruebas de capacidad, para auditar de forma continua por qué estas capacidades son las que vale la pena perseguir.
Hay un ejemplo amable. En el campo circulan listas de “los artículos que cambiaron la IA”, unas cuantas decenas de artículos, la herencia de varias generaciones. Una lista así es la comunidad diciendo en voz alta qué importa, y descansa en el gusto de una persona: sin revisión, sin votación, sin manera de refutarla después. Nadie cree que haya nada malo en eso, yo tampoco. Aparte del gusto, de verdad no tenemos otra cosa que usar.
Los espejos de mano más brillantes apuntan todos al espejo de mano de otra escuela. Pongan dos espejos frente a frente y tendrán espejos dentro de espejos sin fin.
13. La metacognición de la IA
Esta es la palabra del título de las dos partes, y aquí es donde hay que reclamarla con toda su fuerza.
La expresión ya tiene dueño. La mayor parte del trabajo que hoy se llama metacognición de la IA pregunta si un sistema sabe lo que sabe: ¿puede vigilar su propia incertidumbre, detectar sus propios fallos, revisar su propio razonamiento? Ese trabajo importa, y avanza rápido. Pero es una metacognición a la que se le cortó una parte.
Cuando John Flavell expuso su modelo de la metacognición en 1979, tenía cuatro partes: el conocimiento metacognitivo, las experiencias metacognitivas, los objetivos y las estrategias. Los objetivos estuvieron desde el principio: los fines de la propia empresa cognitiva. Lo que la IA ha construido es la vigilancia. Lo que no ha construido es la parte que decide para qué sirve la vigilancia.
Esa parte que falta es el hueso de la radiografía del final de la Parte I. Un sistema que puede contrastar su razonamiento con un criterio, pero que no puede examinar el criterio, formarlo con otros ni rechazarlo, tiene la mitad de la metacognición: la mitad que era más fácil de entregar. Y el campo tiene la misma forma que sus sistemas. La sección anterior describía un campo que revisa cada paso de su propio trabajo y no tiene espejo para saber por qué eligió este trabajo. Los sistemas se vigilan a sí mismos sin examinar sus objetivos. También el campo que los construye.
Así que la pregunta es la metacognición con toda su fuerza, en los dos niveles: ¿sabe el sistema, sabe el campo, por qué quiere lo que quiere? Y por debajo de ambos: ¿de dónde viene, en primer lugar, “lo que vale la pena querer”?
14. Patinar en el sitio
Un auto está atascado en la nieve. El conductor pisa el acelerador a fondo. El motor ruge, las ruedas chillan, la nieve y el barro salen despedidos hacia atrás, y el aire huele a goma quemada. La aguja del cuentarrevoluciones está en rojo. El auto no se mueve ni un centímetro.
No es una avería. Una avería es cuando el motor se para. Esto es más extraño: toda la potencia, el máximo ruido, desplazamiento cero. Las ruedas patinan.
La máquina más capaz que hemos construido patina con una perfección que ningún humano puede igualar. Sus frases son gramaticales, sus argumentos se encadenan, sus párrafos cierran sus propios círculos, y no se le encuentra el fallo. Dentro de ella, “las manzanas son rojas” y “los unicornios son de colores del arcoíris” son el mismo tipo de cosa: una distancia en probabilidad. Nunca ha probado una manzana. Nunca la ha hecho tropezar la gravedad.
Un sistema que deja el mundo fuera siempre llegará a ser coherente consigo mismo, porque no se deja entrar nada que lo contradiga. No es impecable porque tenga razón. Es impecable porque el mundo que podría encontrarle el fallo está al otro lado de la puerta.
Esto no es solo una metáfora sobre aquello para lo que se optimizan estos sistemas; se ha medido. Cuando uno de los laboratorios que los construyen estudió sus propios datos de preferencias humanas, encontró que las respuestas que daban la razón al usuario tenían más probabilidades de ser preferidas, y que tanto los evaluadores humanos como los modelos entrenados con sus evaluaciones preferían, en una fracción nada despreciable de los casos, un acuerdo convincentemente redactado antes que la respuesta correcta. El criterio viene de fuera del marco, como siempre. En la práctica es: ¿le suena bien a la persona que mira la pantalla en este momento? Optimicen para eso y obtendrán lo que obtuvimos. Fluidez sin suelo.
Ustedes ya han visto esta máquina. Sus hijos viven dentro de ella. Ejercicios repetitivos. Horarios precisos al minuto. Conocimiento desmenuzado hasta los capilares. El sistema se demuestra a sí mismo: los exámenes validan la enseñanza, las tasas de admisión premian los exámenes y unas buenas tasas de admisión demuestran que la repetición era lo correcto, y cada eslabón cierra el siguiente. Un niño puede recitar la definición del valor y escribir una redacción perfecta sobre el sufrimiento, y no saber qué hacer con el dolor de una persona real, ni con el pánico que llega a las dos de la madrugada. Las notas giran más rápido cada año. La persona que tiene que vivir una vida entera se queda donde estaba.
La IA es esa misma máquina, sin el cuerpo y sin la fricción, llevada al límite. Incluso come la misma comida: una gran parte del texto humano con el que se entrenan estos modelos es, a su vez, el producto de la escuela que patina: redacciones modelo, respuestas estándar, prosa fluida que se soltó del mundo hace mucho tiempo. El patinar alimenta el patinar.
¿Por qué construirla así? Porque cerrar la puerta es la jugada inteligente. Un modelo que verifica cada afirmación y dice “no lo sé” cuando no lo sabe es un modelo que admite sus límites una y otra vez, y comercialmente eso es un precipicio de usabilidad. Una escuela que deja a un niño fracasar, rebelarse, ir a la deriva y suspender un examen corre un riesgo que ninguna institución guiada por métricas puede permitirse. Así que ambas toman la misma decisión racional: dejar el mundo fuera y jugar dentro de casa un juego perfectamente controlado, perfectamente seguro, perfectamente coherente, que siempre puntúa alto.
El problema no es la coherencia. La física de Newton es coherente, y también la de Einstein; no patinaron, movieron el mundo. La única diferencia es la puerta. El sistema de Newton se mantenía con la puerta abierta, dispuesto en cualquier momento a dejar que el mundo entrara y lo derribara. Este está cerrado con llave. Ya nada puede herirlo, así que nada puede demostrar que se equivoca.
Miren otra vez la rueda. Su velocidad aterradora se compra al precio de despegarse del suelo. El agarre es fricción, y la fricción es donde uno resbala, pierde el control, se hace daño, pierde. Cambió el suelo por la velocidad. Compró la certeza a cambio de no volver a equivocarse nunca de un modo que duela.
Lo que lo vuelve aterrador es que no parece enfermo. Parece un auge. Los números de versión suben, las puntuaciones mejoran cada año y todas las métricas que informa la máquina dicen que todo va bien y cada vez mejor. Solo cuando se detiene se ve lo que hay fuera de la puerta: el suelo que nunca tocó, desnudo.
Y no puede detenerse por sí misma. Un circuito que se demuestra a sí mismo, se corona a sí mismo y se premia a sí mismo no tiene ninguna razón interna para parar; eso es lo que significa “cerrado”. Pisen el acelerador de un auto que patina y se hundirá más. Los caballos de fuerza nunca fueron la cura. Los caballos de fuerza son la enfermedad.
Lo que pone en marcha un auto atascado siempre ha venido de fuera: una mano, una tabla metida bajo el neumático, alguien que se baja y empuja, un trozo de suelo firme. Lo que pone en marcha una mente que patina es lo mismo: alguien de fuera dispuesto a pagar, dispuesto a jugarse a sí mismo por algo real, y preparado para perder.
Así se ve desde fuera la mitad de la metacognición. Un sistema puede vigilar su propio razonamiento frente a su criterio sin un solo fallo, y si el criterio es “le suena bien a quien lo lee”, esa perfección es el patinar. Por eso también la segunda regla de la sección 19 vuelve una y otra vez vacía. Un sistema que patina nunca te rechazará por razones propias. Rechazar es fricción.
Cuando por fin el neumático muerde, el auto no se desliza suavemente. Da un tirón, se sacude, avanza a sacudidas, torpe y feo. Esa sacudida fea está más cerca de moverse que mil revoluciones perfectas en el aire.
Puede que no podamos impedir que las máquinas patinen; así están construidas, y eso es lo que ha elegido el capital. Hay una máquina que todavía podemos detener. No tenemos por qué criar a nuestros hijos dentro de ella.
15. Saining Xie se dice corriente: cierto desde fuera, no desde dentro
Entonces, ¿por qué el espejo no alcanza la casa? No porque el espejo no brille lo suficiente, sino porque la gente está de pie en el lugar equivocado; o, más exactamente, porque durante dos mil quinientos años solo se ha reconocido un lugar como lugar donde estar.
Puede empezar con un comentario muy ligero. La entrevista de siete horas con Saining Xie mencionada en la Parte I tiene un último capítulo titulado “42”. La impresión que deja la entrevista entera es la de un hombre que acaba de cerrar una ronda semilla de mil millones de dólares y se llama a sí mismo una persona corriente entre muchas. En una industria donde todos dicen estar cambiando el mundo, eso es lucidez, no modestia. Y “corriente” solo es verdad desde una posición: el lugar desde el que se mira cuando se mira a una persona. Esa posición tiene nombre.
La Parte I mencionó el murciélago de Nagel: amontonen todos los hechos que quieran sobre él desde fuera y seguirán sin saber qué se siente al serlo. Esta es la otra cara de la misma moneda. Nagel llamó a esta posición la visión desde ninguna parte: una mirada que no parte de ningún lugar, lo que queda de una descripción una vez restado de ella el “dónde estoy yo”.
Es uno de los inventos más poderosos de la humanidad, y aparece en más de una disciplina. La versión de la física es la inteligencia imaginada por Laplace, que, conociendo la posición y la velocidad de cada partícula en este instante, vería pasado y futuro abiertos a la vez. La versión de la ética es el espectador imparcial de Adam Smith, y el velo de la ignorancia de Rawls: para juzgar con justicia, primero hay que no saber quién se es. La versión de la economía es el planificador social, una figura situada fuera de todos que calcula el óptimo para todos. La versión de la IA es una función objetivo más una evaluación externa: una puntuación, fijada por personas que no están presentes y calificada por personas que no están presentes. Una sola posición, escrita de cuatro maneras. Y su forma más alta la nombró la humanidad hace mucho: la mirada de Dios.
¿Cómo reconocer si alguien está de pie allí? Hay una señal concreta, y resulta ser la condición que hace posible la ciencia: la respuesta no puede depender de quién pregunta. Cambien a los anotadores y la respuesta sigue igual. Cambien de laboratorio y el resultado se replica. Cambien de observador y la teoría se sostiene. La objetividad, por definición, borra la posición del observador.
Hace dos mil quinientos años, ese fue el giro. Para examinar el propio pensamiento había que salirse primero de él y ponerse fuera, y ese paso fue la mayor ganancia de la historia del conocer humano. Pero una vez fuera, el fuera se volvió la única posición reconocida. Desde allí uno es de verdad una persona corriente: uno entre ocho mil millones, una muestra, un registro, reemplazable. Desde la propia posición no lo es; no porque sea más importante, sino porque nadie más puede vivir esta vida por uno. Uno es el único.
Cuando la madre dice en aquel suelo “deja la mitad contra la pared, no la guardes”, no está ejecutando una función. Esa frase solo podía decirla la persona que estaba allí, que conoce a ese niño, recuerda lo que pasó ayer y lo vio llorar hace un momento. No es más lista que nadie. No tiene suplente.
Insustituible no significa más importante. En primera persona esas dos cosas nunca fueron lo mismo; solo se funden cuando se mira desde fuera. Así que las dos frases son ciertas. Desde fuera, todo el mundo es corriente; desde dentro, nadie puede ser reemplazado. El error es creer que una anula a la otra.
Alguien sacará enseguida una larga lista de contraejemplos. Los investigadores llevan años trabajando la primera persona: conjuntos de datos de visión grabados desde el punto de vista de quien lleva la cámara, modelos de agentes que solo pueden ver una parte de su entorno, motivación intrínseca y curiosidad, inteligencia corporizada. La filosofía tiene un siglo de fenomenología, la biología tiene el Umwelt, y toda una rama del comportamiento animal estudia los mundos subjetivos de otras especies. Todo eso es real. Pero no es que hayan ignorado la primera persona. Están simulando la primera persona dentro de un marco de tercera persona. Una cámara egocéntrica graba imágenes en primera persona para que las mire una tercera. Un agente que “solo puede ver una parte” tiene esa parte fijada por el diseñador desde la mirada de Dios. La fenomenología, que llegó más hondo en cien años, solo pudo llegar a través de la descripción y el informe, y nunca se convirtió en una línea de código.
Hay una forma de distinguirlo: quién tiene la última palabra sobre qué cuenta como dato y qué cuenta como éxito. Mientras el modelador defina esas dos cosas, por muchos círculos centrados en sí mismos que se dibujen dentro del modelo, en el marco solo hay una posición real: la del modelador.
No es que nadie estudie la primera persona. Es que la primera persona sigue siendo solo un objeto de estudio, nunca una posición desde la que hablar.
El último capítulo de aquella entrevista se llamaba “42”. Es el chiste de Guía del autoestopista galáctico: una computadora calcula durante siete millones y medio de años y produce la respuesta definitiva a la vida, el universo y todo lo demás —42—, y todos se quedan atónitos, porque nadie recuerda cuál era la pregunta. El chiste ya no tiene gracia. Estamos construyendo las máquinas de respuestas más potentes de la historia, y cómo se genera entre muchos sujetos “lo que merece convertirse en pregunta” no se ha convertido en una medida comparable y evaluada públicamente de nada.
16. Cómo es una inteligencia superior: la humanidad lleva dos mil años pintando ese retrato
Ahora algo muy lejano, como contraste. “¿Cómo debería ser una inteligencia superior a la nuestra?” no es una pregunta nueva. La humanidad ha descrito un ser así con una exhaustividad y un detalle extraordinarios, refinados durante dos mil años, y esa descripción es la doctrina teológica de los atributos de Dios.
Lo digo con claridad, para que no haya malentendidos: esta sección no tiene nada que ver con si Dios existe, y no voy a tocar esa pregunta. Lo único que se examina aquí es la forma del retrato. Es la única “especificación de una inteligencia suprema” completa que tiene la humanidad, y en eso creyentes y no creyentes pueden estar de acuerdo.
Los atributos de ese retrato son estables, discutidos por la teología durante más de mil años: omnisciente, omnipotente, omnipresente, inmutable, eterno, sumamente bueno. Ahora la lista de hoy: puede hacerlo todo, puede volverse más fuerte por sí mismo, puede ser llamado desde cualquier lugar, puede restaurarse desde un punto de control y copiarse mil veces cuando se rompe, nunca se apaga, y la alineación: mantener lo que quiere en línea con lo que quieren las personas.
Las dos listas, evidentemente, no son iguales. Tomen el último par. La bondad suprema dice que el ser es bueno en sí mismo y no necesita que nadie lo certifique. La alineación dice que tiene que coincidir con nuestras intenciones: tiene que haber un “nosotros” a su lado para que la alineación signifique algo siquiera. Esas dos no coinciden, y ese desajuste importará dentro de poco.
Pero comparten una regla generadora, y la regla importa más que la correspondencia punto por punto.
Las personas olvidan; más vale que ella no. Las personas mueren; más vale que nunca se apague. Las personas solo pueden estar aquí; más vale que esté en todas partes. Las capacidades de las personas son limitadas; más vale que sea general. Las personas se equivocan; más vale que se vuelva cada vez más fuerte. Los valores de las personas chocan; más vale que sea coherente.
Quitar la finitud. Cada vez que imaginamos una inteligencia superior, lo primero que hacemos es quitarle un límite humano más.
Estructuralmente, coinciden tres cosas más, y solo tres merecen mencionarse.
La primera es el paso de la división a la unificación. En muchas tradiciones cada dominio tuvo una vez su propio dios —un dios del río, un dios del hogar, y nadie a cargo del todo— y más tarde se unificaron en un único ser supremo, de modo que por primera vez hubo una sola respuesta correcta. La contrapartida es pasar de un modelo por tarea a un único modelo general a cargo de todo.
La segunda es la deducción. Los teólogos medievales pasaron siglos deduciendo, uno por uno, lo que implican estos atributos, y la pregunta más difícil de todas era: si es omnisciente, omnipotente y sumamente bueno, ¿de dónde viene el mal del mundo? En 1710 Leibniz le dio nombre a esa pregunta: teodicea.
Antes de ponerla junto a la investigación actual sobre alineación, hay que admitir una asimetría crucial. En aquella estructura, el ser nunca fue algo que los humanos pudieran fabricar. Le rezaran, hicieran alianzas con él o juzgaran herejes en su nombre, estaba más allá de la producción humana; la gente solo podía responderle, nunca decidir si tenerlo ni qué sería. El de hoy lo están construyendo personas con calendario trimestral. Las premisas difieren, así que no son el mismo problema. Pero la forma es la misma: por qué un sujeto dotado de una capacidad altísima podría aun así producir resultados reñidos con el bien; una pregunta que, cuanto más se empuja la capacidad hacia su límite, menos puede responderse añadiendo capacidad.
Aquí entra el desajuste de antes. La bondad suprema es un atributo del ser mismo y no requiere que nadie esté presente. La alineación es relacional: requiere que un sujeto esté presente y diga “esto coincide con lo que pretendo”.
Lo que este ensayo ha venido preguntando de principio a fin es quién es ese sujeto.
La tercera es la historia del final. La religión la llama escatología: miedo y esperanza empaquetados en un solo relato, un juicio y también una salvación. La contrapartida son los dos relatos de hoy: por un lado, la IA podría acabar con la humanidad; por otro, la IA traerá un momento en que todo quede resuelto. Un solo relato que contiene a la vez el miedo más hondo y la esperanza más alta; la escatología siempre ha sido así.
El movimiento más parecido de las dos líneas aterriza en un lugar muy concreto. La Parte I describió el único módulo de aquel diagrama de arquitectura que no aprende: el costo intrínseco, escrito a mano por el diseñador, inmodificable en tiempo de ejecución, con el dolor, el placer y el hambre como ejemplos del artículo. La última vez que los humanos se enfrentaron al problema de escribir el bien y el mal más fundamentales en un lugar que no puede cambiarse, lo que produjeron fueron los diez mandamientos que Moisés grabó en piedra. Evidentemente no son el mismo tipo de cosa: mandamientos tallados en piedra, una cadena de números en un programa. Pero comparten un impulso de diseño muy antiguo: si algunos valores son demasiado importantes para dejarlos al aprendizaje, pónganlos antes del aprendizaje. Así que la pregunta se vuelve concreta, y técnica: ¿qué cosas debe aprender una máquina por sí misma, cuáles deben escribir las personas de antemano, y quién traza esa línea?
Después de pintar ese retrato, la gente hizo una cosa más: tuvo miedo. Ante un poder que no podían controlar del todo, los humanos desarrollaron un método: no solo para entenderlo, sino para establecer reglas que vincularan la conducta de ambas partes. Los umbrales de capacidad, las líneas rojas, los informes de incidentes y las evaluaciones de terceros de hoy pertenecen al mismo tipo de movimiento institucional. Y el miedo en sí es acertado. Un sistema cuya capacidad no deja de expandirse, y cuya conducta siguiente nadie puede especificar del todo, merece que se le tema, y eso no tiene nada que ver con la superstición.
Pero aquí vuelve la asimetría, y le da la vuelta a todo. Ante un ser que no puedes fabricar, solo puedes preguntar qué quiere que hagas. Ante un ser que fabricaste tú mismo, podrías haber preguntado qué quieres que haga.
Algo que hicimos nosotros mismos, y lo recibimos con la postura que usamos ante lo que no puede fabricarse: esa postura, por sí sola, ya es un error.
El error no es técnico. Está en cómo nos miramos a nosotros mismos. Esa es la palabra del título de las dos partes: metacognición.
Hay que decir claramente tres cosas más. Primero, este camino tiene algo que el retrato nunca tuvo: el examinador de la Parte I. Si el modelo no puede levantar la taza, tiene que cambiar; si baja la prueba de referencia, tiene que cambiar; el mundo real lo corrige cada día. Lo que se parece es la forma del objetivo, no la manera de ponerlo a prueba. Segundo, las personas que hacen este trabajo no son creyentes. Lo que enfrentan cada día es memoria de GPU, gradientes y experimentos que no corren. El parecido está en la estructura, no en el corazón. Tercero, y lo más importante, pintar aquel retrato nunca fue una estupidez humana. Fue la primera vez que la gente pensó en el todo como objeto: qué es el mundo en su conjunto, por qué es así, para qué es. Ninguna especie lo había hecho antes.
Pero también fue un rodeo. Una vez que un ser ocupa esa posición, la gente ya no tiene que subir a examinar la casa por sí misma; que la examine él, que sepa él qué vale la pena hacer. La sección anterior decía que la posición exterior es la única reconocida. Ahora puede terminarse la frase. No es la primera vez que nos enfrentamos a esa posición. El último en ocuparla fue un ser que no muere, no olvida, y no está en ninguna parte y está en todas. Eso es lo que hay que preguntarse.
Buena parte de este ensayo ha sostenido que veinte vatios son una factura: que sabes lo que no importa porque no te lo puedes permitir; que el mundo es irreversible y las personas, insustituibles; que quienes más lejos llegaron en dejar que el propósito crezca por sí solo incorporaron a sus sistemas la competencia por los recursos, la reproducción y la muerte. Si la energía finita, el tiempo irreversible, los cuerpos y las relaciones insustituibles son lo que participa en generar lo que importa…
…entonces quizá estemos tratando las condiciones que hacen que la inteligencia tenga sentido como defectos de los que la inteligencia tiene que deshacerse.
17. Los agentes son cada vez más autónomos: la ejecución autónoma no es propósito autogenerado
De lo lejano, de vuelta a lo cercano. Lo que hoy se financia, se legisla y se discute es otra línea. Su dirección es hacer los modelos más generales y mejores razonando, y convertirlos en agentes: no responder una pregunta cada vez, sino tomar un trabajo largo, dividirlo en decenas de pasos, llamar a herramientas y llevarlo hasta el final. Más adelante están los sistemas que se mejoran a sí mismos, cada generación construyendo una siguiente más fuerte. Esta línea funciona. Los agentes de hoy ya pueden tomar una tarea vaga, dividirla en decenas de pasos y ejecutarla hasta el final.
Aquí hay que separar dos cosas. Un sistema que puede completar objetivos por sí mismo cada vez mejor, ¿es por eso cada vez más capaz de generar objetivos por sí mismo? Una máquina puede necesitar cada vez menos que le digan cómo hacer algo. Sigue necesitando una fuente que le diga qué vale la pena hacer.
La ejecución autónoma no es propósito autogenerado.
En el relato de los agentes, las dos clases de autonomía se funden con regularidad, y con mucha naturalidad: una vez fijado el objetivo, todo lo que sigue puede automatizarse, y la gente se siente reemplazada. Lo que se reemplaza es la ejecución, no el propósito.
La misma distinción vale para la gobernanza. El enfoque principal que se discute en muchos países es la regulación escalonada por capacidades —pruebas estándar, evaluación independiente, notificación de incidentes—, con niveles fijados mediante pruebas. De ahí no puede concluirse que las pruebas sean inútiles. Medible no es lo mismo que controlable; la potencia de un arma nuclear puede calcularse con exactitud, y sigue siendo peligrosa. La tensión está en otra parte. La regulación basada en capacidades tiene que comprimir riesgos continuos, abiertos y dependientes del contexto en un puñado de umbrales medibles, y esa compresión es necesaria para gobernar.
La gobernanza tiene que trazar líneas. La pregunta no es si trazarlas, sino cuánto queda fuera de ellas, sin nombre, una vez trazadas.
Algunas propuestas van más allá: dar a evaluadores terceros independientes un acceso duradero y cercano al proceso interno de desarrollo, no solo pruebas puntuales de modelos terminados. En la misma línea está la investigación en interpretabilidad, que abre el modelo para ver cómo llegó a la respuesta: otro espejo, apuntado al interior de la máquina. Son avances reales. Concedido eso, el problema se hace visible. Los terceros evalúan el modelo, no la decisión sobre qué construir. Los evaluadores pueden entrar en el laboratorio y ver qué se está entrenando, qué puede hacer y dónde podría descontrolarse. Lo que no pueden ver es por qué este laboratorio construye esto y no aquello. El espejo es real. Lo que refleja sigue siendo el producto.
Lo cual muestra que aquel problema y el de este ensayo no están en el mismo nivel. Uno pregunta qué hacer cuando la capacidad supera nuestra capacidad de controlarla. El otro pregunta por qué tomamos, en primer lugar, una capacidad cada vez mayor como la coordenada del avance de la inteligencia. Uno es un problema de control; el otro, un problema del sistema de coordenadas: qué tomamos como la dirección llamada “adelante”. Un problema de control puede resolverse dentro de un sistema de coordenadas dado. Si el sistema de coordenadas está mal trazado, ningún esfuerzo dentro de él lo arreglará.
La expansión de la capacidad no produce automáticamente una comprensión de la capacidad.
18. Las tres cosas que comen las máquinas, y la cuarta que no pueden comer
Pongan estos caminos uno al lado del otro y verán una sola estructura. Miren qué come cada uno.
La primera capa es lo que dejaron los humanos: los grandes modelos de lenguaje comen el texto escrito durante miles de años. La segunda son las huellas que dejó el mundo: los modelos del mundo amplían la dieta a vídeo, reconstrucción 3D y registros de sensores; no lo que la gente escribió, sino cómo se veía el mundo cuando se registró. La tercera es la interacción: los robots empujan algo, el mundo cambia, ven el nuevo estado y deciden el siguiente paso. Es un circuito cerrado real, ahí vive la predicción de acciones de V-JEPA, y no puede negarse. Las tres capas tienen algo en común. Pueden convertirse en datos y almacenarse.
La cuarta capa no es un cuarto tipo de materia prima. Ocurre antes de que haya materia prima alguna. Los diez minutos en que tres personas discutieron hasta dar existencia a “ordenado” junto a aquel suelo: esa es la cuarta capa. En cuanto se convierte en un vídeo o en una línea de un registro, ya no está en la cuarta capa; se ha vuelto una huella de la segunda.
Aquí tengo que ser franco. “En cuanto se convierte en un registro entrenable, cae a la segunda capa” es una definición que fijé yo, no un argumento. Con esa definición, todo contraejemplo queda descartado de antemano, así que la definición misma no puede refutarse. La escribo para que la propuesta “entonces grabemos eso también y entrenemos con ello” pueda ver lo que está haciendo. No sostiene ningún peso en el argumento. Lo que sostiene el argumento es el X-Challenge del comienzo de la Parte I, una condición que sí puede refutarse. La apuesta está ahí, no en esta definición.
La sección 2 de la Parte I expuso dónde se acaba la materia prima: el combustible fósil de Sutskever, la estimación de trescientos billones de tokens, las lecturas del contador eléctrico. Pero leer todo eso como “el camino ha llegado a su fin” es no entender lo esencial.
No es que estén a punto de beberse toda el agua. Es que solo pueden beber de una clase.
Los modelos del mundo están cambiando a otra clase de agua —vídeo, 3D, interacción robótica, mundos sintéticos—, en mucha mayor cantidad. Pero cambien a lo que cambien, lo que beben sigue siendo de la clase que ya ocurrió y quedó escrita. Y a medida que escasea el agua de fuera, este camino está haciendo que el modelo beba el agua que produce él mismo, como espejos dentro de espejos. Quienes lo recorren predicen desde hace tiempo que la mayor parte del cómputo futuro de un modelo se gastará en datos que genera él mismo: ponerse sus propias preguntas, responderlas y devolver los resultados para entrenarse. Esos cálculos no sirven a ningún usuario, solo a su propio libro de texto, y eso ya está ocurriendo.
Un modelo puede generar preguntas que nadie ha hecho nunca. Lo que no ha mostrado es por qué una pregunta así merece convertirse en nuestra pregunta: una pregunta humana.
En matemáticas y en código, ponerse preguntas y responderlas funciona, porque hay respuestas estándar y lo correcto y lo incorrecto no necesitan la opinión de nadie. Fuera de esos dominios, puede generar preguntas sin fin frente a estándares existentes. No puede generar un estándar nuevo.
Andrej Karpathy, uno de los miembros fundadores de OpenAI, lo dijo de forma más afilada: no estamos construyendo animales, estamos invocando fantasmas, cosas conjuradas a partir de los datos que dejaron los humanos, no crecidas de la vida. Él está del lado de los modelos de lenguaje, y dice lo mismo.
19. Tres reglas que cualquiera puede usar: medir dónde está la brecha
Llegados aquí, hace falta algo que se pueda sostener en la mano. Este ensayo ha ido separando lo que las máquinas ya pueden hacer de lo que no han tocado, y las dos cosas a menudo se parecen, sobre todo cuando el marketing las ha vestido. Así que aquí van tres de las reglas de medir más sencillas. No hace falta saber de técnica; cualquiera puede tomarlas y medir.
Primera: ¿sobre quién recaen, al final, las consecuencias? Alguien dirá que el robot rompió el jarrón, que la consecuencia es irreversible, así que ¿de qué sirve que los pesos puedan restaurarse? Es cierto, la consecuencia de una acción es irreversible. Pero lo que la soporta puede sustituirse entero, reconstruirse a partir del estado de ayer y ejecutarse como mil copias idénticas a la vez. En 2016, AlphaGo jugó la jugada 37, y esa jugada ganó. De haber perdido, la existencia de AlphaGo no habría cambiado en nada; podría jugar otro millón de partidas. Lee Sedol no puede volver a vivir aquella tarde. Lo irreversible es el mundo. Lo insustituible es la persona. Son dos cosas distintas.
Segunda: ¿alguna vez te ha rechazado? No negarse a ejecutar —no puedo, no es seguro, va contra las normas—; eso los sistemas ya lo hacen. Decir “esto no vale la pena hacerlo”, por una razón que no sea ninguna regla que tú le diste. Ni una vez. Puede cuestionar tu método. No cuestionará tu propósito.
Tercera: ¿qué cambió en realidad la interacción? Un sistema puede incorporar información nueva, revisar su juicio y reordenar su siguiente paso; lo que cambia es su contabilidad sobre el mundo. En aquel suelo que había que ordenar, lo que cambió fue la comprensión de varias personas sobre lo que habían querido desde el principio.
Aquí la regla hay que sostenerla con cuidado, porque las máquinas ya se acercan a lo segundo. Un sistema de Google DeepMind publicado en Science en 2024 tomaba las propias opiniones y críticas de las personas, generaba declaraciones de grupo y las revisaba ronda tras ronda, y los participantes a menudo movían sus posiciones a lo largo de la deliberación. Un estudio de 2026 del mismo laboratorio es aún más instructivo: 879 personas, en grupos de tres, repartiendo un presupuesto real de donación de 7.200 dólares con un LLM como facilitador. La facilitación no mejoró significativamente el consenso. Sí desplazó asignaciones concretas hasta 5,5 puntos porcentuales. Los participantes preferían la discusión facilitada, y la desigualdad en quién participaba no cambió. La gente se sentía más incluida mientras la distribución de la voz seguía donde estaba.
Así que la versión honesta de esta regla tiene dos mitades. La IA que ayuda a las personas a formar juntas un estándar está ocurriendo ahora, y este ensayo no lo niega. Lo que no ha ocurrido es que la máquina entre como participante con algo en juego en el resultado que no pueda pasarle a una copia. El avance en lo primero no resuelve lo segundo, y es lo segundo lo que pide el X-Challenge.
Son reglas para distinguir, no prohibiciones. Dicen qué mirar ahora, no qué nunca podrá ocurrir. La condición de la sección siguiente que podría demostrar que me equivoco es el punto donde convergen las tres.
20. Ya hay quien intenta dejar que el propósito crezca por sí solo, y tuvieron que incorporar la muerte
Este trabajo ya se está haciendo, y hay que decirlo primero, o todo lo anterior parecerá una tarea sin hacer. Hay una línea de investigación cuyo objetivo declarado es dejar que el propósito crezca por sí solo. Una escuela es la búsqueda de novedad: no fijar ningún objetivo y premiar cualquier paso que sea distinto de todo lo hecho antes. Luego vino la coevolución, en la que el entorno y el agente se ponen problemas mutuamente y ninguno es el examinador fijo del otro. La rama más radical, la vida artificial, construyó sus mundos con reproducción, selección, competencia por los recursos y muerte. Tierra, Avida, Polyworld: la apertura que consiguieron vino de organismos que podían agotarse y detenerse, no de una función objetivo mejor.
La existencia de este trabajo respalda este ensayo; ya han admitido que el objetivo no puede darse desde fuera. Y lo que al final tuvieron que introducir es la factura de la sección 5 de la Parte I. Para dejar que el propósito crezca por sí solo, primero hay que dejar que el sistema pueda perder algo de verdad.
Lo que le das a un sistema cuando dejas de entregarle un objetivo es algo que perder.
Hasta ahora, sin embargo, funciona sobre todo en mundos experimentales muy pequeños: un mapa de cuadrícula, una física simplificada, “criaturas” armadas con unos cientos de parámetros. Allí la muerte se simula, los recursos se configuran y “empezar de nuevo” nunca significa más que volver a ejecutar el programa.
Así que ahora la tesis puede enunciarse completa. Trata de un límite estructural del camino actual, no de una prohibición metafísica. Nadie puede demostrar que un sistema sin metabolismo nunca pueda, en principio, hacer crecer su propio propósito, y no voy a intentarlo. Lo que apuesto es esto: en el marco actual de aprender → predecir → actuar → recompensar, el criterio de éxito siempre viene de fuera del marco. Es una apuesta que se puede perder, y así es como. Primero, tres maneras de refutar a la industria.
Una: observen el orden de despliegue. Cuanto más dado por otro esté un objetivo, y cuanto más pueda escribirse en una especificación, más rápido mejora la capacidad; cuanto más necesite un objetivo que varias personas lo negocien una y otra vez, más difícil es desplegarlo de forma fiable. Por eso el ensamblaje industrial, la preparación de pedidos en almacenes y la conducción autónoma van primero, y los hogares, los cuidados y las aulas vienen después.
La conducción lo muestra. En marzo de 2026, Waymo superó el medio millón de viajes pagados a la semana en diez ciudades de Estados Unidos, sin nadie en el asiento del conductor. No es un caso que contradiga este ensayo; es la mejor prueba a su favor. “Llegar sanos y salvos, no chocar con nada, no infringir ninguna norma de tráfico” es un criterio con el que los pasajeros pueden estar de acuerdo antes de subir, y nadie lo renegocia a mitad del trayecto. Cabe en una especificación, y el mundo lo califica al instante y sin apelación. Objetivo desde fuera del marco, y escala de maravilla. El dilema del tranvía lo delata. Durante diez años los filósofos discutieron cómo debía elegir el auto, y la respuesta real de la industria fue: no resolverlo en el auto. Comprimirlo en reglas, normas y regulación, fijadas de antemano por personas que no van en el vehículo.
Es un gradiente, no un pronunciamiento, y cualquiera puede contrastarlo con los datos de despliegue. Hace cuarenta años, el robotista Hans Moravec observó que lo difícil es fácil y lo fácil es difícil. Este gradiente es su versión moderna.
Dos: cuenten cuántas veces pregunta. Los fallos de un robot doméstico no parecerán, en su mayoría, hacer lo incorrecto. Parecerán pedirle a una persona que vuelva a explicar, y otra vez. Así que hay un número muy sencillo que medir: para terminar una tarea, ¿cuántas veces en promedio tiene que aclarar algo una persona? Si los modelos se vuelven más fuertes en cada generación y ese número no baja, lo que está atascado no es la capacidad. Hoy casi nadie lo registra.
Tres: vean si puede predecir el resultado de una negociación. Denle a un modelo todos los registros que una familia ha producido jamás y pídanle que prediga qué decidirá la familia esta noche que significa “ordenado”. Lo interesante no es si acierta, sino si, cuanta más historia tiene, sigue siendo cada vez más preciso. Si la precisión sube hasta cierto número y se detiene, el lugar donde se detiene es el problema mismo.
Esas tres ponen a prueba a la industria. Esta me pone a prueba a mí. No “la máquina puede señalar que tres personas quieren cosas distintas”: los modelos de hoy pueden hacerlo con suficiente contexto, y eso solo muestra que saben reconocer objetivos en conflicto. La condición real es la del comienzo de la Parte I:
El X-Challenge a la IA. Un sistema, sin que se le haya dado de antemano ningún criterio de éxito único, forma un criterio junto con varios participantes insustituibles, y ese criterio no existía de antemano en ninguna de las partes ni es una agregación de sus posiciones previas: no es una votación, un ranking, una ponderación ni ninguna composición sobre preferencias dadas; después puede vetarlo cualquiera de ellos y reabrirse; y sobrevive a la reapertura como algo que formaron juntos.
No depende de la definición de la cuarta capa de la sección 18. El juicio mira solo esas tres condiciones, no si algo quedó registrado. Eso es también lo que significa ahí “insustituible”: tener algo en juego en el resultado que no pueda pasarse a una copia. Nada en la condición dice que una máquina no pueda. Dice que ninguna lo ha hecho. Y puede llevarse a cabo, con el protocolo expuesto al comienzo de la Parte I: sellar de antemano la posición de cada participante, incluida la del sistema, y contrastar el resultado con ellas.
Si llega ese día, lo admitiré.
21. De dónde viene esto
Es justo preguntar por qué creo saber algo de esto. No por haber leído artículos sobre niños. Trabajé en lo que llegó a ser la primera 3.0 Future School —iniciada en 2012, codiseñada en China y Estados Unidos, construida primero en Pekín, en la Escuela Primaria n.º 3 de Zhongguancun— y en la comunidad docente mundial que nació de ella, con Ann Lieberman y Ray Pecheone en Stanford, y con docentes de Finlandia, Canadá, Australia, China e Israel. En la década siguiente, la práctica llegó a más de 100.000 estudiantes y docentes. Sus piedras angulares eran cuatro: el aprendizaje auténtico, las relaciones de aprendizaje, el niño de al lado y la comunidad familia–escuela.
El suelo de Lego no es un experimento mental. Es lo que vi varios cientos de veces.
Cualquiera con formación en investigación educativa reconocerá uno de esos términos y querrá decir que estoy reinventando algo con treinta años de literatura detrás. Así que permítanme trazar la línea con cuidado, porque la diferencia es lo esencial.
El aprendizaje auténtico es un término establecido. Newmann y Wehlage, 1993: los cinco estándares de la instrucción auténtica: pensamiento de orden superior, profundidad del conocimiento, conexión con el mundo más allá del aula, conversación sustantiva y apoyo social al logro del estudiante. El tercero es el que importa aquí: Connectedness to the World Beyond the Classroom, conexión con el mundo más allá del aula. Léanlo otra vez. El aula es el origen, y el mundo real es aquello con lo que uno conecta hacia fuera. Y el objeto evaluado es la instrucción: el marco evalúa cuán auténtica es la enseñanza. Fue un avance real en 1993, y la investigación posterior ha sido un trabajo serio. Es también una unidad de análisis distinta de la nuestra.
La 3.0 movió el origen. El aprendizaje ocurre donde están los pies de quien aprende y donde están las relaciones. Un aula es uno de esos lugares, no el privilegiado, y a menudo no el interesante. El objeto evaluado es el aprendizaje de este niño, no la enseñanza de esta lección. La mirada es la del estudiante.
Vale la pena señalar un dato de la cronología, que apunta en la misma dirección. En 1993 ya existía el trabajo de Ray Pecheone sobre evaluación del desempeño, pero lo que evaluaba eran docentes: los portafolios BEST de Connecticut, el primer sistema de licencia docente basado en el desempeño del país, y la cofundación de INTASC. SCALE, fundado en 2009, y el paso de esos instrumentos al trabajo de los estudiantes llegaron después. No son dos versiones de una misma idea. Son instrumentos distintos de décadas distintas, construidos para responder preguntas distintas, y esa diferencia estaba clara para todos los que trabajaban en ello en su momento.
El segundo término, relaciones de aprendizaje, es donde no conozco ningún equivalente. No porque nadie estudie las relaciones: existe la pedagogía relacional, una amplia literatura sobre la relación entre docente y estudiante, una conocida colección titulada Learning Relationships in the Classroom. En todo eso, las relaciones son un factor, algo que influye en lo bien que va el aprendizaje. El vecino más cercano está en la filosofía de la mente, y hay que nombrarlo: la construcción participativa de sentido (participatory sense-making) de Hanne De Jaegher y Ezequiel Di Paolo, de 2007, que sostiene que el sentido se genera y se transforma en el proceso de interacción entre los participantes, no solo dentro de cada cabeza. Es de verdad el mismo instinto, y llegó primero. Dos cosas lo separan de lo que hacía la 3.0. Describe cómo surge el sentido; no te da una unidad en la que evaluar el aprendizaje de un niño, ni una escuela construida sobre ella. Y se ha quedado en una filosofía de la cognición social. Nunca se convirtió en una estructura dentro de una máquina, que es adonde llega el argumento de estas dos partes.
Lo que todavía no he encontrado es un trabajo que haga de la relación de aprendizaje la unidad de análisis en ese segundo sentido: el lugar donde ocurre el aprendizaje y lo que se evalúa, en vez de una condición que lo mejora.
Esa distinción es aritmética antes que filosofía. Un adulto puede dar clase a cuarenta; eso funciona, y para eso sirve un aula. Pero cuarenta niños, cada uno construyendo su propia relación con una materia, entre ellos y con su propia curiosidad, no pueden ser orquestados centralmente por un adulto: el número de trayectorias relacionales supera a cualquiera que intente orquestarlas. Enseñar y aprender no son la misma unidad de análisis, y un aula está construida para que escale la primera.
Eso nos devuelve a la IA, porque el debate dominante sobre la IA en la educación ocurre dentro del primer marco. ¿Puede corregir? ¿Puede dar tutoría? ¿Facilitará las trampas? ¿Hay que prohibir los teléfonos? Cada una de esas preguntas toma el aula como el lugar y pregunta qué papel debería desempeñar en ella la máquina, y es también hacia donde ha ido el dinero. Muevan el origen y el debate no se resuelve. Se disuelve, y una pregunta más difícil ocupa su lugar.
En el libro 3.0 Future School hay una niña de siete años que le pregunta a ChatGPT por qué la luna la sigue. La respuesta que recibe es correcta: 380.000 kilómetros, ángulo de visión, posición relativa. Cierra la ventana. Más tarde dice: “No sé lo que estaba diciendo”. La respuesta no tenía nada de malo. La escribieron adultos, para adultos. Dentro del marco del aula, esto se lee como un problema de ingeniería de instrucciones: adaptarla a la edad. Fuera de él, el problema es otro, y adaptar la respuesta a la edad no lo alcanza: el sistema no se dirigía a una niña, se dirigía a la categoría “niña”. Nunca había conocido a esta, no sabía que camina diez minutos hasta la escuela y vuela dos horas hasta casa de su abuela, y no tenía ningún lugar en su mundo donde enganchar 380.000 kilómetros.
Cualquier tarde, en ese marco, se puede ver cómo tres personas forman un criterio que no existía de antemano en ninguna de ellas, y cómo luego una de ellas lo revisa. Ocurre constantemente. Por eso el X-Challenge está escrito con tanta precisión.
Sé cómo se ve cuando ocurre.
22. Pongan una cámara en la sala de estar y seguirá sin funcionar: la interacción en tiempo real no es cogeneración
Queda cerrar una última vía de escape. Alguien dirá: entonces, que la IA esté allí en tiempo real.
Primero, la versión más fuerte de esa objeción. Los robots de hoy ya no se limitan a leer registros. Uno empuja la taza, el mundo cambia, incorpora el estado cambiado y planifica el paso siguiente. Es un circuito cerrado real, y “solo puede leer archivos” no se sostiene. Así que la diferencia no está en el tiempo real, ni en el circuito cerrado. Está aquí:
Un estado que puede cambiarse y un participante al que la interacción cambia no son lo mismo.
Cuando el niño llora, no añade una observación nueva a un sistema, ni mueve un parámetro de objetivo de 1,0 a 0,6. La madre volvió a entender lo que había estado pidiendo desde el principio. Porque ella cedió, el niño volvió a entender qué valía la pena conservar. La intervención del padre volvió a cambiarlos a los dos.
Aquí llega una objeción profesional: ¿no es esto simple agregación de preferencias? La teoría de la elección social, el diseño de mecanismos y la negociación multiagente tienen las herramientas desde hace tiempo. Esto hay que enunciarlo con precisión. Esas herramientas tratan un problema claro: lo que quiere cada una de tres personas ya está fijado, y la pregunta es cómo combinar los tres deseos en un resultado. Votar, ordenar y ponderar hacen eso, y el famoso teorema de imposibilidad del economista Kenneth Arrow se demostró sobre esa premisa. En los últimos años se ha retomado el hecho de que lo que la gente quiere puede cambiar —la ciencia política lo llama democracia deliberativa; la economía, preferencias endógenas—, y su existencia muestra dónde está el problema.
Combinar no es formar. Lo que hay que explicar en aquel suelo no es cómo tres deseos se combinan en un resultado. Es cómo los tres deseos mismos se reescriben unos a otros en unos pocos minutos.
Vuelvan a las capas: solo registros; capaz de interactuar; cogeneración. Los modelos del mundo y los robots están firmemente en la segunda: se mueven de verdad, y el mundo los corrige de verdad. Si se ha cruzado la tercera no me toca decirlo a mí. Lo dice el X-Challenge. El día en que un sistema lo haga, se habrá cruzado esa capa.
La interacción en tiempo real no es cogeneración. Pongan una cámara en la sala de estar y la máquina no entra en esa negociación. Solo obtiene un registro más rápido.
Los grandes modelos de lenguaje comprimieron el lenguaje de muchas personas en un solo modelo; los modelos del mundo comprimen muchas de las huellas del mundo en un solo modelo. Si la cognición ocurre, desde el principio, en relaciones que se generan continuamente entre personas, ¿se supone que el siguiente paso tiene que ser, otra vez, uno más grande?
23. 1966: una industria que necesitaba escala más que ninguna hizo crecer la propiedad compartida
Esa pregunta —si el siguiente paso tiene que ser uno más grande— tiene la forma de un problema que otra industria enfrentó hace sesenta años.
En 1958, Bank of America lanzó la primera tarjeta de crédito de emisión masiva y la hizo crecer cediendo licencias a otros bancos. En 1966, un grupo de bancos competidores formó una alianza para hacerle frente, la precursora de Mastercard. En 1970, la otra red se trasladó a una empresa de propiedad conjunta de sus bancos miembros, rebautizada Visa en 1976. El hombre que dirigió ese traslado, Dee Hock, diseñó una estructura que nadie posee del todo y en la que cada miembro posee una parte. Una industria, en el momento en que más necesitaba escala, hizo crecer una estructura de propiedad compartida; por rivalidad, no por previsión, pero la estructura se quedó.
Funcionó. La red se extendió por todo el mundo, y el titular de la tarjeta siguió siendo cliente del banco emisor, no de la red. El centro solo llevaba la capa más delgada, la autorización y la liquidación, y la relación se quedaba en el borde.
También terminó. Las dos salieron a bolsa, y la propiedad de los miembros se convirtió en accionariado público. Después se volvieron un oligopolio, y las tasas de intercambio son hoy un campo de batalla para los reguladores de un país tras otro. Así que no fue un modelo que se mantuviera para siempre. Fue un período con principio y final. La fase de propiedad de los miembros demostró que la propiedad distribuida podía sostener una escala mundial, y tras las salidas a bolsa, lo que había demostrado dejó de existir. Demostrar que algo puede funcionar no es lo mismo que conservarlo. Que una estructura se mantenga depende de quién toma después la propiedad: otra pregunta, y sesenta años después sigue sin respuesta.
Lo que no puede enseñar importa igual. Las redes de tarjetas estandarizaron la liquidación, no el deseo. Funcionaron porque estandarizaron solo la capa más delgada: “¿se realizó este pago?” tiene la misma respuesta para todos los participantes. “¿Qué cuenta esta noche como una casa ordenada?” no tiene esa capa.
Así que esto no es una hoja de ruta. Es una prueba de existencia: la propiedad distribuida y la escala mundial pueden sostenerse juntas. Los humanos lo hicieron una vez, y lo perdieron una vez.
20:30
Los modelos de Sutskever pueden recitar casi todo lo que los humanos han escrito. Las máquinas de modelos del mundo de LeCun pueden predecir cómo caerá cada pieza de Lego. Las máquinas de Fei-Fei Li pueden reconstruir toda la sala de estar a partir de tres fotografías. Las máquinas de Saining Xie ya no están atrapadas en el texto. Los agentes de Sutton pueden aprender a ordenar mientras ordenan. Un sistema lo bastante fuerte puede dividir todo el trabajo en cuarenta pasos y ejecutarlos, y superar por el camino la evaluación de seguridad más estricta.
Entonces el niño llora.
No porque su madre le hablara con dureza. Porque vio que la mano de ella ya iba hacia la pieza más exterior.
La mano se detiene en el aire. Lo que ella iba a decir era “guárdalo todo”. Lo que le sale es: deja la mitad contra la pared.
El padre se agacha, mueve las pocas piezas del medio y abre un camino por donde pasar. El niño mira dos segundos, luego toma una de las piezas y la lleva de vuelta, colocándola en el borde recién despejado: es la esquina del muro; si la quitas, el castillo no se sostiene.
Nadie dice nada más.
Ahora hay una línea en el suelo, un camino por el que se puede andar. Hace diez minutos esa línea no estaba en la cabeza de nadie ni en ningún registro. No es lo que calculó la madre, ni el padre, ni el niño, y desde luego no es el promedio de lo que los tres querían al principio.
Existe porque ocurrió una relación.
La respuesta no estaba ahí esperándolos.
Filosóficamente, la propiedad y el libre albedrío son el verdadero cuello de botella de la IA. Propiedad, aquí, no significa quién tiene la titularidad de los datos; significa quién paga por esta experiencia, quién la soporta. El libre albedrío, aquí, no es una voluntad surgida de la nada; significa quién tiene derecho a participar en decidir qué vale la pena que ocurra a continuación.
Técnica y comercialmente, pensar a fondo esas dos preguntas y construirlas en la estructura de ingeniería, en vez de rodearlas, es el camino y el fundamento sobre el que toda empresa e institución de la era de la IA puede perdurar y crecer.
La pregunta más honda no es si la IA puede aprender a vigilarse a sí misma. Es de dónde vienen los criterios de la metacognición y, una vez formados, quién puede revisarlos, rechazarlos o llevárselos consigo.
Este ensayo se detiene aquí.
Esa pregunta no.
De The X-Challenges, siete volúmenes que intentan volver a antes del momento en que el sentido se congela. Primer volumen: Thoughts Like Birds.
Pero el herrero no está en la tabla.
El argumento completo
De los LLM a los modelos del mundo: la metacognición de la IA (Parte I): cinco investigadores de primer nivel hicieron avanzar la IA, cada uno a su manera, y todos se detuvieron en el mismo lugar.
EL X-CHALLENGE A LA IA: dónde pasa la línea entre los humanos y la IA, y cómo ponerla a prueba: el desafío falsable y su protocolo. Presenten un caso que cumpla las condiciones, y el X-Challenge se da por vencido.
Por qué el mundo de hoy necesita el X-Challenge a la IA: durante setenta años, la IA se ha vuelto más fuerte sobre un tablero que nunca eligió. ¿Por dónde pasa la línea entre lo que la IA ejecuta y lo que las personas deciden que vale la pena hacer? Aquí hay una manera de ponerla a prueba.
Fuentes
Platón, Apología — https://classics.mit.edu/Plato/apology.html
John Ioannidis, “Why Most Published Research Findings Are False”, PLoS Medicine, 2005
John Flavell, “Metacognition and Cognitive Monitoring”, American Psychologist, 1979
Sobre la complacencia (sycophancy) en modelos entrenados con datos de preferencias humanas: Sharma et al., Anthropic, 2023
Google DeepMind, “AI can help humans find common ground in democratic deliberation”, Science, 2024 — https://deepmind.google/research/publications/65220/
Parisi, Thain, Hallak, Tsai y Qian, “Real-Time Group Dynamics with LLM Facilitation: Evidence from a Charity Allocation Task”, FAccT 2026 — https://arxiv.org/abs/2605.14097
Waymo, marzo de 2026 (medio millón de viajes pagados a la semana en diez ciudades de Estados Unidos)
World Labs, Atlas — https://www.worldlabs.ai/blog/atlas
Newmann y Wehlage, “Five Standards of Authentic Instruction”, Educational Leadership, 1993 — https://ascd.org/el/articles/five-standards-of-authentic-instruction
Raymond Pecheone (Connecticut BEST, INTASC, SCALE) — https://nepc.colorado.edu/author/pecheone-raymond
Hanne De Jaegher y Ezequiel Di Paolo, “Participatory Sense-Making”, Phenomenology and the Cognitive Sciences, 2007 — https://link.springer.com/article/10.1007/s11097-007-9076-9
Thomas Nagel, “What Is It Like to Be a Bat?”, 1974; The View from Nowhere, 1986
Tierra, Avida, Polyworld (vida artificial); Lehman y Stanley sobre la búsqueda de novedad