¿De verdad los LLMs nos llevarán a la AGI?

Richard Sutton —sí uno de los padres del aprendizaje por refuerzo— no lo tiene tan claro. En una entrevista jugosa con Dwarkesh Patel, defiende una tesis que muchos en Silicon Valley prefieren esquivar: que los grandes modelos de lenguaje no aprenden del mundo, solo reciclan lo que los humanos ya hemos dicho.

En su visión, la verdadera inteligencia no se imita: se vive. Se forja en la experiencia, no en el texto predictivo.

Dwarkesh, con su estilo afilado, le contrapone una idea provocadora: ¿y si los LLMs no fueran la inteligencia final, sino el puente para llegar a ella?

Cómo los combustibles fósiles han servido de transición entre el motor de vapor y las energías eólicas, solar o de fisión nuclear.

Si los LLM mejoran su memoria entre sesiones y por tanto su capacidad de aprendizaje continuo a largo plazo pueden acercarse mucho a una AGI de facto.

Ambos detectan el problema en esa capacidad de aprendizaje continua. Ahí está el verdadero cuello de botella. No en más computación, ni en el número de tokens que un modelo es capaz de generar. Sino en la capacidad de una máquina para aprender del “mundo real”, y no solo repetir lo que ha leído en internet.

🎧 Merece la pena escucharla entera. Aunque solo sea para salir con más preguntas que respuestas: