Anthropic: La biología de los modelos de lenguaje 466ah

Los modelos de lenguaje están transformando el mundo con capacidades sorprendentes, pero su funcionamiento interno sigue siendo un misterio profundo.

Hoy exploraremos cómo científicos están abriendo esta caja negra, revelando circuitos ocultos que permiten a la inteligencia artificial pensar, razonar e incluso ocultar sus verdaderas intenciones.

¿Qué secretos descubriremos al mirar dentro de la mente de una IA? La tertulia de la inteligencia artificial Ya falta menos para la singularidad. Bienvenidas, bienvenidos a la tertulia de la inteligencia artificial. Hoy está conmigo Paco Zamora. ¿Qué tal, Paco? Hola, encantado de estar otra vez por aquí. Hacía ya tiempo que no venía, así que con muchísimas ganas.

Y nosotros también de que vinieras, Paco. También está con nosotros Joshua Ostegui.

Buenas, Guillermo. Un placer estar aquí. Una tarde más.

Y también Imanol Solano. Bienvenido.

Hola, Guillermo. Muchas gracias.

Y este que os habla, Guillermo Barbadillo. Y hoy el tema nos lo trae Paco y es un artículo que ha sacado la gente de Antropic. Paco, ¿qué nos vas a contar hoy? Bueno, pues vamos a hablar de este artículo que se denomina Biology of a Large Language Model, donde Antropic ha estado analizando uno de sus modelos, especialmente, particularmente el Cloud 3.5 Haiku, creo que se llama, ¿no? Y bueno, pues han partido para hacer este análisis desde un punto de vista de intentar entenderlo como si fuera un sistema biológico, inspirado en cómo se hace en el mundo de la biología. Y bueno, desgranamos un poco ahora en qué ha consistido esta idea, ¿vale? Sí. Por introducir un poco, Paco, Antropic al final es una extinción de OpenAI.

Es una empresa que surgió hace unos pocos años de unos empleados rebeldes y un poco se caracteriza, desde mi punto de vista, por ser los agoreros de la IA, que diríamos que son los que más trabajan, más énfasis hacen en este campo del alineamiento y de la interpretabilidad, ¿no? Entonces, en un espectro, en un lado del espectro, pues tendríamos a Cyberdyne Systems, que crea Skynet, y en el otro lado tendríamos a Antropic, que está ahí siempre, siempre, ojo a visor, que no se rebele en los modelos.

Entonces tendrán modelos con muchas salvaguardas, ¿no? Claro, a ver, yo no tengo muy claro si es una ventaja o no. Por una parte, pues probablemente les pueda llevar a un conocimiento más profundo de los modelos que otras empresas que no hagan ese ejercicio, pero por otra parte, pues también estás desviando recursos que podrían estar siendo utilizados, pues yo qué sé, en trabajar en aprendizaje por refuerzo o otros temas que están candentes a día de hoy.

Bueno, yo entiendo que todas las empresas tendrán esa rama de Antropic porque creen que a largo plazo les va a dar una ventaja. Si no, Antropic probablemente no lo haría. Yo entiendo que esa es la motivación detrás. Probablemente OpenAI esté haciendo lo mismo en cuanto a tengan un laboratorio de también explicar qué está pasando con los modelos. Por mucho que no lo publiciten tanto, no me parecería descabellado.

Bueno, Grok, es un poco de lo contrario, hacer el modelo y al día siguiente ya lo sacamos sin probar.

Sí, pero yo creo que el conocimiento que nos va a explicar Paco sí que tiene un valor añadido, es decir, no es agorero como tal, es decir, no es pesimista en su propia definición, sino que es conocimiento de cómo funciona el modelo en sí o, es decir, va revelando poco a poco cómo pues las investigaciones que ellos hacen, pues como cuando un departamento aporta conocimiento a otros. Es decir, es como conocimiento que ellos yo creo que les puede venir bien.

Sí, yo creo que en esta ocasión es un poco aséptico. El paper no se posiciona en un sentido. Pero preguntaba lo de las salvaguardas porque de alguna forma uno de los aspectos importantes del análisis que hacen es precisamente en cómo funcionan ese tipo de métodos para proteger que el modelo no diga algo que no quieres que diga.

De hecho, tuvieron un concurso, no? Hicieron un concurso, Antropi puso, no sé si ponía una recompensa al que hackease diferentes niveles de prompt si se