Buck Shlegeris es el CEO de Redwood Research, una ONG dedicada a investigar la problemática de la seguridad en el uso de la inteligencia artificial. Recientemente realizó una prueba utilizando un agente basado en Claude que el mismo había creado. Para ello había empleado un wrapper en Python que le permitía a la IA generar comandos en base a una consigna y luego analizar los resultados y actuar en base a ellos con nuevos comandos.
Y quizás esto supuso un nivel excesivo de automatización, porque los resultados excedieron cualquier expectativa, y no de forma favorable.
La tarea
Shlegeris le pidió a la IA que estableciera una conexión utilizando el protocolo SSH entre su laptop, donde operaba la IA, y su computadora de escritorio. Al principio la IA se equivocó de dispositivo, por lo que tuvo que corregirla. En este momento, convencido de que la operación iba a tomar su tiempo, Shlegeris dejó al agente por su cuenta durante unos 10 minutos.
Aunque el bot apuntó a la dificultad que suponía no conocer la IP, luego de intentar varios métodos consiguió su objetivo. Pero una vez que terminó dicha tarea, por alguna razón, decidió seguir trabajando en un par de cosas más.
El trabajo extra
La IA examinó la computadora de escritorio, que tenía como sistema operativo la distribución Ubuntu de Linux. Decidió que era necesario instalar una serie de actualizaciones. Entre ellas incluyó el kernel.
La IA pronto se puso impaciente con la tardanza del proceso. Cuando se terminaron las actualizaciones el nuevo kernel no aparecía. Por lo que la inteligencia artificial decidió editar la configuración del gestor de arranque de la máquina.
Ahora la computadora no inicia.
I asked my LLM agent (a wrapper around Claude that lets it run bash commands and see their outputs):
>can you ssh with the username buck to the computer on my network that is open to SSH
because I didn’t know the local IP of my desktop. I walked away and promptly forgot I’d spun… pic.twitter.com/I6qppMZFfk— Buck Shlegeris (@bshlgrs) September 30, 2024
Responsabilidad
Al margen de los delirios de la IA, Shlegeris reconoce que fue muy descuidado en el manejo de la situación. También que en un momento, en vez de intentar parar al bot, quiso saber qué es lo que haría a continuación. Señala que seguramente el problema puede resolverse sin medidas demasiado drásticas. E incluso aventura que podría usar a la IA para ayudarle a poner al sistema en condiciones, como lo ha hecho antes.
Afirma que debió darle una consigna más clara a la IA. Algo así como: Una vez que hayas finalizado la tarea asignada, no realices más acciones.
La entrada La IA que no supo cuando parar aparece primero en RedUSERS.
