{"id":136105,"date":"2026-05-04T10:30:00","date_gmt":"2026-05-04T16:30:00","guid":{"rendered":"https:\/\/pongara.net\/news\/cruce-de-cables-susto-o-muerte-con-una-ia-desbocada\/"},"modified":"2026-05-04T10:30:00","modified_gmt":"2026-05-04T16:30:00","slug":"cruce-de-cables-susto-o-muerte-con-una-ia-desbocada","status":"publish","type":"post","link":"https:\/\/pongara.net\/news\/cruce-de-cables-susto-o-muerte-con-una-ia-desbocada\/","title":{"rendered":"Cruce de cables: susto o muerte con una IA desbocada"},"content":{"rendered":"<div>\n<p><a href=\"https:\/\/www.rtve.es\/play\/audios\/cruce-de-cables\/cruce-cables-piel-jovenes-auge-movilidad-electrica-enigmatico-inventor\/17046599\/\"><img decoding=\"async\" style=\"aspect-ratio:1\/1; width:30%; float:right; margin: 0.1em 0 0em 1em;\" loading=\"lazy\" src=\"https:\/\/pongara.net\/news\/wp-content\/uploads\/2026\/05\/CdC87.webp\" alt=\"Una persona flipando con unas gafas de realidad virtual\" title=\"Ooooh\u2026\"><\/a>Este pasado fin de semana David Sierra y yo estuvimos hablando en Cruce de cables de RNE de los actos de una inteligencia artificial que empez\u00f3 a actuar por su cuenta y que, aunque no lleg\u00f3 a matar a nadie como HAL 9000, seguro que estuvo <strong>a punto de provocar alg\u00fan infarto<\/strong>.<\/p>\n<p>El programa con mi intervenci\u00f3n est\u00e1 disponible aqu\u00ed:<\/p>\n<ul>\n<li><a href=\"https:\/\/www.rtve.es\/play\/audios\/cruce-de-cables\/cruce-cables-pagos-invisibles-alexa-codigo-abierto\/17037547\/\"><strong>C\u00f3digo abierto<\/strong><\/a> [a partir de 17:40].<\/li>\n<\/ul>\n<p>El asunto viene de que Pocket, la empresa que desarrolla <a href=\"https:\/\/pocketos.ai\/news\/pocket-rebrands-its-luxury-rental-module-to-rentalos\">RentalOS<\/a>, una soluci\u00f3n para gestionar agencias de alquiler de veh\u00edculos que en los Estados Unidos tiene una cierta popularidad, utiliza la versi\u00f3n m\u00e1s potente de <a href=\"https:\/\/es.wikipedia.org\/wiki\/Claude_(chatbot)\">Claude<\/a>, el chatbot de Anthropic, junto con el entorno de desarrollo <a href=\"https:\/\/es.wikipedia.org\/wiki\/Cursor_(editor_de_c%C3%B3digo)\">Cursor<\/a>, para programar algunas cosas.<\/p>\n<p>A Claude la han dicho que <strong>no suponga<\/strong> c\u00f3mo funcionan las cosas, que antes de hacer cualquier cosa <strong>se documente bien<\/strong>; y en especial, que no lleve a cabo <strong>ninguna acci\u00f3n potencialmente destructiva<\/strong> sin pedir permiso antes a un humano.<\/p>\n<p>Pero hace unos d\u00edas se encontr\u00f3 con unos datos que no le cuadraban y se puso creativo. Y tras probar varias cosas se le ocurri\u00f3 que pod\u00eda <strong>borrar el volumen<\/strong> en el que estaban almacenada toda la base de datos en l\u00ednea de la empresa y de sus clientes a ver si as\u00ed solucionaba el asunto.<\/p>\n<p>Espoiler: <strong>no, para nada.<\/strong><\/p>\n<p>Adem\u00e1s, result\u00f3 que Railway, la empresa con la que Pocket tiene contratada su estructura en la buen, guarda las copias de seguridad <strong>en el mismo volumen que los datos<\/strong> que se supone que est\u00e1n respaldando. Lo que es un <a href=\"https:\/\/www.microsiervos.com\/archivo\/ordenadores\/extranio-concepto-copia-seguridad.html\">curioso concepto de copia de seguridad<\/a>.<\/p>\n<p>As\u00ed que durante casi dos d\u00edas Pocket tuvo que decirle a sus clientes <a href=\"https:\/\/www.tomshardware.com\/tech-industry\/artificial-intelligence\/claude-powered-ai-coding-agent-deletes-entire-company-database-in-9-seconds-backups-zapped-after-cursor-tool-powered-by-anthropics-claude-goes-rogue\">que se hab\u00eda perdido todo<\/a> porque Railway tampoco respond\u00eda. Aunque al final parece que hab\u00eda <strong>una copia de la copia<\/strong> que permiti\u00f3 recuperar los datos perdidos.<\/p>\n<p>Es cierto que en todo esto no s\u00f3lo Claude tuvo que <strong>pasar ampliamente de sus instrucciones<\/strong>, sino que adem\u00e1s se concatenaron varios fallos o decisiones cuestionables de dise\u00f1o como que Railway guardara las copias de seguridad en el mismo volumen que los datos. O que la clave de acceso que estaba usando Pocket desde su entorno de programaci\u00f3n, que en principio cre\u00edan que s\u00f3lo ten\u00eda capacidad de a\u00f1adir nuevos clientes \u2013estoy simplificando un poco, pero para entendernos\u2013 ten\u00eda <strong>poderes completos para hacer cualquier cosa<\/strong>. Y que Claude decidiera utilizarla aunque no ten\u00eda nada que ver con la tarea que le hab\u00edan asignado.<\/p>\n<p>En cualquier caso, y como tampoco es un caso aislado, para m\u00ed pone en duda una vez m\u00e1s todo esto del <a href=\"https:\/\/es.wikipedia.org\/wiki\/Vibe_coding\">vibe coding<\/a>, aquello de programar apoy\u00e1ndote en una IA aunque no sepas mucho qu\u00e9 est\u00e1 haciendo.<\/p>\n<p>Que no dudo de la utilidad de las IA. <em>Pero usadas con sentidi\u00f1o<\/em>.<\/p>\n<p>Y ya puestos, aprovech\u00e9 para recordar aquello de que siempre hay que tener <em>al menos<\/em> <a href=\"https:\/\/www.microsiervos.com\/archivo\/ordenadores\/dia-del-backup-31-marzo.html\">tres copias de seguridad<\/a>. Que luego no sirve de nada venir llorando.<\/p>\n<p><a href=\"https:\/\/www.microsiervos.com\/archivo\/ia\/cruca-cables-87-inteligencia-artificial-desbocada.html\"># Enlace Permanente<\/a><\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"<p>Este pasado fin de semana David Sierra y yo estuvimos hablando en Cruce de cables de RNE de los actos de una inteligencia artificial que [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":136106,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[3992,32212,3439,1268],"class_list":["post-136105","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-noticias","tag-cables","tag-desbocada","tag-muerte","tag-noticias"],"_links":{"self":[{"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/posts\/136105","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/comments?post=136105"}],"version-history":[{"count":0,"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/posts\/136105\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/media\/136106"}],"wp:attachment":[{"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/media?parent=136105"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/categories?post=136105"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/pongara.net\/news\/wp-json\/wp\/v2\/tags?post=136105"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}