La colaboración entre Apple y Nvidia promete cambiar las reglas del juego en el desarrollo de modelos de inteligencia artificial. Un nuevo método permite acelerar hasta 2,7 veces la producción de tokens en modelos de lenguaje, una mejora que puede transformar la rapidez y la eficiencia de las aplicaciones basadas en IA, incluyendo la tecnología Apple Intelligence.
Sigue leyendo este post y descubre hasta dónde llega el potencia de esta colaboración. Puede ser muy importante para el futuro de Apple.
Un problema que exige innovación
El entrenamiento de modelos de aprendizaje automático es una tarea que consume enormes cantidades de recursos y tiempo. A menudo, para superar estas limitaciones, las empresas optan por adquirir más hardware, lo que incrementa los costes de manera significativa. Es por eso que en este contexto, la investigación de Apple se ha centrado en encontrar soluciones innovadoras que reduzcan estos requerimientos sin comprometer los resultados.
A principios de 2024, Apple presentó Recurrent Drafter, o ReDrafter, una técnica de decodificación especulativa diseñada para mejorar el rendimiento en el entrenamiento de modelos. Utilizando redes neuronales recurrentes (RNN) junto con búsquedas optimizadas y atención dinámica, esta tecnología logró triplicar la velocidad en la generación de tokens frente a los métodos tradicionales de generación auto-regresiva.
El avance de Apple no se limitó a su propia tecnología. En un esfuerzo conjunto, Apple colaboró con Nvidia para integrar ReDrafter en TensorRT-LLM, el marco de aceleración de inferencias de Nvidia. Esto no solo optimizó el proceso para desarrolladores que usan Apple Silicon, sino que también lo hizo accesible para quienes emplean GPUs de Nvidia, hardware ampliamente utilizado en servidores dedicados al entrenamiento de modelos de lenguaje.
La integración no fue sencilla. ReDrafter utiliza operadores únicos que no forman parte de otros métodos de decodificación especulativa, por lo que Nvidia tuvo que añadir elementos adicionales para que la tecnología funcionara de manera efectiva en su entorno.
Tras realizar pruebas con un modelo de producción de decenas de miles de millones de parámetros en GPUs de Nvidia, los resultados fueron impresionantes: una mejora de 2,7 veces en la velocidad de generación de tokens por segundo. Esto no solo significa una menor latencia para los usuarios finales, sino también una reducción en la cantidad de hardware necesario, lo que disminuye los costes para las empresas y mejora la eficiencia energética.
Una apuesta estratégica para el futuro
Este movimiento forma parte de un esfuerzo mayor por parte de Apple para potenciar sus capacidades en inteligencia artificial. Recientemente, la compañía confirmó que estaba explorando el uso de chips Trainium2 de Amazon para entrenar modelos de Apple Intelligence. Según Apple, esta tecnología podría ofrecer una mejora del 50% en la eficiencia durante el preentrenamiento en comparación con el hardware actual.
La colaboración entre Apple y Nvidia marca un hito en la evolución de los modelos de lenguaje. Con esta innovación, no solo se acelerará el desarrollo de tecnologías basadas en inteligencia artificial, sino que también se abrirán nuevas posibilidades para ofrecer servicios más rápidos, eficientes y económicos tanto para empresas como para los usuarios finales.
La entrada La colaboración entre Apple y Nvidia pone en jaque la inteligencia artificial: triplican la velocidad en la creación de modelos se publicó primero en La Manzana Mordida.
