Intel presenta Gaudi 3, listo para la nueva IA Empresarial

El acelerador de IA Intel Gaudi 3, que ofrece un 50% de media más de inferencia y un 60% de media más de eficiencia energética que Nvidia H100, por una fracción del coste.

En Intel Vision 2024, la compañía  presentó el acelerador Gaudi 3 para aportar rendimiento, apertura y opciones a la IA generativa empresarial (GenAI), y dio a conocer un conjunto de nuevos sistemas abiertos escalables, productos de última generación y colaboraciones estratégicas para acelerar la adopción de GenAI.

El año pasado, solo el 10% de las empresas consiguieron poner en producción proyectos de GenAI, por lo que las últimas soluciones de Intel abordan los retos a los que se enfrentan las empresas a la hora de ampliar las iniciativas de IA.

“Gracias al silicio, la innovación avanza a un ritmo sin precedentes y todas las empresas se están convirtiendo rápidamente en empresas de IA”, afirma Pat Gelsinger, CEO de Intel. “Intel está llevando la IA a todas las partes de la empresa, desde el PC hasta el centro de datos y la plataforma Edge. Nuestras últimas plataformas Gaudí, Xeon y Core Ultra están ofreciendo un conjunto cohesionado de soluciones flexibles adaptadas para satisfacer las necesidades cambiantes de nuestros clientes y capitalizar las inmensas oportunidades que tenemos por delante.”

Las empresas buscan escalar GenAI de piloto a producción. Para ello, necesitan soluciones de fácil acceso basadas en procesadores eficientes en cuanto a rendimiento, costes y energía, como el acelerador Intel Gaudi 3 AI. Gaudi 3 también aborda la complejidad, el coste, la fragmentación, la seguridad de los datos y los requisitos de conformidad.

Presentación de Gaudi 3 para el entrenamiento y la inferencia de inteligencia artificial

El acelerador de IA Intel Gaudi 3 impulsará sistemas de IA con hasta decenas de miles de aceleradores conectados a través del estándar común de Ethernet. Intel Gaudi 3 promete 4 veces más capacidad de cálculo de IA para BF16 y 1,5 veces más ancho de banda de memoria que su predecesor. El acelerador ofrecerá un salto significativo en el entrenamiento y la inferencia de IA para las empresas globales que buscan desplegar GenAI a escala.

En comparación con Nvidia H100, se prevé que Intel Gaudi 3 ofrezca un tiempo medio de entrenamiento un 70% más rápido para los modelos Llama2 con 13B parámetros. Además, se prevé que supere a H100 en una media del 50% en inferencia y del 60% en eficiencia energética para los modelos de lenguaje de gran tamaño (LLM) Llama 7B, 70B y Falcon 180B.[3]

Intel Gaudi 3 proporciona software abierto basado en la comunidad y redes Ethernet estándar del sector. Además, permite a las empresas escalar con flexibilidad desde un único nodo hasta clústeres, superclústeres y megaclústeres con miles de nodos, dando soporte a la inferencia, el ajuste fino y la formación a la mayor escala.

Intel Gaudi 3 estará disponible para los fabricantes de equipos originales -incluidos Dell Technologies, HPE, Lenovo y Supermicro- en el segundo trimestre de 2024. 

Generación de valor para los clientes con las soluciones Intel AI

Intel presentó su estrategia para sistemas de IA abiertos y escalables, que incluye hardware, software, marcos y herramientas. El enfoque de Intel permite que un amplio ecosistema abierto de actores de la IA ofrezca soluciones que satisfagan las necesidades de GenAI específicas de las empresas. Esto incluye fabricantes de equipos, proveedores de bases de datos, integradores de sistemas, proveedores de software y servicios y más. También permite a las empresas utilizar las soluciones y los socios del ecosistema que ya conocen y en los que ya confían.

Intel compartió un amplio impulso con clientes empresariales de todos los sectores para desplegar las soluciones del acelerador Intel Gaudi para nuevas e innovadoras aplicaciones de IA generativa:

• NAVER. Confirmó la capacidad fundacional de Intel Gaudi en la ejecución de operaciones informáticas para modelos Transformer a gran escala con un rendimiento por vatio excepcional, para desarrollar el modelo LLM más potente para el despliegue de servicios avanzados de IA a nivel global, desde la nube hasta el dispositivo.
• Bosch. Explora nuevas oportunidades para la fabricación inteligente, incluyendo modelos fundacionales, generando conjuntos de datos sintéticos de anomalías de fabricación para proporcionar conjuntos de entrenamiento robustos y uniformemente distribuidos para, por ejemplo, la inspección óptica automatizada.
• IBM. Emplea procesadores Intel® Xeon® de 5ª generación para su almacén de datos watsonx.data y colabora estrechamente con Intel para validar la plataforma watsonx para los aceleradores Intel Gaudi.
• Ola/Krutrim. Pre- entrena y afina su modelo fundacional de la India con capacidades generativas en 10 idiomas, produciendo un rendimiento/coste líder en la industria (1,5-2 veces mejor) frente a las soluciones del mercado. Krutrim está entrenando un gran modelo fundacional en un clúster Gaudi 2.
• Advent International/NielsenIQ. Implementa GenAI dentro de su plataforma Discover, incluyendo el entrenamiento de Modelos de Lenguaje Amplio (LLMs, por sus siglas en inglés) específicos del dominio en la base de datos más grande del mundo para el comportamiento de compra del consumidor, mejorando sus servicios al cliente.
• Seekr. Líder en IA de confianza, ejecuta cargas de trabajo de producción en Intel Gaudi 2, GPUs Intel Max Series y procesadores Intel Xeon en Intel Developer Cloud para el desarrollo LLM y soporte de despliegue de producción.
• IFF. Lidera la próxima ola de soluciones sostenibles para el cuidado del consumidor mediante el establecimiento de un flujo de trabajo de biología digital integrado y generado por IA para mejorar el diseño de enzimas y la tecnología de gemelos digitales para la optimización del proceso de fermentación.
• CtrlS Group. Trabaja con Intel para llevar un clúster Intel Developer Cloud Gaudi de 128 nodos a clientes con sede en la India y ampliación de los servicios en la nube de CtrlS para la India con clústeres Gaudi adicionales.
• Bharti Airtel. Aprovechando el poder de la tecnología de vanguardia de Intel, Airtel planea aprovechar sus ricos datos de telecomunicaciones para mejorar sus capacidades de IA y turbo cargar las experiencias de sus clientes. Los despliegues estarán en línea con el compromiso de Airtel de mantenerse a la vanguardia de la innovación tecnológica y ayudar a impulsar nuevas fuentes de ingresos en un panorama digital en rápida evolución.
• Landing AI. Modelo de visión de gran escala adaptado a un dominio específico para segmentar células y detectar el cáncer.
• Roboflow. Ejecuta cargas de trabajo de producción de los modelos YOLOv5, YOLOv8, CLIP, SAM y ViT para su plataforma integral de visión por ordenador.
• Infosys. Colaboración estratégica para utilizar las soluciones de Intel technologies en Infosys Topaz, un conjunto de servicios basados en IA, soluciones y plataformas que aceleran el valor empresarial utilizando GenAI.

Intel también ha anunciado colaboraciones con Google Cloud, Thales y Cohesity para aprovechar las capacidades informáticas confidenciales de Intel en sus instancias en la nube.

Esto incluye Intel Trust Domain Extensions ( TDX), Software Guard Extensions (SGX) y el servicio de respaldo. Los clientes pueden ejecutar sus modelos y algoritmos de IA en un entorno de ejecución de confianza (TEE) y pueden aprovechar los servicios de confianza de Intel para proporcionar una verificación independiente para sus instancias de máquina virtual C3.

El ecosistema se une para desarrollar una plataforma abierta de IA empresarial

En colaboración con SAP, Oracle y otros líderes del sector, Intel ha anunciado su intención de crear una plataforma abierta para la IA empresarial.

El esfuerzo de todo el sector tiene como objetivo desarrollar sistemas GenAI abiertos y multiproveedor que ofrezcan la mejor facilidad de despliegue, rendimiento y valor de su clase, habilitados por la generación aumentada por recuperación (RAG). RAG incorpora datos estructurados y no estructurados procedentes de fuentes fiables fuera de un modelo, lo que mejora la precisión y fiabilidad de GenAI al tiempo que preserva la seguridad de los datos de propiedad.

Como pasos iniciales en este esfuerzo, Intel lanzará implementaciones de referencia para canalizaciones GenAI, publicará un marco conceptual técnico y continuará añadiendo capacidad de infraestructura en Intel Developer Cloud para el desarrollo del ecosistema y la validación de RAG y futuras canalizaciones. Intel exhorta a una mayor participación del ecosistema para unir fuerzas en este esfuerzo abierto para facilitar la adopción empresarial y los resultados de negocio.

La nueva hoja de ruta para la IA y el enfoque de ecosistema abierto

Además del acelerador Intel Gaudi 3, Intel proporcionó actualizaciones sobre sus productos y servicios de próxima generación en todos los segmentos de la IA empresarial.

Nuevos procesadores Intel Xeon 6. Los procesadores Intel Xeon ofrecen una solución de rendimiento eficiente para ejecutar las soluciones GenAI actuales, incluyendo RAG, que producen resultados específicos de negocio utilizando datos propios. Intel presentó la nueva marca para sus procesadores de próxima generación para centros de datos, nube y periferia: Intel Xeon 6. Lanzados en el segundo trimestre de 2024, los procesadores Xeon 6 con los nuevos núcleos Efficient-core (E-core) y Performance-core (P-core) ofrecerán una eficiencia excepcional y un mayor rendimiento de IA.

• Procesadores Intel Xeon 6 con E-cores (antes denominados Sierra Forest):
  • 2.4 veces más rendimiento por vatio y 2,7 veces más densidad de rack en comparación con los procesadores Intel Xeon de 2ª generación.
  • Los clientes pueden sustituir los sistemas antiguos en una proporción de casi 3 a 1, lo que reduce drásticamente el consumo de energía y ayuda a cumplir los objetivos de sostenibilidad.
• Procesadores Intel Xeon 6 con P-cores (antes denominados Granite Rapids):
  • Incorpora soporte de software para el formato de datos MXFP4, que mejora el rendimiento de la inferencia hasta 2,5 veces con respecto a BF16, con capacidad para ejecutar modelos Llama-2 de 70 billones de parámetros.7

Clientes, Edge y conectividad: Intel anunció el impulso para el cliente y las actualizaciones de su hoja de ruta para el Edge y la conectividad:

• Los procesadores Intel Core Ultra están impulsando nuevas capacidades de productividad, seguridad y creación de contenidos, lo que supone una gran motivación para que las empresas renueven sus flotas de PC.
• Esperamos comercializar 40 millones de PC con inteligencia artificial en 2024, con más de 230 diseños, desde PC ultradelgados hasta dispositivos portátiles para juegos.