Durante el año pasado, Intel, Habana Labs y Hugging Face continuaron mejorando la eficiencia y reduciendo las barreras para la adopción de inteligencia artificial (IA) a través de proyectos de código abierto, experiencias integradas para desarrolladores e investigación científica. Este trabajo resultó en avances y eficiencias clave para construir y entrenar modelos de transformadores de alta calidad.
Los modelos Transformer ofrecen un rendimiento avanzado en una amplia gama de tareas de aprendizaje automático y profundo, como el procesamiento del lenguaje natural (NLP), la visión artificial (CV), el habla y otras. El entrenamiento de estos modelos de aprendizaje profundo a escala requiere una gran cantidad de potencia informática y puede hacer que el proceso requiera mucho tiempo, sea complejo y costoso.
El enfoque del trabajo continuo de Intel con Hugging Face a través del Programa Intel Disruptor es escalar la adopción de soluciones de capacitación e inferencia optimizadas en los últimos procesadores Intel® Xeon® Scalable y Habana Gaudi® y Gaudi®2. La colaboración trae la innovación de aprendizaje profundo más avanzada de Intel AI Toolkit al ecosistema de código abierto Hugging Face e informa a los impulsores de innovación en la futura arquitectura Intel®. Los resultados de este trabajo generaron avances en el ajuste fino distribuido en las plataformas Intel Xeon, optimizaciones integradas, capacitación acelerada con Habana Gaudi y aprendizaje instantáneo.
Ajuste fino distribuido en la plataforma Intel Xeon
Cuando el entrenamiento en una CPU de un solo nodo es demasiado lento, los científicos de datos confían en el entrenamiento distribuido donde los servidores agrupados mantienen una copia del modelo, lo entrenan en un subconjunto del conjunto de datos de entrenamiento e intercambian resultados entre nodos a través de la biblioteca de comunicaciones colectivas Intel® oneAPI. para converger a un modelo final más rápido. Esta característica ahora es compatible de forma nativa con los transformadores y facilita el ajuste fino distribuido para los científicos de datos.
Un ejemplo es acelerar el entrenamiento de PyTorch para modelos de transformadores en un clúster distribuido de servidores de procesador Intel Xeon Scalable. Para aprovechar Intel® Advanced Matrix Extensions (Intel® AMX), AVX-512 e Intel Vector Neural Network Instructions (VNNI) en PyTorch, características de hardware compatibles con los últimos procesadores Intel Xeon Scalable, Intel ha diseñado la extensión Intel para PyTorch . Esta biblioteca de software proporciona aceleración lista para usar para entrenamiento e inferencia.
Además, los transformadores Hugging Face proporcionan una API de entrenador , lo que facilita comenzar a entrenar sin escribir manualmente un ciclo de entrenamiento. Trainer proporciona una API para la búsqueda de hiperparámetros y actualmente es compatible con múltiples backends de búsqueda, incluido SigOpt de Intel, un servicio de optimización de hiperparámetros alojado. Con esto, los científicos de datos pueden entrenar y obtener el mejor modelo de manera más eficiente.
Experiencia de desarrollador óptima
Optimum es una biblioteca de código abierto creada por Hugging Face para simplificar la aceleración del transformador en una gama cada vez mayor de dispositivos de entrenamiento e inferencia. Con técnicas de optimización integradas y scripts listos para usar, los principiantes pueden usar Optimum de forma inmediata y los expertos pueden seguir ajustando para obtener el máximo rendimiento.
Optimum Intel es la interfaz entre la biblioteca de transformadores y las diferentes herramientas y bibliotecas proporcionadas por Intel para acelerar las canalizaciones de un extremo a otro en las arquitecturas de Intel. Construido sobre Intel® Neural Compressor , ofrece una experiencia unificada a través de múltiples marcos de aprendizaje profundo para tecnologías de compresión de red populares, como cuantificación, poda y destilación de conocimiento. Además, los desarrolladores pueden ejecutar más fácilmente la cuantificación posterior al entrenamiento en un modelo de transformador utilizando la biblioteca Optimum Intel para comparar las métricas del modelo en los conjuntos de datos de evaluación.
Optimum Intel también proporciona una interfaz simple para optimizar los modelos de transformadores, convertirlos al formato de representación intermedia OpenVINO y ejecutar inferencias usando OpenVINO .
Formación Acelerada con Habana Gaudí
Habana Labs y Hugging Face están colaborando para que sea más fácil y rápido entrenar modelos de transformadores a gran escala y de alta calidad. La integración del paquete de software SynapseAI® de Habana con la biblioteca de código abierto Hugging Face Optimum-Habana permite a los científicos de datos y a los ingenieros de aprendizaje automático acelerar la capacitación en aprendizaje profundo de transformadores con los procesadores Habana (Gaudi y Gaudi2) con unas pocas líneas de código.
La biblioteca Optimum-Habana cuenta con soporte para una variedad de modelos multimodales, lenguaje natural y visión por computadora. Las arquitecturas modelo compatibles y probadas incluyen BERT, AlBERT, DistilBERT, RoBERTa, Vision Transformer, swin, T5, GPT2, wav2vec2 y Stable-Diffusion. Hay más de 40 000 modelos basados en estas arquitecturas que están actualmente disponibles en el hub Hugging Face que los desarrolladores pueden habilitar fácilmente en Gaudi y Gaudi2 con Optimum-Habana.
Un beneficio clave de la capacitación en la solución Habana Gaudi , que impulsa las instancias EC2 DL1 de Amazon, es la rentabilidad: ofrece una relación precio-rendimiento hasta un 40 % mejor que las soluciones de capacitación comparables, lo que permite a los clientes capacitarse más gastando menos. 2 Gaudi2, construido sobre la misma arquitectura de alta eficiencia que la primera generación de Gaudi, también promete ofrecer una excelente relación precio-rendimiento.
Habana DeepSpeed también está integrado en la biblioteca Optimum-Habana y facilita la configuración y el entrenamiento de grandes modelos lingüísticos a escala en dispositivos Gaudi mediante optimizaciones de DeepSpeed. Puede obtener más información con la guía de uso de Optimum-Habana DeepSpeed.
La última versión de Optimum-Habana incluye soporte para la canalización Stable Diffusion de la biblioteca de difusores Hugging Face, lo que permite a la comunidad de desarrolladores de Hugging Face generar una prueba a imagen rentable en Habana Gaudi.
Aprendizaje de pocas tomas en producción
Intel Labs, Hugging Face y UKP Lab presentaron recientemente SetFit , un marco eficiente para el ajuste fino de Sentence Transformers en pocas tomas . El aprendizaje de pocas oportunidades con modelos de lenguaje preentrenados ha surgido como una solución prometedora para un desafío real de los científicos de datos: manejar datos que tienen pocas o ninguna etiqueta.
Las técnicas actuales para el ajuste fino de pocas tomas requieren indicaciones o verbalizadores hechos a mano para convertir los ejemplos en un formato que sea adecuado para el modelo de lenguaje subyacente. SetFit prescinde de las indicaciones al generar incrustaciones enriquecidas directamente a partir de una pequeña cantidad de ejemplos de texto etiquetados.
Los investigadores diseñaron SetFit para usarse con cualquier Sentence Transformer en Hugging Face Hub, lo que permite clasificar el texto en varios idiomas mediante el ajuste de un punto de control multilingüe.
SetFit no requiere modelos a gran escala como T5 o GPT-3 para lograr una alta precisión. Es significativamente más eficiente en la muestra y resistente al ruido que el ajuste fino estándar. Por ejemplo, con solo ocho ejemplos etiquetados por clase en un conjunto de datos de opinión de ejemplo, SetFit fue competitivo con el ajuste fino de Roberta Large en el conjunto de capacitación completo de 3000 ejemplos. Hugging Face descubrió que SetFit también logra resultados comparables a T-Few 3B, a pesar de ser rápido y 27 veces más pequeño, lo que lo hace rápido para entrenar y a un costo mucho menor. 3
Se puede encontrar más contexto en el blog Hugging Face, » SetFit: Efficient Few-Shot Learning Without Prompts «. Regístrese aquí para escuchar directamente de Hugging Face e Intel sobre la producción de pocas tomas y la inferencia de SetFit en la CPU el 14 de diciembre.
Los proyectos de código abierto, las experiencias integradas de los desarrolladores y la investigación científica son solo algunas de las formas en que Intel se relaciona con el ecosistema y contribuye a reducir el costo de la IA. Las herramientas y el software aceleran el viaje del desarrollador para crear aplicaciones y liberar el rendimiento del procesador. Intel tiene la misión de facilitar la creación e implementación de IA en cualquier lugar, lo que permite a los científicos de datos y a los profesionales del aprendizaje automático aplicar las técnicas de optimización más recientes.