Advantech presenta el servidor Edge AI para IA generativa, con la tecnología patentada aiDAPTIV+ de Phison. El servidor Edge AI AIR-520, impulsado por un procesador AMD EPYC serie 7003, integra SSDs SQ ai100 AI, tarjetas GPU NVIDIA RTX, un SDK Edge AI y NVIDIA AI Enterprise de forma que proporciona una solución lista para implantar.

Las herramientas de IA generativa, como los modelos de lenguaje de gran tamaño (Large Language Models, LLM), están transformando la gestión del conocimiento empresarial, al automatizar la organización, la recuperación y el análisis de datos, de forma que se potencia la productividad y se mejora el proceso de toma de decisiones. Los LLM personalizados mejoran la precisión, mientras que el entrenamiento en el perímetro aumenta la privacidad de los datos. Esta solución admite el ajuste fino de LLM con entre 1 y 4 tarjetas GPU y SSD de IA SQ ai100, lo que permite a las empresas entrenar LLM de forma rentable, a la vez que mantienen la seguridad de los datos confidenciales en el perímetro.

Advantech ofrece cuatro opciones: AIR-520-L13B/L33B/L70B y L70B-Plus, adaptados a diferentes escalas y aplicaciones. El L13B es ideal para aplicaciones en tiempo real, como chatbots y traducción de idiomas. El L33B está más enfocado a tareas más complejas, como la mejora de la productividad y la innovación en la creación de contenidos. El L70B destaca en el análisis sofisticado de datos y la toma de decisiones en ámbitos especializados. Además, el L70B-Plus, equipado con la Plataforma de software NVIDIA AI Enterprise ofrece SDK de IA completos, fiables y optimizados con soporte a largo plazo y servicios de consultoría experta, lo que garantiza la implementación eficiente de las aplicaciones empresariales.

Todas las versiones incluyen unidades SSD SQ ai100 AI, basadas en la tecnología aiDAPTIV+ de Phison. Estas unidades SSD actúan como extensión de la vRAM de la GPU , lo que permite al sistema ajustar con precisión los LLM con un mínimo de tarjetas GPU. El servidor Edge AI AIR-520 ha sido diseñado para su uso en una amplia gama de aplicaciones Edge AI. Su tamaño es comparable al de un PC de sobremesa y se puede montar en bastidor con los accesorios adecuados. Su bajo perfil permite desplegar un entorno de perfeccionamiento de IA en el perímetro.

Además de las capacidades de ajuste de LLM, Advantech proporciona un SDK de Edge AI con GenAI Training Studio, precargado con modelos Llama-2 13B/33B/70B para aplicaciones como chatbots y análisis de datos. Esto simplifica y acelera el entrenamiento del modelo LLM específico del cliente y la evaluación de la inferencia en el AIR-520. Además, DeviceOn de Advantech proporciona actualizaciones OTA de software/contenedores y gestión remota, lo que facilita la orquestación eficiente de la IA de perímetro y el mantenimiento a largo plazo.

Más información