Están fabricadas para implementar la inferencia in situ dentro de la infraestructura de alimentación, refrigeración y racks de su centro de datos actual. Las GPU AMD Instinct en tarjetas PCIe rentables completan la cartera de computación de IA de AMD, proporcionando una gama de opciones para su empresa a medida que recorre su curva de adopción de IA única. El formato de tarjeta PCIe es una excelente opción para las empresas que necesitan más potencia de cálculo de IA de la que pueden proporcionar las CPU, pero que no están preparadas para invertir en plataformas de aceleradores de GPU dedicadas. Disponibles en sistemas refrigerados por aire con hasta ocho tarjetas aceleradoras, las tarjetas PCIe AMD Instinct MI350P son ideales para modelos de IA pequeños, medianos y grandes destinados a la inferencia y a los flujos de trabajo RAG.
Las tarjetas PCIe AMD Instinct MI350P están diseñadas para ofrecer un rendimiento de IA excepcional con una excelente relación coste-rendimiento. Sus características clave ayudan a aumentar el rendimiento, simplificar la implementación y reducir los costes para que pueda pasar de la evaluación a resultados reales: Compatibilidad nativa con MXFP6 y MXFP4 de menor precisión, que ofrecen un alto rendimiento. Aceleración mediante compatibilidad con la dispersión para la mayoría de las precisiones habituales de 8 y 16 bits. Un rendimiento estimado de 2299 teraflops (TFLOPS) y hasta 4600 TFLOPS de pico en MXFP4, el mayor rendimiento disponible actualmente en una tarjeta PCIe empresarial. Unos 144 GB de memoria de alto ancho de banda 3e (HBM3E) que funciona a una velocidad de hasta 4 TB/s. Un ecosistema abierto con opciones de pila de desarrollo de bajo coste o sin coste simplifica la implementación y ayuda a reducir los gastos operativos.
Hemos creado las tarjetas PCIe AMD Instinct MI350P con estándares abiertos para la interoperabilidad entre plataformas. Su incorporación continúa nuestra estrategia de habilitar un ecosistema de IA totalmente abierto y ofrecer opciones a los clientes en entornos empresariales. Piensa en la pila de IA empresarial de AMD como un componente fundamental, que se integra a la perfección con un amplio ecosistema de software y herramientas de IA. Incluye el Kubernetes GPU Operator para la gestión completa del ciclo de vida, los microservicios de inferencia AMD nativos de la nube y compatibilidad nativa con marcos de IA como PyTorch. Todo esto te permite migrar cargas de trabajo de inferencia con cambios mínimos en el código. Proporcionamos la pila de referencia de IA empresarial de código abierto de AMD a nuestros socios sin coste de licencia. Ofrece una mayor transparencia del código y ayuda a reducir los gastos operativos. Cuando se combina con las tarjetas PCIe AMD Instinct MI350P y las soluciones proporcionadas por los socios, la pila permite a su organización ponerse en marcha rápidamente en las instalaciones sin cargos continuos por token.
aLas tarjetas PCIe AMD Instinct MI350P admiten la gama de niveles de precisión en los que más confían los modelos de IA empresarial. Mientras que los formatos de menor precisión MXFP6 y MXFP4 ofrecen un rendimiento maximizado en TFLOPS puros e implementaciones eficientes de modelos, los formatos de mayor precisión, como INT8 y BF16, se benefician de la compatibilidad con la dispersión de la GPU AMD Instinct MI350P para ofrecer un rendimiento eficiente. Independientemente de la precisión, las empresas descubrirán que las tarjetas PCIe AMD Instinct MI350P están diseñadas para ofrecer el máximo rendimiento de la GPU y un uso reducido de la memoria, lo que ayuda a disminuir las demandas de energía y refrigeración. La compatibilidad con FP8, MXFP8 y MXFP4 es una de las principales razones por las que las tarjetas PCIe AMD Instinct MI350P pueden procesar las cargas de trabajo de IA actuales en centros de datos estándar refrigerados por aire.
Con las tarjetas PCIe AMD Instinct MI350P, su empresa puede pasar rápidamente de una infraestructura bare-metal a sistemas de IA listos para la producción sobre una base sólida. Le permiten migrar cargas de trabajo sin necesidad de reescribir el código, integrarse con los flujos de trabajo de IA existentes y escalar con las cargas de trabajo en evolución. Adoptar la IA no significa reconstruir la infraestructura desde cero. Con las tarjetas PCIe AMD Instinct MI350P, las empresas pueden ejecutar más modelos y dar servicio a más usuarios dentro de sus centros de datos existentes.
