KIOXIA ha anunciado el lanzamiento de código abierto de su nueva tecnología All-in-Storage ANNS with Product Quantization (AiSAQ). El software KIOXIA AiSAQ™[1] (un novedoso algoritmo de búsqueda de "vecino más cercano aproximado" (ANNS) optimizado para unidades SSD) ofrece un rendimiento escalable para la generación de recuperación aumentada (RAG) sin colocar los datos de índice en DRAM, buscándolos directamente en la unidad SSD.

Los sistemas de IA generativa requieren importantes recursos informáticos, de memoria y de almacenamiento. Si bien cuentan con el potencial de impulsar avances transformadores en varios sectores, su implementación a menudo conlleva altos costes. RAG es una fase crítica de la IA que refina grandes modelos de lenguaje (LLM) con datos específicos de la empresa o la aplicación.

Un componente central de RAG es una base de datos vectorial que acumula y convierte datos específicos en vectores de características en la base de datos. RAG también utiliza un algoritmo ANNS, que identifica vectores que mejoran el modelo en función de la similitud entre los vectores acumulados y los vectores objetivo.

Para que RAG sea eficaz, debe recuperar rápidamente la información más relevante para una consulta. Tradicionalmente, los algoritmos ANNS se desplegaban en DRAM para lograr el rendimiento de alta velocidad necesario para estas búsquedas.

La tecnología AiSAQ™ de KIOXIA proporciona una solución ANNS escalable y eficiente para conjuntos de datos a gran escala con un uso de memoria insignificante y un cambio de índice muy rápido.

Característica de la tecnología AiSAQ™ de KIOXIA
Permite que las bases de datos a gran escala funcionen sin depender de recursos DRAM limitados, lo que mejora el rendimiento de los sistemas RAG.

Elimina la necesidad de cargar datos de índice en DRAM, lo que permite que la base de datos vectorial se inicie al instante. Esto permite la conmutación sin interrupciones entre bases de datos específicas del usuario o de la aplicación en el mismo servidor para una prestación eficiente de servicios RAG.

Optimizada para sistemas en la nube mediante el almacenamiento de índices en almacenamiento desagregado para compartirlos entre varios servidores. Este enfoque ajusta dinámicamente el rendimiento de la búsqueda en bases de datos vectoriales para usuarios o aplicaciones específicas y facilita la migración rápida de instancias de búsqueda entre servidores físicos.

"La solución AiSAQ™ de KIOXIA prepara el camino para el escalado casi infinito de las aplicaciones RAG en sistemas de IA generativa basados en unidades SSD flash en el núcleo", dijo Axel Stoermann, vicepresidente y director de tecnología de KIOXIA Europe GmbH. "Al utilizar la tecnologíoa ANNS basada en unidades SSD, reducimos la dependencia en la costosa DRAM al tiempo que satisfacemos las necesidades de rendimiento de las principales soluciones en memoria, mejorando considerablemente el rango de rendimiento de las aplicaciones RAG a gran escala"

Más información