La demanda total de memoria en la infraestructura de inteligencia artificial podría aumentar en aproximadamente 625 veces, según declaraciones de Michael Dell en un evento de Bank of America. Este incremento se atribuye tanto a la expansión de la memoria por acelerador como al crecimiento en la escala de los sistemas.
Dell también menciona que la tasa de implementación de aceleradores de IA en centros de datos podría multiplicarse por 25 en el mismo periodo. Sin embargo, la capacidad máxima de memoria del chip Nvidia Vera Rubin es utilizada en estos cálculos, mientras que la mayoría de los racks individuales solo disponen de 576 GB de HBM4.
Para 2028, se anticipa que las principales empresas productoras de memoria, como SK hynix, Samsung y Micron, aumenten su capacidad de producción. No obstante, el crecimiento de la demanda de DRAM será considerablemente mayor, afectando también la disponibilidad de LPDDR5x y almacenamiento NAND flash.
Un servidor Nvidia GB200 NVL72, por ejemplo, requiere 480 GB de LDDR5X por rack, y puede alcanzar hasta 17 TB de DRAM en torres completamente equipadas. La situación de la memoria podría volverse crítica si la relación entre demanda y oferta empeora sustancialmente.