CXL-GPU: 全球首款实现百ns以内的低延迟CXL解决方案

在追求更高性能和更低总拥有成本（TCO）的过程中面临三大主要内存挑战。首先，当前服务器内存层次结构存在局限性。直接连接的DRAM与固态硬盘（SSD）存储之间存在三个数量级的延迟差异。当处理器直接连接的内存容量耗尽时，就必须转向SSD，导致处理器处于等待状态。这种等待，即延迟，对计算性能产生重大负面影响。

其次，多核处理器的核心数增长速度远远超过主内存通道的数量。这意味着超过一定数量的处理器核心会因缺乏足够的内存带宽而无法充分发挥效能，从而削弱了额外核心带来的优势，也就是出现了内存墙的问题。

高端GPU设计中，比如英伟达发布的HGXH200 GPU搭载了141GB的HBM3e内存，用于提升性能和处理大型数据集的能力，已经在一定程度上缓解了内存容量不足的问题。但，随着加速计算的普及，即加速器配备有自己的直接连接内存，未充分利用或被闲置的内存资源问题日益凸显。

在过去的尝试中，面对内存墙的问题，主要遇到以下四个挑战：

有限的内存带宽和容量可扩展性：传统内存系统在增加带宽和容量方面面临局限。随着数据密集型应用需求的增长，对内存资源的消耗急剧上升，但内存技术的发展却难以匹配这种快速增长的需求。这导致在处理大规模数据集时，系统因内存不足或数据交换速率慢而受到限制。

与本地内存显著的延迟差距：当引入外部或扩展内存解决方案时，它们通常具有比直接连接在CPU上的本地内存更高的访问延迟。这种延迟差影响了应用程序的响应时间和整体性能，特别是在那些对延迟敏感的应用场景下，如实时交易处理或高性能计算。

专有的系统配置和部署：早期尝试通过定制或专有解决方案来克服内存墙，这些方案往往需要特定的硬件和软件配置，导致部署复杂且不灵活。这种专属性意味着升级或维护成本高，且不能轻松地跨不同平台复用。

与流行应用软件的复杂集成：为了利用新的内存技术，软件需要进行相应的修改或优化，以便能够有效利用扩展的内存资源。然而，这种集成工作不仅技术上复杂，还可能需要大量的开发资源和时间，特别是当涉及到已经广泛使用的流行应用程序时，它们的代码库庞大且改动影响广泛。

以往尝试突破内存墙的努力受限于技术、成本和兼容性等多方面的难题，这些挑战阻碍了内存系统的高效扩展和应用性能的全面提升。

为了解决这些问题，业界正积极寻求新的技术和标准，比如Compute Express Link (CXL)，它旨在通过提供标准化的高速互连来提高内存带宽、降低延迟，并简化内存扩展的软件集成，从而有效地打破内存墙的限制。

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/zhuzongpeng/article/details/140163828