最近在实时分析、ML/AI和高性能计算方面的发展推动服务器内存和带宽需求的极限。随着物联网产生大量数据、云计算和人工智能应用的普及,这一趋势预计将持续下去。
互联网带宽的尼尔森定律。图片使用的礼貌尼尔森诺曼集团
对于不断增加的带宽需求问题,已经有许多被提出的解决方案。工程师们提出的主要解决方案之一是使用数据缓冲。
什么是数据缓冲区?
简单地说,一个数据缓冲区是一种存储组件当数据从一个地方移动到另一个地方时,用来临时存储数据。
与缓存非常相似,缓冲区用于解决由于内存访问时间而导致的性能下降。具体来说,处理器的速度远远高于其附加I/O外设的速度。这是不可取的,因为大部分处理器时间都浪费在等待外设响应上了。
这就是缓冲区派上用场的地方。
DDR4 LRDIMM和DDR3 LRDIMM中的集中式和分布式缓冲区。图片由ITD和三星
缓冲区通常物理上位于RAM上,用于保存要转发到I/O设备的数据。这允许CPU在此期间继续处理请求,最终访问数据缓冲区,这比访问RAM本身要快得多。
数据缓冲区的好处
缓冲区最初的想法是为了防止从传入端口到传出传输端口的数据拥塞。因为他们的采用,缓冲区有许多用途,并提供了许多好处。这些包括:
- 通过允许一个控制器连接到多个DRAM设备来提高容量
- 通过清理系统信号完整性,提高带宽,使更高的操作数据速率
- 通过允许在发送到CPU之前使用ECC检查缓冲数据来提高可靠性
- 能够在数据进入CPU之前对数据执行逻辑操作,从而减少对CPU的需求
最近的一个例子:瑞萨的新数据缓冲区进入市场
理解数据中心应用程序中不断增长的数据缓冲区的需求和重要性,瑞萨最近发布了其最新产品。
DDR5数据缓冲区,5 db0148,为减少负载的双内联内存模块(lrdimm)提供了更高的速度和更低的延迟。事实上,瑞萨声称,基于瑞萨组件的第一代DDR5 lrdimm比运行在3200 MT/s的DDR4 lrdimm的带宽增加了35%以上。
新5DB0148图形。图片由瑞萨
有利于重负载系统,缓冲工作结合电容负载减少,数据对齐和信号恢复技术。利用这种新的缓冲区,具有大量内存通道和复杂路由拓扑的服务器主板可以以最高速度运行,即使在完全填充高密度内存时也是如此。
缓冲区可以减轻带宽需求
5DB0148已经可以用于采样,有望缓解服务器不断增加的带宽需求,并为未来几代AI/ML应用程序提供支持。
在这一点上,瑞萨数据中心业务副总裁Rami Sethi解释道:“我们的DDR5数据缓冲区对于实现高性能DRAM解决方案(如lrdimm、可选高密度模块和异构内存解决方案)至关重要,所有这些都为新一代高性能计算应用提供了能力。”