万博manbext体育官网(中国)官方网站登录入口

你的位置:万博manbext体育官网(中国)官方网站登录入口 > 新闻资讯 > 万博manbext体育官网app官网  键值缓存无法始终存储于图形处理器(GPU)中-万博manbext体育官网(中国)官方网站登录入口
万博manbext体育官网app官网  键值缓存无法始终存储于图形处理器(GPU)中-万博manbext体育官网(中国)官方网站登录入口
发布日期:2026-10-20 06:08    点击次数:201

万博manbext体育官网app官网  键值缓存无法始终存储于图形处理器(GPU)中-万博manbext体育官网(中国)官方网站登录入口

专题:2026年度海外奢靡电子展(CES)

  摘录

英伟达BlueField-4启动英伟达推理凹凸文内存存储平台,这是一款专为千兆级推理打造的新式东说念主工智能原生计储基础门径,可助力智能体东说念主工智能的加快与膨胀。 这款全新存储处理器平台面向支抓长凹凸文处理的智能体东说念主工智能系统,具备闪电般迅捷的曲直时追想智商。 推理凹凸文内存存储平台粗略拓展东说念主工智能智能体的长效追想,并结束机柜级东说念主工智能系统集群间的高带宽凹凸文分享,使每秒令牌处理量与能效种植最高达5倍。 在英伟达Spectrum-X以太网的支抓下,多轮对话东说念主工智能智能体的膨胀凹凸文内存可种植反应速率、加多单GPU糊涂量,并助力智能体推理的高效膨胀。

 在海外奢靡类电子家具博览会(CES)上,英伟达当天晓喻:算作全栈式英伟达BlueField平台的热切构成部分,英伟达BlueField-4数据处理器将为英伟达推理凹凸文内存存储平台提供算力支抓。该存储平台是面向下一代东说念主工智能前沿规模打造的全新东说念主工智能原生计储基础门径。

  跟着东说念主工智能模子向万亿级参数与多面容推理标的演进,其产生的海量凹凸文数据需以键值(KV)缓存的体式存储——这类数据对保险模子精度、优化用户体验及结束任务齐集性至关热切。

  键值缓存无法始终存储于图形处理器(GPU)中,不然会变成多智能体系统及时推理的性能瓶颈。东说念主工智能原生期骗亟需一种新式可膨胀基础门径,用于这类数据的存储与分享。

  英伟达推理凹凸文内存存储平台通过膨胀GPU内存容量,构建起凹凸文内存撑抓架构,结束节点间的高速数据分享。相较于传统存储决议,该平台可使每秒令牌处理量种植最高5倍,能效种植最高5倍。

  英伟达首创东说念主兼首席试验官黄仁勋暗意:“东说念主工智能正在重塑总共这个词打算本领栈——如今,这场变革也蔓延至存储规模。东说念主工智能的方法已不再局限于单次交互的聊天机器东说念主,而是进化为粗略证明物理天下、进行长周期推理、锚定事实依据、借助用具试验本色任务,并同期具备短时与长效追想智商的智能蛊卦体。凭借BlueField-4,英伟达正联袂软硬件合作伙伴,为东说念主工智能的下一个前沿规模重塑存储本领栈。”

  英伟达推理凹凸文内存存储平台粗略种植键值缓存容量,加快机柜级东说念主工智能系统集群间的凹凸文分享。同期,多轮对话东说念主工智能智能体的抓久化凹凸文可优化反应速率、种植东说念主工智能工场糊涂量,并为长凹凸文、多智能体推理的高效膨胀提供支抓。

  这款由英伟达BlueField-4启动的平台,中枢智商包括:

支抓英伟达鲁宾架构的集群级键值缓存容量,可得志长凹凸文、多轮对话智能体推理所需的限制与成果条目。 比较传统存储决议,能效种植最高达5倍。 基于英伟达DOCA框架,结束东说念主工智能节点间键值缓存的智能、加快分享,并与英伟达NIXL函数库及英伟达Dynamo软件深度集成,从而最大化每秒令牌处理量、裁汰首令牌生成延迟,并种植多轮对话反应性能。 由英伟达BlueField-4处分的硬件加快键值缓存部署机制,可摒除元数据支拨、减少数据移动,并保险GPU节点对缓存的安全糟蹋拜访。 依托英伟达Spectrum-X以太网结束高效的数据分享与检索,该以太网本领可算作高性能网罗架构,为基于而已平直数据存取(RDMA)的东说念主工智能原生键值缓存拜访提供撑抓。

  日立数据系统、IBM、努塔尼克斯、普纯存储、超微电脑、VASTData及WEKA等存储规模企业,已开头基于BlueField-4打造下一代东说念主工智能存储平台。关连家具将于2026年下半年端庄面市。

海量资讯、精确解读,尽在新浪财经APP

牵累剪辑:李桐 万博manbext体育官网app官网



上一篇:万博manbext体育官网app官网Strategy以比特币行情疲软为由-万博manbext体育官网(中国)官方网站登录入口
下一篇:万博manbext体育官网app娱乐而在乌克兰境内则受到放手-万博manbext体育官网(中国)官方网站登录入口

友情链接: