华为发布AI推理创新技术UCM：实现高吞吐、低时延推理体验，降低每Token推理成本
发布时间：2025-08-23 15:58:47 作者：玩站小弟 
我要评论
我要评论新浪科技讯 8月12日下午消息，在2025金融AI推理应用落地与发展论坛上，华为联合中国银联共同发布AI推理创新技术UCM推理记忆数据管理器），实现高吞吐、低时延的推理体验。在当今数字化时代，AI发展
。
新浪科技讯 8月12日下午消息，发布在2025金融AI推理应用落地与发展论坛上，推理吞吐n推华为联合中国银联共同发布AI推理创新技术UCM（推理记忆数据管理器），创新实现高吞吐、技术低时延的现高推理体验。
在当今数字化时代，低时低AI发展日新月异。延推验降大模型训练的理体理成热潮尚未消退，AI推理体验却已悄然成为AI应用的发布关键。中信建投在2025WAIC期间发布的推理吞吐n推白皮书指出，AI正从训练向推理的创新结构性转变而快速增长。在这样的技术大背景下，AI推理体验的现高重要性愈发凸显。
推理体验直接关系到用户与AI交互时的低时低感受，包括回答问题的延推验降时延、答案的准确度以及复杂上下文的推理能力等方面。资料显示，国外主流模型的单用户输出速度已进入200 Tokens/s区间（时延5ms），而我国普遍小于60Tokens/s（时延50 - 100ms），如何解决推理效率与用户体验的难题迫在眉睫。
据介绍，华为此次发布的AI推理创新技术UCM（推理记忆数据管理器），作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。
海量资讯、精准解读，尽在新浪财经APP 责任编辑：郭栩彤
相关文章
Miss Tang is my Englishteacher. She’s very pretty. She is tall and thin. Shehas two big eyes and a s2025-08-23
为庆祝2025年科隆国际游戏展开幕，育碧商城“科隆游戏展促销”主题活动于今晚21:00正式拉开帷幕。本次活动优惠将覆盖《刺客信条：影》、《极限国度》、《纪元1800》等热门IP作品，最低仅需1折即刻入2025-08-23
中新网杭州8月11日电(曹丹)一部二维动画电影能走多远？《浪浪山小妖怪》给出了答案。据猫眼专业版数据显示，截至11日19时，动画电影《浪浪山小妖怪》累计票房已突破6亿元，刷新中国影史国产二维动画电影票2025-08-23
墙面会随着使用时间的增长而出现不同程度的老化问题，比如变色褪色、粉化脱落等等，所以就需要重新翻修装修，对于有色墙面的翻新处理有一定的就技巧，那么有色墙面翻新的技巧有哪些?接下来大家和小编一起了解一下。2025-08-23- 新浪科技讯 8月22日上午消息，据媒体报道，近期，阿里灵犀互娱的汇报线已从虎鲸文娱原阿里大文娱）变更为阿里集团，最新汇报对象为阿里CFO徐宏。报道称，灵犀互娱汇报对象变更一事，从短期来看，可以认为其拥2025-08-23
中新社河南安阳8月12日电 (记者 阚力)“之前学习的甲骨文都忘了，现在回炉重造。”台湾网络博主林宛妘近日随参访团在“甲骨文之乡”河南安阳触摸文字“活化石”，从甲骨文“家”字解读两岸文化同源。连日来，2025-08-23
最新评论