华为推出了一款名为 UCM 的 AI 推理记忆数据管理器,并与中国银联合作,将其在金融场景中落地应用。
这项技术包含三大组件,分别是推理引擎插件、功能库和存取适配器,通过框架、算力与存储的协同配合来提升运行效率。在银联的 “客户之声” 业务中,借助该技术,大模型的推理速度提升了 125 倍,能在 10 秒内精准识别客户的问题。
华为宣布将在 9 月正式开源 UCM,以此推动 AI 推理生态的发展。

.
.
.
.
.
.
.
.

华为推出了一款名为 UCM 的 AI 推理记忆数据管理器,并与中国银联合作,将其在金融场景中落地应用。
这项技术包含三大组件,分别是推理引擎插件、功能库和存取适配器,通过框架、算力与存储的协同配合来提升运行效率。在银联的 “客户之声” 业务中,借助该技术,大模型的推理速度提升了 125 倍,能在 10 秒内精准识别客户的问题。
华为宣布将在 9 月正式开源 UCM,以此推动 AI 推理生态的发展。
.
.
.
.
.
.
.
.