端侧大模型MiniCPMv5

首页

案例中心

AI应用

端侧大模型MiniCPMv5

功能案例官方案例

本地对话、工具调用、三句柄推理

开放度：

5级

硬件平台：

Hi3403V100

软件平台：

Linux

合作咨询

0 人赞过

更新日志

合作咨询

Hi3403端侧大模型

在Hi3403开发板部署MiniCPM5-1B，提供本地中文多轮对话与工具调用。Euler Pi实测生成速度约9.4 token/秒，已验证模型校验、文本生成及目录列举，适用于端侧智能交互原型。

技术亮点

ONNX图级串联

K/V缓存推理

流式输出

方案框架方案框架主机完成权重转换、ONNX图级串联和OM编译，板端通过PICO运行prefill、decode、head三个常驻句柄。Python应用负责分词、聊天模板、工具路由及流式交互，NPU负责模型推理。当前实测为文本模型ctx1024，视觉模型及扩展上下文需另行部署验证。

*本网站部分视觉元素采用人工智能技术生成。这些AI生成的图像遵循即梦、千问官网相关用户协议。我们致力于确保所有使用的AI内容均符合法律法规及许可要求。

HiSpark生态