Nexa SDK 是一个设备端推断框架，可以在任何设备上、支持任何后端运行任何模型。它可以在CPU、GPU、NPU上运行，并支持CUDA、Metal、Vulkan和Qualcomm NPU作为后端。它处理多种输入模式，包括文本📝、图像🖼️和音频🎧。该SDK包括一个与OpenAI兼容的API服务器，支持基于JSON模式的函数调用和流式传输。它支持诸如GGUF、MLX和Nexa AI自有.nexa格式等模型格式，实现跨多种平台的高效量化推断。
适合人群
- AI/ML开发者
- 软件工程师
- 产品经理
- 汽车工程师
- 物联网设备制造商
- 边缘AI工程师
- 研究人员
产品优势
- 支持多种AI模型（LLMs、多模态、ASR、TTS）
- 兼容多种设备（移动设备、PC、汽车、物联网）
- 对多种后端进行了优化（NPU、GPU、CPU），显著提高性能
- 通过设备端推断确保隐私
- 包括先进的模型压缩（NexaQuant），无精度损失
- 易于通过CLI和跨平台SDK集成
- 能够在设备上运行前沿和SOTA模型
使用注意
- 没有明确的定价信息，需要联系销售
- 集成和部署需要开发者专业知识
