NVIDIA详细介绍了如何用Python直接在Jetson AGX Orin设备上运行AI推理,通过CUDA Deep Learning Accelerator(cuDLA)绑定。这样应用可以管理专用硬件上的推理工作负载,而不用写C++来控制运行时。
cuda.bindings.cudla模块在cuda-bindings 13.3.0中引入,提供对现有cuDLA C++ API的Python访问。它支持把GPU处理和本地DLA推理结合起来用的应用。
NVIDIA表示,DLA独立执行支持的神经网络操作,释放GPU给其他任务,也能在资源有限的设备上提高能效。
用Python跑AI推理
DLA是专用加速器,用来执行卷积、池化等神经网络操作。不像GPU那么通用,它只支持硬件支持的特定操作。
Python绑定通过Cython生成接口访问cuDLA运行时。开发者可以创建DLA设备、加载编译好的神经网络、管理内存缓冲区并提交推理任务,不用写C++代码。
在混合模式下,用CUDA流协调GPU和DLA操作。GPU做预处理,DLA做推理,GPU做后处理,可以按顺序调度。目前Python实现支持混合模式,但不支持独立DLA模式。
运行前要把训练好的模型编译成DLA支持的格式。NVIDIA用TensorRT的trtexec把ONNX模型转成独立DLA可加载文件。编译后就可以通过Python绑定执行,推理时不需要TensorRT运行时。JetPack已包含libcudla.so。
GPU性能与模型限制
NVIDIA之前报告,在Jetson Orin上某些工作负载,DLA的每瓦性能是GPU的3-5倍。理论峰值稀疏INT8在30W模式下双DLA可达90 TOPS,GPU为41 TOPS。这次技术文档没有给出用Python绑定的新对比数据。
TensorRT文档指出,不支持的层、参数限制和硬件资源限制会让某些操作无法跑在DLA上。兼容配置下可开启GPU回退。不开回退时,不支持操作会导致编译失败。
DLA不支持动态尺寸,需要最小、最大和最优尺寸一致。GPU版TensorRT支持动态形状。
硬件支持与部署要求
根据TensorRT 11.4.1文档,DLA支持Jetson AGX Orin(JetPack 7.2.2或更高),但不支持Jetson Thor或该版本的NVIDIA DriveOS。
NVIDIA也把cuDLA Python接口扩展到RTX Spark,支持Windows on Arm笔记本。该平台目前为测试版,支持的层更少,无GPU回退,批备尺寸限制为1,且需要重建引擎。
Jetson AGX Orin上DLA支持FP16和INT8;Windows on Arm使用FP16,不支持纯INT8推理。
开发者可通过cuda-bindings 13.3.0起使用该绑定。官方示例使用TensorRT 11.4.1、CUDA 13.4 Update 1和JetPack 7.2.2或更高。
常见问题(FAQ)
用Python跑DLA推理有什么好处?
不用写C++运行时代码,就能在Jetson上管理专用加速器推理,释放GPU并提升能效。
支持哪些设备?
主要是Jetson AGX Orin(JetPack 7.2.2+),以及测试中的Windows on Arm。不支持Jetson Thor。
有什么限制?
DLA不支持动态尺寸,某些层不支持,混合模式下可回退GPU。Windows on Arm版本限制更严。
