LiteRT admite Qualcomm AI Engine Direct (QNN) a través de la API de CompiledModel para la compilación AOT y en el dispositivo.
Cómo configurar el entorno de desarrollo
Qualcomm AI Engine Direct tiene los siguientes requisitos de entorno de desarrollo:
- Sistema operativo: Ubuntu 22.04 LTS
- Sistema de compilación: Bazel versión 7.4.1
- Bibliotecas estándar: Libc++ y Libc++abi 16 o versiones posteriores
- Requisitos específicos de la plataforma:
- Android:
- SDK de Android: Nivel de API 34 de Android (Android 14).
- NDK de Android: Se agregó compatibilidad con el nivel de API 28 (Android 9 Pie).
- IoT: Disponible próximamente.
- Windows: Próximamente.
Puedes usar la configuración rápida del sistema con Docker para configurar las dependencias automáticamente.
Operaciones admitidas
LiteRT reduce un amplio conjunto de operaciones al backend del procesador de tensores Hexagon (HTP) de la QNN. Se admiten la compilación AOT y la compilación en el dispositivo. Consulta la lista de operaciones compatibles.
SoCs compatibles
- Plataforma móvil Snapdragon 8 Elite Gen 5 (SM8850)
- Plataforma móvil Snapdragon 8 Elite (SM8750)
- Plataforma móvil Snapdragon 8 Gen 3 (SM8650)
- Plataforma móvil Snapdragon 8 Gen 2 (SM8550)
- Plataforma móvil Snapdragon 8+ Gen 1 (SM8475)
- Plataforma móvil Snapdragon 8 Gen 1 (SM8450)
- Consulta la documentación de Qualcomm QNN HTP Backend para obtener información sobre la configuración avanzada del backend de HTP.
Próximos pasos
- Comienza con la guía de NPU unificada: Aceleración de la NPU con LiteRT
- Sigue los pasos de conversión y la implementación que se indican allí, y elige Qualcomm cuando corresponda.
- En el caso de los LLM, consulta Ejecuta LLM en la NPU con LiteRT-LM.