Solução do Google Cloud para AI Edge para testar e comparar o machine learning (ML) no dispositivo em grande escala.
Otimizar a performance do modelo de ML em diversos dispositivos móveis pode ser um desafio. O teste manual é lento, caro e, na maioria das vezes, inacessível para a maioria dos desenvolvedores, o que gera incertezas na performance do modelo no mundo real. O Google AI Edge Portal resolve esse problema ativando o benchmarking de modelos do LiteRT em uma ampla gama de dispositivos móveis, ajudando os desenvolvedores a encontrar as melhores configurações para implantação de modelos de ML em grande escala.
Como otimizar a implantação de ML para dispositivos móveis
Simplifique e acelere os ciclos de teste em diferentes cenários de hardware: avalie a performance do modelo em centenas de dispositivos móveis representativos em minutos.
Garanta a qualidade do modelo de maneira proativa e identifique os problemas com antecedência: identifique variações ou regressões de desempenho específicas do hardware (como em chipsets específicos ou dispositivos com restrição de memória) antes da implantação.
Reduzir o custo do teste de dispositivos e acessar o hardware mais recente: teste em uma frota diversificada e em constante crescimento de dispositivos físicos (atualmente mais de 100 modelos de dispositivos de vários OEMs do Android) sem os custos e a complexidade de manter seu próprio laboratório.
Tome decisões poderosas e baseadas em dados e aproveite a inteligência empresarial: o Google AI Edge Portal fornece dados de desempenho e comparações avançados, oferecendo a inteligência empresarial essencial para orientar a otimização do modelo e validar a prontidão para implantação.
Exemplo de comparativo de mercado:
Como o Google AI Edge Portal ajuda você a comparar seus modelos do LiteRT
Fazer upload e configurar: faça upload do arquivo de modelo pela interface ou aponte para ele no bucket do Google Cloud Storage.
Selecionar aceleradores: especifique os testes em CPU ou GPU (com substituição automática de CPU). O suporte a NPU está planejado para versões futuras.
Selecionar dispositivos: escolha os dispositivos de destino do nosso conjunto diversificado usando filtros (nível do dispositivo, marca, chipset, RAM) ou selecione listas selecionadas com atalhos convenientes.
Crie um novo job de comparação em mais de 100 dispositivos. (Observação: o GIF foi acelerado e editado para ser mais breve)
Em seguida, envie seu job e aguarde a conclusão. Quando estiver tudo pronto, confira os resultados no painel interativo:
Comparar configurações: visualize rapidamente como as métricas de desempenho (por exemplo, latência média, memória máxima) são diferentes ao usar diferentes aceleradores em todos os dispositivos testados.
Analisar o impacto do dispositivo: confira o desempenho de uma configuração de modelo específica em vários dispositivos selecionados. Use histogramas e diagramas de dispersão para identificar rapidamente variações de desempenho vinculadas às características do dispositivo.
Métricas detalhadas: acesse uma tabela detalhada e classificável que mostra métricas específicas (tempo de inicialização, latência de inferência, uso de memória) para cada dispositivo individual, além das especificações de hardware.
Confira os resultados da comparação no painel interativo. (Observação: o GIF foi acelerado e editado para ser mais breve)
Participar do pré-lançamento particular do portal do Google AI Edge
O Google AI Edge Portal está disponível na prévia privada para clientes do Google Cloud na lista de permissões. Durante esse período de visualização particular, o acesso é fornecido sem cobrança, sujeito aos termos da visualização.
Essa visualização é ideal para desenvolvedores e equipes que criam aplicativos de ML para dispositivos móveis com o LiteRT e precisam de dados de comparação confiáveis em diversos hardwares Android e estão dispostos a enviar feedback para ajudar a moldar o futuro do produto. Para solicitar acesso, preencha nosso formulário de inscrição aqui para demonstrar interesse. O acesso é concedido por meio de uma lista de permissões.