Die Google Cloud-Lösung von AI Edge zum Testen und Benchmarking von On-Device-Machine Learning (ML) im großen Maßstab.
Die Leistung von ML-Modellen auf verschiedenen Mobilgeräten zu optimieren, kann eine Herausforderung sein. Manuelle Tests sind langsam, teuer und für die meisten Entwickler oft nicht zugänglich. Das führt zu Unsicherheiten bei der tatsächlichen Modellleistung. Das Google AI Edge Portal löst dieses Problem, indem es den Benchmarking von LiteRT-Modellen auf einer Vielzahl von Mobilgeräten ermöglicht. So können Entwickler die besten Konfigurationen für die Bereitstellung von ML-Modellen im großen Maßstab finden.
Bereitstellung von ML auf Mobilgeräten optimieren
Testzyklen in der vielfältigen Hardwarelandschaft vereinfachen und beschleunigen: Die Modellleistung lässt sich in wenigen Minuten auf Hunderten von repräsentativen Mobilgeräten mühelos bewerten.
Proaktiv die Modellqualität sicherstellen und Probleme frühzeitig erkennen: Hardwarespezifische Leistungsschwankungen oder -rückgänge (z. B. auf bestimmten Chipsätzen oder Geräten mit begrenztem Arbeitsspeicher) vor der Bereitstellung ermitteln.
Niedrigere Kosten für Gerätetests und Zugriff auf die neueste Hardware: Sie können auf einer vielfältigen und ständig wachsenden Flotte physischer Geräte (derzeit über 100 Gerätemodelle verschiedener Android-OEMs) testen, ohne die Kosten und Komplexität eines eigenen Labors tragen zu müssen.
Leistungsstarke, datengestützte Entscheidungen und Business Intelligence nutzen: Das Google AI Edge Portal bietet umfangreiche Leistungsdaten und Vergleiche. So erhalten Sie die wichtige Business Intelligence, die Sie für eine fundierte Modelloptimierung und die Validierung der Bereitstellungsbereitschaft benötigen.
Beispiel für einen Benchmark:
So können Sie mit dem Google AI Edge Portal Ihre LiteRT-Modelle benchmarken
Hochladen und konfigurieren: Laden Sie Ihre Modelldatei über die Benutzeroberfläche hoch oder verweisen Sie in Ihrem Google Cloud Storage-Bucket darauf.
Beschleuniger auswählen: Legen Sie fest, ob die Tests auf der CPU oder der GPU ausgeführt werden sollen (mit automatischem CPU-Fallback). Die Unterstützung von NPUs ist für zukünftige Releases geplant.
Geräte auswählen: Mithilfe von Filtern (Gerätestufe, Marke, Chipsatz, RAM) können Sie Zielgeräte aus unserem vielfältigen Pool auswählen oder kuratierte Listen mit praktischen Tastenkürzeln verwenden.
Neuen Benchmark-Job auf über 100 Geräten erstellen. Hinweis: Das GIF ist beschleunigt und wurde aus Gründen der Übersichtlichkeit bearbeitet.
Reichen Sie den Job dort ein und warten Sie auf den Abschluss. Wenn Sie bereit sind, können Sie die Ergebnisse im interaktiven Dashboard ansehen:
Konfigurationen vergleichen: Sie können sich schnell ansehen, wie sich Leistungsmesswerte (z.B. durchschnittliche Latenz, Spitzenspeicher) unterscheiden, wenn Sie verschiedene Beschleuniger auf allen getesteten Geräten verwenden.
Geräteeffekte analysieren: Sie können sich ansehen, wie sich eine bestimmte Modellkonfiguration auf die Leistung auf den ausgewählten Geräten auswirkt. Mithilfe von Histogrammen und Streudiagrammen können Sie Leistungsschwankungen, die mit Gerätemerkmalen zusammenhängen, schnell erkennen.
Detaillierte Messwerte: Hier finden Sie eine detaillierte, sortierbare Tabelle mit bestimmten Messwerten (Initialisierungszeit, Inferenzlatenz, Speichernutzung) für jedes einzelne Gerät sowie die Hardwarespezifikationen.
Benchmark-Ergebnisse im interaktiven Dashboard ansehen. Hinweis: Das GIF ist beschleunigt und wurde aus Gründen der Übersichtlichkeit bearbeitet.
Private Vorschau des Google AI Edge Portals
Das Google AI Edge Portal ist in der privaten Vorabversion für Google Cloud-Kunden auf der Zulassungsliste verfügbar. Während dieser privaten Vorschauphase ist der Zugriff kostenlos, vorbehaltlich der Vorschaubedingungen.
Diese Vorabversion eignet sich ideal für Entwickler und Teams, die mobile ML-Anwendungen mit LiteRT erstellen und zuverlässige Benchmarking-Daten für verschiedene Android-Hardware benötigen. Außerdem sind sie bereit, Feedback zu geben, um die Zukunft des Produkts mitzugestalten. Wenn Sie Zugriff anfordern möchten, füllen Sie bitte dieses Formular aus. Der Zugriff wird über eine Zulassungsliste gewährt.