Решение Google Cloud от AI Edge для тестирования и сравнительного анализа машинного обучения (МО) на устройствах в больших масштабах.
Оптимизация производительности модели ML на различных мобильных устройствах может быть сложной задачей. Ручное тестирование медленное, дорогостоящее и часто недоступное для большинства разработчиков, что приводит к неопределенности в производительности модели в реальном мире. Google AI Edge Portal решает эту проблему, позволяя проводить бенчмаркинг модели LiteRT на широком спектре мобильных устройств , помогая разработчикам находить наилучшие конфигурации для крупномасштабного развертывания модели ML.
Оптимизация мобильного развертывания ML
Упростите и ускорьте циклы тестирования на разнообразном оборудовании : легко оценивайте производительность моделей на сотнях репрезентативных мобильных устройств за считанные минуты.
Проактивно гарантируйте качество модели и выявляйте проблемы на ранних этапах : выявляйте отклонения или ухудшения производительности, характерные для оборудования (например, на определенных чипсетах или устройствах с ограниченным объемом памяти), до развертывания.
Снижение затрат на тестирование устройств и доступ к новейшему оборудованию : тестирование на разнообразном и постоянно растущем парке физических устройств (в настоящее время более 100 моделей устройств от различных производителей Android) без затрат и сложностей, связанных с содержанием собственной лаборатории.
Принимайте эффективные решения на основе данных и используйте бизнес-аналитику : Google AI Edge Portal предоставляет подробные данные о производительности и сравнения, предоставляя важную бизнес-аналитику, необходимую для уверенного управления оптимизацией модели и проверки готовности к развертыванию.
Пример эталона:
Как Google AI Edge Portal помогает вам проводить сравнительный анализ моделей LiteRT
Загрузка и настройка : загрузите файл модели через пользовательский интерфейс или укажите его в своем хранилище Google Cloud Storage.
Выберите ускорители : укажите тестирование на CPU или GPU (с автоматическим переходом на CPU). Поддержка NPU запланирована на будущие выпуски.
Выберите устройства : выберите целевые устройства из нашего разнообразного пула с помощью фильтров (уровень устройства, марка, чипсет, оперативная память) или выберите специально подобранные списки с удобными сочетаниями клавиш.
Создайте новое задание по тестированию производительности на 100+ устройствах. (Примечание: GIF-файл ускорен и отредактирован для краткости)
Оттуда отправьте свою работу и ждите завершения. Когда будете готовы, изучите результаты на интерактивной панели:
Сравните конфигурации : быстро визуализируйте, как показатели производительности (например, средняя задержка, пиковый объем памяти) различаются при использовании разных ускорителей на всех протестированных устройствах.
Анализируйте влияние устройства : Посмотрите, как конкретная конфигурация модели работает в диапазоне выбранных устройств. Используйте гистограммы и диаграммы рассеяния для быстрого определения изменений производительности, связанных с характеристиками устройства.
Подробные метрики : получите доступ к подробной сортируемой таблице, в которой отображаются конкретные метрики (время инициализации, задержка вывода, использование памяти) для каждого отдельного устройства, а также его аппаратные характеристики.
Просмотрите результаты сравнительного анализа на интерактивной панели. (Примечание: GIF-файл ускорен и отредактирован для краткости)
Присоединяйтесь к частному предварительному просмотру Portal Portal Portal Google AI
Google AI Edge Portal доступен в закрытом предварительном просмотре для клиентов Google Cloud, включенных в список разрешенных. В течение этого периода закрытого предварительного просмотра доступ предоставляется бесплатно в соответствии с условиями предварительного просмотра.
Этот предварительный просмотр идеально подходит для разработчиков и команд, создающих мобильные приложения ML с LiteRT, которым нужны надежные данные бенчмаркинга на разнообразном оборудовании Android и которые готовы предоставить обратную связь, чтобы помочь сформировать будущее продукта. Чтобы запросить доступ, заполните нашу регистрационную форму здесь, чтобы выразить заинтересованность. Доступ предоставляется через список разрешенных.