Najlepsze wykorzystanie aplikacji ARCore
Everies
Skanuj otaczające Cię obiekty i przekształcaj je w niezwykłe, zabawne i interaktywne postacie.
Działanie
Dzięki aplikacji everies, która korzysta z technologii Gemini, obiekty wokół Ciebie ożywają dzięki unikalnym, zabawnym i interaktywnym postaciom „everies”. Wystarczy zeskanować aparatem obiekty w okolicy, a na ich powierzchni pojawią się oczy.
Kliknięcie oczu powoduje wygenerowanie postaci z wyrazistą osobowością, wyglądem, dialogiem i głosem, które są dopasowane do konkretnego obiektu, środowiska i kontekstu. Możesz też kliknąć dowolny obiekt i wygenerować postać Everies, nawet jeśli oko nie jest widoczne.
Każda postać może prowadzić ciągłą rozmowę dzięki Twojemu głosowemu wejściu, co zwiększa interaktywność. Możesz też zapisać ulubione everies i wyjątkowe sceny.
Wyjątkowa funkcja everies polegająca na przekształcaniu „wszystkiego” w interaktywne, zabawne postaci jest wyróżniającą cechą technologii LLM, która upraszcza korzystanie z aplikacji i czyni ją bardziej przyjazną dla użytkownika. Proces jest zautomatyzowany dzięki interfejsowi Gemini API, który umożliwia wykrywanie obiektów za pomocą TensorFlow Lite i generowanie znaków za pomocą plików JSON. Pozycja oczu jest określana przy wysokiej liczbie klatek na sekundę za pomocą wykrywania obiektów na urządzeniu w połączeniu z rozwiązaniem AR. ARCore ustala pozycję oczu i twarzy postaci, a wykrywanie z wysoką częstotliwością klatek i wielomodalny LLM (Gemini) zapewniają szybkie odpowiedzi i wysoką jakość.
Obecnie funkcja everies jest w wersji beta, co oznacza, że jest to wersja koncepcyjna. Planujemy oficjalne wydanie z kolejnoscią aktualizacji, w tym z funkcjami umożliwiającymi prowadzenie ciągłych rozmów z ulubionymi postaciami i nagrywanie filmów.
Utworzone za pomocą
- Android
- ARCore
- TensorFlow Lite
- Model EfficientDet do wykrywania obiektów
Zespół
Autor:
Zdjęcia zespołu
Od
Japonia