InstaLILY: wyszukiwarka dla firm oparta na Gemini

Agenci AI klasy korporacyjnej, którzy automatyzują złożone przepływy pracy, takie jak sprzedaż B2B czy konserwacja przemysłowa, wymagają modeli wytrenowanych na ogromnych ilościach wysokiej jakości danych z określonej dziedziny. Dla wielu firm tworzenie takich danych jest głównym problemem, ponieważ ręczne etykietowanie jest powolne i kosztowne, a ogólne modele mogą nie mieć niezbędnych niuansów.

InstaLILY AI to platforma dla przedsiębiorstw, która umożliwia tworzenie autonomicznych i wertykalnych agentów AI. Pomaga firmom automatyzować i wdrażać złożone przepływy pracy w zakresie sprzedaży, obsługi i operacji. Dla jednego z klientów, firmy PartsTown, musieli stworzyć wyszukiwarkę w czasie rzeczywistym dla agentów AI, aby natychmiast dopasowywać techników serwisu do konkretnych części zamiennych z katalogu zawierającego ponad 5 milionów pozycji. Wymagało to skalowalnego sposobu generowania milionów etykiet wysokiej jakości na potrzeby trenowania modelu.

Aby rozwiązać ten problem, InstaLILY AI opracowała wieloetapowy potok generowania danych syntetycznych. Potok korzysta z architektury nauczyciel–uczeń, w której Gemini 2.5 Pro pełni rolę modelu „nauczyciela” generującego dane treningowe o najwyższej jakości, a dostrojony model Gemma pełni rolę „ucznia”, co umożliwia skalowalne i niedrogie wdrożenie produkcyjne.

Podstawą wyszukiwarki części jest model trafności, który łączy zapytanie technika serwisu (np. „sprężarka do lodówki Northland”) do dokładnego numeru części. Wytrenowanie tego modelu wymagało ogromnego zbioru danych zawierającego pary zapytań.

W przypadku tradycyjnych metod InstaLILY AI napotkała kilka problemów:

• Skalowalność: ręczne oznaczanie milionów wierszy zleceń nie było możliwe.
• Koszt i jakość: użycie innych modeli granicznych do etykietowania było 3 razy droższe i dało o 15% niższy współczynnik zgodności w porównaniu z ostatecznym rozwiązaniem.
• Wydajność: wyszukiwanie oparte na LLM na żywo byłoby zbyt wolne. Wstępne testy wykazały 2-minutowe opóźnienie. Nie byłoby też w stanie obsłużyć wymaganych w produkcji ponad 500 zapytań na sekundę.

Potrzebowali systemu, który mógłby generować wysokiej jakości dane w opłacalny sposób, co pozwoliłoby na szybkie i dokładne utworzenie ostatecznego modelu.

InstaLILY AI opracowała 3-etapowy proces, który wykorzystuje zaawansowane wnioskowanie modelu Gemini 2.5 Pro do tworzenia wysokiej jakości etykiet, a następnie przekształca tę wiedzę w mniejsze, bardziej wydajne modele do zastosowań produkcyjnych.

Potok działa w ten sposób:

• Generowanie danych syntetycznych (model nauczycielski): Gemini 2.5 Pro generuje etykiety o najwyższej jakości dla par zapytań. Aby osiągnąć wysoką dokładność, InstaLILY AI wykorzystuje rozumowanie wieloperspektywiczne (Multi-CoT), które polega na analizowaniu części z wielu perspektyw, w tym marki, kategorii, specyfikacji i złożonej logiki biznesowej pod kątem zgodności. W przypadku zbioru testowego, w którym nie było informacji o tym, czy dane są prawdziwe, czy nie, ta metoda osiągnęła 94% zgodności z opiniami ekspertów.
• Trenowanie modelu dla uczniów: wysokiej jakości etykiety z Gemini 2.5 Pro są używane do dostrajania modelu Gemma-7B. InstaLILY AI zastosowała kilka technik optymalizacji modelu ucznia, w tym optymalizację bezpośrednich preferencji (DPO), która zmniejszyła liczbę fałszywych alarmów o 40%. Stworzyli też zespół 3 dostrojonych wariantów modelu Gemma, które głosują na każdą próbkę, zwiększając precyzję etykiet do 96%.
• Wdrożenie w wersji produkcyjnej: wiedza z modeli Gemma jest przekształcana w uproszczony model BERT (110 milionów parametrów) na potrzeby końcowego środowiska produkcyjnego. Ten mniejszy model zachowuje dokładność na poziomie 89% w przypadku wyniku F1, a jednocześnie obsługuje żądania z częstotliwością 600 zapytań na sekundę.

„Bez etykietowania w formie łańcucha myśli przez duże modele językowe, które pomogło nam w rozruchu naszego modelu destylowanego, musielibyśmy ręcznie oznaczyć ogromną ilość danych” – powiedział zespół InstaLILY AI. „Gemini znacznie przyspieszył przygotowywanie danych i pozwolił nam przenieść setki godzin pracy inżynierów na bardziej efektywne zadania, takie jak dostrajanie i orkiestracja”.

Architektura nauczyciel–uczeń znacznie poprawiła szybkość, koszt i dokładność.

Ostateczny system:

• Skrócenie czasu oczekiwania na zapytanie: z 2 minut do 0,2 sekundy (poprawa o 99,8%).
• Obniżenie kosztów wyświetlania: z 0,12 USD do 0,002 USD za 1000 zapytań (obniżka o 98,3%).
• Wysoka dokładność: wynik F1 na poziomie około 90% w przypadku zbioru danych testowych.

Przyspieszono też proces tworzenia. Zespół stworzył prototyp w 48 godzin, a gotową do wdrożenia potokową metodę przetwarzania w 4 tygodnie. Szacuje, że bez ekosystemu Gemini i Gemma zajęłoby to 3–4 miesiące.

„Udział w Google Accelerator otworzył nam drogę do tego podejścia” – powiedział Amit Shah, założyciel i dyrektor generalny InstaLILY. „Praktyczna pomoc techniczna, wcześniejszy dostęp do Gemini i Gemma oraz hojne środki na chmurę pomogły nam przejść od prototypu do produkcji w ciągu kilku tygodni, a nie miesięcy”.

Firma InstaLILY AI planuje rozszerzyć możliwości swoich agentów AI, wprowadzając funkcje multimodalne Gemini. Dzięki temu technicy mogą przesyłać zdjęcie uszkodzonego urządzenia, aby ułatwić diagnozę. Tworzą też usługę ciągłego aktywnego uczenia się, która oznacza zapytania na żywo o niskim poziomie ufności, kieruje je do Gemini w celu dodania adnotacji i co tydzień ponownie trenuje modele produkcyjne.

Sukces wyszukiwarki InstaLILY AI dla agentów AI pokazuje, jak architektura nauczyciel-uczeń, łącząca moc wnioskowania modelu Gemini 2.5 Pro z wydajnością dostrojonych modeli Gemma, może rozwiązywać złożone problemy z generowaniem danych i umożliwiać tworzenie wydajnych i skalowalnych aplikacji AI.

Aby zacząć tworzyć rozwiązania z użyciem modeli Gemini i Gemma, zapoznaj się z naszą dokumentacją interfejsu API.