Jayu

תיאור

Jayu הוא עוזר אישי מהפכני שמשתלב בצורה חלקה בין היכולות של Gemini לבין אינטראקציה במסך. Jayu משתמשת ב-Gemini כדי לספק חוויית משתמש ממוקדת, לכל המשתמשים, החל ממשתמשים בעלי ידע טכני ועד למשתמשים עם ידע טכני מוגבל. אין קונטיינר של Docker, אין ממשק מורכב ואין LLM או VLM אחרים מלבד Gemini. כדי לשפר את נוחות השימוש, הטלפון כולל יכולות מובנות של המרת דיבור לטקסט, המרת טקסט לדיבור וזיהוי תנועות.

היתרון של Jayu הוא היכולת הייחודית שלו לענות להנחיות על סמך המסך כרקע, וליצור אינטראקציה עם רכיבים במסך. Jayu יכול לעשות הכל, החל מכתיבת קוד על סמך תרשים ועד לאינטראקציה ישירה עם אפליקציות ולקריאת תרגומים בשידור חי.

מודל Flash משמש כמרכז הבקרה. אחרי שהוא מקבל הוראות מהמשתמש, המודל קורא למודלים אחרים של Gemini כדי לקבל עזרה במשימה שלו, אם צריך. באמצעות תכנון של הנחיות, מודלים של Flash מקיימים אינטראקציה ישירה עם Chrome ומשיבים על שאלות מהירות, בעוד שמודלים של Pro מאומנים להשתמש ביכולות החזותיות החזקות של Gemini כדי לנתח חלונות של אפליקציות. יכולות זיהוי האובייקטים של Gemini מאפשרות ל-Jayu ללחוץ על לחצנים שהוא רואה במסך.

אנחנו מבינים את סיכוני האבטחה שקשורים לגישה למסך או לקבצים שלכם. ל-Jayu אין גישה לתיקיות או לאפליקציות שלא מוצגות לו. Jayu יביט במסך רק אם תתבקשו לעשות זאת ישירות. בנוסף, Jayu לא שומר זיכרונות או יומנים של תמונות או הקלטות.