এজ ডিভাইসে উচ্চ-পারফরম্যান্স সম্পন্ন ও ক্রস-প্ল্যাটফর্ম এলএলএম ডেপ্লয়মেন্ট প্রদানের জন্য ডিজাইন করা একটি প্রোডাকশন-রেডি, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক।
LiteRT-LM সহ Chrome, Chromebook Plus, এবং Pixel Watch-এ ডিভাইসেই GenAI।

LiterRT-LM কেন?

অ্যান্ড্রয়েড, আইওএস, ওয়েব এবং ডেস্কটপ জুড়ে এলএলএম স্থাপন করুন।
GPU এবং NPU ত্বরণের মাধ্যমে কর্মক্ষমতা সর্বাধিক করুন।
জনপ্রিয় LLM-এর পাশাপাশি মাল্টি-মোডালিটি (ভিশন, অডিও) এবং টুল ব্যবহারের জন্য সমর্থন।

নির্মাণ শুরু করুন

লিনাক্স, ম্যাকওএস, উইন্ডোজ এবং রাস্পবেরি পাই-তে হার্ডওয়্যার অ্যাক্সিলারেশন সহ পাইথন এপিআই।
নেটিভ অ্যান্ড্রয়েড অ্যাপ এবং JVM-ভিত্তিক ডেস্কটপ টুল।
বিশেষায়িত মেটাল সাপোর্ট সহ নেটিভ iOS এবং macOS ইন্টিগ্রেশন (Swift API গুলি শীঘ্রই আসছে)।
এক্স-প্ল্যাটফর্ম সি++ এপিআইসমূহ।

ব্লগ এবং ঘোষণা

LiteRT-LM ব্যবহার করে পরিধানযোগ্য ডিভাইস এবং ব্রাউজার-ভিত্তিক প্ল্যাটফর্মে বৃহৎ পরিসরে ল্যাঙ্গুয়েজ মডেল স্থাপন করুন।
কীভাবে FunctionGemma-কে সূক্ষ্মভাবে সমন্বয় করা যায় এবং LiteRT-LM টুলের API ব্যবহার করে ফাংশন কল করার ক্ষমতা সক্রিয় করা যায়, তা জানুন।
এজ ল্যাঙ্গুয়েজ মডেলের জন্য RAG, মাল্টিমোডালিটি এবং ফাংশন কলিং বিষয়ে সর্বশেষ তথ্য।

কমিউনিটিতে যোগদান করুন

ওপেন-সোর্স প্রকল্পে অবদান রাখুন, সমস্যা জানান এবং উদাহরণ দেখুন।
পূর্বে রূপান্তরিত মডেলগুলি ডাউনলোড করুন এবং আলোচনায় যোগ দিন।