LiterRT-LM ওভারভিউ

LiteRT-LM হলো একটি উৎপাদন-উপযোগী, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক, যা এজ ডিভাইসে উচ্চ-পারফরম্যান্স সম্পন্ন ও ক্রস-প্ল্যাটফর্ম LLM ডেপ্লয়মেন্ট প্রদানের জন্য ডিজাইন করা হয়েছে।

• ক্রস-প্ল্যাটফর্ম সাপোর্ট: অ্যান্ড্রয়েড, আইওএস, ওয়েব, ডেস্কটপ এবং আইওটি (যেমন রাস্পবেরি পাই)-তে চালানো যায়।
• হার্ডওয়্যার অ্যাক্সিলারেশন: বিভিন্ন হার্ডওয়্যারে GPU এবং NPU অ্যাক্সিলারেটর ব্যবহার করে সর্বোচ্চ পারফরম্যান্স এবং সিস্টেমের স্থিতিশীলতা অর্জন করুন।
• বহুমুখী ব্যবহার: এমন এলএলএম (LLM) দিয়ে নির্মাণ করুন যেগুলিতে দৃষ্টি ও শ্রবণ সমর্থন রয়েছে।
• টুলের ব্যবহার: উন্নত নির্ভুলতার জন্য সীমাবদ্ধ ডিকোডিং সহ এজেন্টিক ওয়ার্কফ্লোতে ফাংশন কলিং সমর্থন।
• ব্যাপক মডেল সমর্থন: Gemma, Llama, Phi-4, Qwen এবং আরও অনেক কিছু চালান।

ডিভাইসে GenAI শোকেস

গুগল এআই এজ গ্যালারি হলো একটি পরীক্ষামূলক অ্যাপ, যা LiteRT-LM ব্যবহার করে সম্পূর্ণ অফলাইনে চালিত ডিভাইসের জেনারেটিভ এআই সক্ষমতা প্রদর্শনের জন্য ডিজাইন করা হয়েছে।

• গুগল প্লে : সমর্থিত অ্যান্ড্রয়েড ডিভাইসগুলিতে স্থানীয়ভাবে এলএলএম ব্যবহার করুন।
• অ্যাপ স্টোর : আপনার iOS ডিভাইসে অন-ডিভাইস এআই-এর অভিজ্ঞতা নিন।
• গিটহাব সোর্স : আপনার নিজের প্রোজেক্টে কীভাবে LiteRT-LM ইন্টিগ্রেট করবেন তা শিখতে গ্যালারি অ্যাপটির সোর্স কোড দেখুন।

বিশেষ মডেল: জেমা-৩এন-ই২বি

নির্মাণ শুরু করুন

নিম্নলিখিত কোড স্নিপেটগুলিতে দেখানো হয়েছে কীভাবে LiteRT-LM CLI এবং সেইসাথে Python, Kotlin, ও C++ API-গুলি দিয়ে কাজ শুরু করতে হয়।

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

সমর্থিত ব্যাকএন্ড এবং প্ল্যাটফর্ম

সমর্থিত মডেল

নিচের সারণিতে LiteRT-LM দ্বারা সমর্থিত মডেলগুলির তালিকা দেওয়া হলো। আরও বিস্তারিত পারফরম্যান্স তথ্য এবং মডেল কার্ডের জন্য, Hugging Face-এর LiteRT কমিউনিটিতে যান।

সমস্যা রিপোর্ট করা

আপনি যদি কোনো বাগ খুঁজে পান বা কোনো ফিচারের অনুরোধ থাকে, তাহলে LiteRT-LM GitHub Issues- এ রিপোর্ট করুন।