কমান্ড লাইন ইন্টারফেস (CLI) আপনাকে কোনো কোড ছাড়াই মডেলগুলো তাৎক্ষণিকভাবে পরীক্ষা করার সুযোগ দেয়।
সমর্থিত প্ল্যাটফর্মসমূহ:
- লিনাক্স
- ম্যাকওএস
- উইন্ডোজ (ডব্লিউএসএল-এর মাধ্যমে)
- রাস্পবেরি পাই
ইনস্টলেশন
পদ্ধতি ১: uv (সুপারিশকৃত)
litert-lm একটি সিস্টেম-ব্যাপী বাইনারি হিসেবে ইনস্টল করে। এর জন্য uv প্রয়োজন।
uv tool install litert-lm-nightly
পদ্ধতি ২: pip
ভার্চুয়াল পরিবেশে স্ট্যান্ডার্ড ইনস্টলেশন।
python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly
চ্যাট
HuggingFace থেকে ডাউনলোড করে মডেলটি চালান:
litert-lm run \
--from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
gemma-3n-E2B-it-int4 \
--prompt="What is the capital of France?"
ফাংশন কলিং / টুলস
আপনি প্রিসেট ব্যবহার করে টুলগুলো চালাতে পারেন। একটি preset.py ফাইল তৈরি করুন:
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
প্রিসেট দিয়ে চালান:
litert-lm run \
--from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
gemma-3n-E2B-it-int4 \
--preset=preset.py
নমুনা নির্দেশাবলী এবং ইন্টারেক্টিভ আউটপুট:
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
এখানে কী ঘটছে?
যখন আপনি এমন কোনো প্রশ্ন করেন যার জন্য বাহ্যিক তথ্যের (যেমন বর্তমান সময়) প্রয়োজন হয়, তখন মডেলটি বুঝতে পারে যে এটিকে একটি টুল কল করতে হবে।
- মডেল
tool_callনির্গত করে : মডেলটিget_current_timeফাংশনটি কল করার জন্য একটি JSON অনুরোধ আউটপুট করে। - CLI টুল এক্সিকিউট করে : LiteRT-LM CLI এই কলটি গ্রহণ করে এবং আপনার
preset.pyতে সংজ্ঞায়িত সংশ্লিষ্ট পাইথন ফাংশনটি এক্সিকিউট করে। - CLI
tool_responseপাঠায় : CLI ফলাফলটি মডেলে ফেরত পাঠায়। - মডেল চূড়ান্ত উত্তর তৈরি করে : মডেলটি ব্যবহারকারীর জন্য চূড়ান্ত উত্তর গণনা ও তৈরি করতে টুলটির প্রতিক্রিয়া ব্যবহার করে।
এই "ফাংশন কলিং" লুপটি CLI-এর মধ্যে স্বয়ংক্রিয়ভাবে ঘটে, যার ফলে আপনি কোনো জটিল অর্কেস্ট্রেশন কোড না লিখেই পাইথন সক্ষমতা দিয়ে স্থানীয় LLM-গুলিকে সমৃদ্ধ করতে পারেন।
পাইথন , সি++ এবং কোটলিন এপিআই থেকেও একই সক্ষমতা পাওয়া যায়।