Các mô hình Gemini có thể xử lý hình ảnh và video, cho phép nhiều trường hợp sử dụng của nhà phát triển tiên phong mà trước đây cần có các mô hình dành riêng cho miền. Một số tính năng thị giác của Gemini bao gồm khả năng:
- Chú thích và trả lời các câu hỏi về hình ảnh
- Chuyển văn bản và suy luận trên tệp PDF, bao gồm tối đa 2 triệu mã thông báo
- Mô tả, phân đoạn và trích xuất thông tin từ video dài tối đa 90 phút
- Phát hiện các đối tượng trong hình ảnh và trả về toạ độ hộp giới hạn cho các đối tượng đó
Gemini được xây dựng từ đầu để trở thành mô hình đa phương thức và chúng tôi tiếp tục đẩy mạnh ranh giới của những điều có thể.
Bước tiếp theo
Hướng dẫn này cho biết cách tải tệp hình ảnh và video lên bằng File API, sau đó tạo đầu ra văn bản từ dữ liệu đầu vào hình ảnh và video. Để tìm hiểu thêm, hãy xem các tài nguyên sau:
- Chiến lược nhắc tệp: Gemini API hỗ trợ nhắc bằng dữ liệu văn bản, hình ảnh, âm thanh và video, còn gọi là nhắc đa phương thức.
- Hướng dẫn hệ thống: Hướng dẫn hệ thống cho phép bạn điều hướng hành vi của mô hình dựa trên các nhu cầu và trường hợp sử dụng cụ thể.
- Hướng dẫn an toàn: Đôi khi, các mô hình AI tạo sinh tạo ra kết quả không mong muốn, chẳng hạn như kết quả không chính xác, thiên vị hoặc phản cảm. Quá trình xử lý hậu kỳ và đánh giá của con người là điều cần thiết để hạn chế rủi ro gây hại từ những kết quả như vậy.