Panduan segmentasi gambar interaktif untuk Python

Tugas Segmenter Gambar Interaktif MediaPipe mengambil lokasi dalam gambar, memperkirakan batas objek di lokasi tersebut, dan menampilkan segmentasi untuk objek sebagai data gambar. Petunjuk ini menunjukkan cara menggunakan Interactive Image Segmenter dengan bahasa Python. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.

Contoh kode

Contoh kode untuk Interactive Image Segmenter memberikan implementasi lengkap tugas ini di Python untuk referensi Anda. Kode ini membantu Anda menguji tugas ini dan mulai membangun aplikasi segmentasi gambar interaktif Anda sendiri. Anda dapat melihat, menjalankan, dan mengedit kode contoh Interactive Image Segmenter hanya menggunakan browser web.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan project kode Anda secara khusus untuk menggunakan Interactive Image Segmenter. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Python. Anda dapat meninjau kode sumber untuk contoh ini di GitHub

Paket

Tugas MediaPipe Interactive Image Segmenter memerlukan paket mediapipe. Anda dapat menginstal dependensi yang diperlukan dengan perintah berikut:

$ python -m pip install mediapipe

Impor

Impor class berikut untuk mengakses fungsi tugas Interactive Image Segmenter:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Model

Tugas MediaPipe Interactive Image Segmenter memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Interactive Image Segmenter, lihat bagian Model ringkasan tugas.

Pilih dan download model, lalu simpan dalam direktori project Anda:

model_path = '/absolute/path/to/model.tflite'

Tentukan jalur model dalam parameter model_asset_path, seperti yang ditunjukkan di bawah:

base_options = BaseOptions(model_asset_path=model_path)

Membuat tugas

Tugas MediaPipe Interactive Image Segmenter menggunakan fungsi create_from_options untuk menyiapkan tugas. Fungsi create_from_options menerima nilai untuk opsi konfigurasi yang akan ditangani. Untuk informasi selengkapnya tentang opsi konfigurasi, lihat Opsi konfigurasi. Kode berikut menunjukkan cara mem-build dan mengonfigurasi tugas ini.

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Python:

Menyiapkan data

Siapkan input Anda sebagai file gambar atau array numpy, lalu konversikan ke objek mediapipe.Image.

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

Untuk contoh kode yang menunjukkan persiapan data untuk Interactive Image Segmenter, lihat contoh kode.

Menjalankan tugas

Interactive Image Segmenter menggunakan fungsi segment untuk memicu inferensi. Untuk segmentasi gambar, hal ini mencakup pra-pemrosesan data input, menjalankan model segmentasi, dan pasca-pemrosesan output model mentah ke mask yang tersegmentasi.

Contoh kode berikut menunjukkan cara menjalankan pemrosesan dengan model tugas.

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

Untuk contoh yang lebih lengkap tentang cara menjalankan inferensi Interactive Image Segmenter, lihat contoh kode.

Menangani dan menampilkan hasil

Hasil output untuk Interactive Image Segmenter adalah daftar data Image, dan dapat menyertakan mask kategori, mask keyakinan, atau keduanya, bergantung pada apa yang Anda tetapkan saat mengonfigurasi tugas. Jika Anda menetapkan output_category_mask ke True, outputnya adalah daftar yang berisi mask segmen tunggal sebagai gambar uint8. Nilai piksel menunjukkan apakah piksel tersebut merupakan bagian dari objek di area minat. indeks kategori yang dikenali dari gambar input. Jika Anda menetapkan output_confidence_masks ke True, output-nya adalah daftar saluran yang berisi nilai piksel dalam rentang [0,1] yang mewakili skor kepercayaan piksel yang termasuk dalam objek di area minat.

Bagian berikut menjelaskan lebih lanjut data output dari tugas ini:

Masker kategori

Gambar berikut menunjukkan visualisasi output tugas untuk mask nilai kategori dengan area titik minat yang ditunjukkan. Setiap piksel adalah nilai uint8 yang menunjukkan apakah piksel merupakan bagian dari objek yang terletak di area yang diinginkan. Lingkaran hitam dan putih pada gambar kedua menunjukkan area minat yang dipilih.

Output mask kategori dan gambar asli. Gambar sumber dari set data Pascal VOC 2012.

Masker keyakinan

Output untuk mask keyakinan berisi nilai float antara [0, 1] untuk setiap saluran input gambar. Nilai yang lebih tinggi menunjukkan keyakinan yang lebih tinggi bahwa piksel gambar adalah bagian dari objek yang terletak di area minat.