Panduan segmentasi gambar interaktif untuk Android

Tugas MediaPipe Interactive Image Segmenter mengambil lokasi dalam gambar, memperkirakan batas objek di lokasi tersebut, dan menampilkan segmentasi untuk objek sebagai data gambar. Petunjuk ini menunjukkan cara menggunakan Interactive Image Segmenter dengan aplikasi Android. Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub. Untuk informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.

Contoh kode

Contoh kode MediaPipe Tasks adalah implementasi sederhana dari aplikasi Interactive Image Segmenter untuk Android. Contoh ini berfungsi dengan gambar yang dipilih dari galeri perangkat.

Anda dapat menggunakan aplikasi ini sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuknya saat mengubah aplikasi yang ada. Kode contoh Interactive Image Segmenter dihosting di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal contoh kode menggunakan alat command line git.

Untuk mendownload kode contoh:

1. Clone repositori git menggunakan perintah berikut:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Secara opsional, konfigurasikan instance git Anda untuk menggunakan checkout jarang, sehingga Anda hanya memiliki file untuk aplikasi contoh Interactive Image Segmenter:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/interactive_segmentation/android
   

Setelah membuat versi lokal kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mendapatkan petunjuk, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk aplikasi contoh segmentasi gambar ini:

• InteractiveSegmentationHelper.kt - Melakukan inisialisasi tugas Interactive Image Segmenter dan menangani pemilihan model dan delegasi.
• OverlayView.kt - Menangani dan memformat hasil segmentasi.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan project kode untuk menggunakan Interactive Image Segmenter. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Interactive Image Segmenter menggunakan library com.google.mediapipe:tasks-vision. Tambahkan dependensi ini ke file build.gradle project pengembangan aplikasi Android Anda. Impor dependensi yang diperlukan dengan kode berikut:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas MediaPipe Interactive Image Segmenter memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Interactive Image Segmenter, lihat bagian Model ringkasan tugas.

Pilih dan download model, lalu simpan dalam direktori project Anda:

<dev-project-root>/src/main/assets

Gunakan metode BaseOptions.Builder.setModelAssetPath() untuk menentukan jalur yang digunakan oleh model. Metode ini ditampilkan dalam contoh kode di bagian berikut.

Dalam kode contoh Interactive Image Segmenter, model ditentukan dalam class InteractiveSegmenterHelper.kt dalam fungsi setupInteractiveSegmenter().

Membuat tugas

Anda dapat menggunakan fungsi createFromOptions untuk membuat tugas. Fungsi createFromOptions menerima opsi konfigurasi termasuk jenis output mask. Untuk informasi selengkapnya tentang opsi konfigurasi, lihat Ringkasan Konfigurasi.

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener(exception -> {
         // Process the segmentation errors here.
    })    
    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

Untuk contoh yang lebih mendetail tentang cara menyiapkan tugas ini, lihat fungsi setupInteractiveSegmenter() class InteractiveSegmenterHelper.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Menyiapkan data

Interactive Image Segmenter berfungsi dengan gambar, dan tugas ini menangani prapemrosesan input data, termasuk pengubahan ukuran, rotasi, dan normalisasi nilai. Anda perlu mengonversi gambar input menjadi objek com.google.mediapipe.framework.image.MPImage sebelum meneruskannya ke tugas.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
MPImage mpImage = new BitmapImageBuilder(bitmap).build();

Dalam kode contoh Interactive Image Segmenter, persiapan data ditangani di class InteractiveSegmenterHelper oleh fungsi segment().

Menjalankan tugas

Panggil fungsi segment untuk menjalankan prediksi dan membuat segmen. Tugas Interactive Image Segmenter menampilkan area segmen yang diidentifikasi dalam gambar input.

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

Dalam kode contoh Interactive Image Segmenter, fungsi segment ditentukan dalam file InteractiveSegmenterHelper.kt.

Menangani dan menampilkan hasil

Setelah menjalankan inferensi, tugas Interactive Image Segmenter akan menampilkan objek ImageSegmenterResult yang berisi hasil tugas segmentasi. Konten output dapat mencakup mask kategori, mask keyakinan, atau keduanya, bergantung pada apa yang Anda tetapkan saat mengonfigurasi tugas.

Bagian berikut menjelaskan lebih lanjut data output dari tugas ini:

Masker kategori

Gambar berikut menunjukkan visualisasi output tugas untuk mask nilai kategori dengan area titik minat yang ditunjukkan. Setiap piksel adalah nilai uint8 yang menunjukkan apakah piksel merupakan bagian dari objek yang terletak di area yang diinginkan. Lingkaran hitam dan putih pada gambar kedua menunjukkan area minat yang dipilih.

Output mask kategori dan gambar asli. Gambar sumber dari set data Pascal VOC 2012.

Masker keyakinan

Output untuk mask keyakinan berisi nilai float antara [0, 1] untuk setiap saluran input gambar. Nilai yang lebih tinggi menunjukkan keyakinan yang lebih tinggi bahwa piksel gambar adalah bagian dari objek yang terletak di area minat.