Guide de détection des points de repère de position pour Android

La tâche MediaPipe Pose Landmarker vous permet de détecter les points de repère des corps humains dans une image ou une vidéo. Vous pouvez utiliser cette tâche pour identifier les principaux points du corps, analyser la posture et catégoriser les mouvements. Cette tâche utilise des modèles de machine learning (ML) qui fonctionnent avec des images ou des vidéos uniques. La tâche génère des repères de position du corps en coordonnées d'image et en coordonnées mondiales tridimensionnelles.

L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'une application de repère de pose pour Android. L'exemple utilise la caméra d'un appareil Android physique pour détecter les poses dans un flux vidéo continu. L'application peut également détecter les poses dans les images et les vidéos de la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer lorsque vous modifiez une application existante. L'exemple de code de Pose Landmarker est hébergé sur GitHub.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code:

1. Clonez le dépôt Git à l'aide de la commande suivante:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Vous pouvez éventuellement configurer votre instance git pour utiliser un "checkout sparse" afin de n'avoir que les fichiers de l'application exemple Pose Landmarker:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/pose_landmarker/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.

Composants clés

Les fichiers suivants contiennent le code essentiel de cet exemple d'application de repère de pose:

• PoseLandmarkerHelper.kt : initialise le repère de position et gère le modèle et la sélection du délégué.
• CameraFragment.kt : gère l'appareil photo de l'appareil et traite les données d'entrée d'image et de vidéo.
• GalleryFragment.kt : interagit avec OverlayView pour afficher l'image ou la vidéo de sortie.
• OverlayView.kt : implémente l'affichage des poses détectées.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement et vos projets de code spécifiquement pour utiliser Pose Landmarker. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour utiliser les tâches MediaPipe, y compris les exigences concernant la version de la plate-forme, consultez le guide de configuration pour Android.

Dépendances

La tâche Pose Landmarker utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajoutez cette dépendance au fichier build.gradle de votre application Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche de repère de pose MediaPipe nécessite un bundle de modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Pose Landmarker, consultez la section Modèles de la présentation de la tâche.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Spécifiez le chemin d'accès au modèle dans le paramètre ModelAssetPath. Dans l'exemple de code, le modèle est défini dans le fichier PoseLandmarkerHelper.kt:

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

Créer la tâche

La tâche MediaPipe Pose Landmarker utilise la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions() accepte des valeurs pour les options de configuration. Pour en savoir plus sur les options de configuration, consultez la section Options de configuration.

Le repère de pose est compatible avec les types de données d'entrée suivants: images fixes, fichiers vidéo et flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant au type de données d'entrée lorsque vous créez la tâche. Sélectionnez l'onglet correspondant à votre type de données d'entrée pour découvrir comment créer la tâche.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

L'implémentation de l'exemple de code du repère de position permet à l'utilisateur de basculer entre les modes de traitement. Cette approche rend le code de création de tâche plus complexe et n'est peut-être pas adaptée à votre cas d'utilisation. Vous pouvez voir ce code dans la fonction setupPoseLandmarker() du fichier PoseLandmarkerHelper.kt.

Options de configuration

Cette tâche propose les options de configuration suivantes pour les applications Android:

Préparer les données

Pose Landmarker fonctionne avec les images, les fichiers vidéo et les diffusions vidéo en direct. La tâche gère le prétraitement de l'entrée des données, y compris le redimensionnement, la rotation et la normalisation des valeurs.

Le code suivant montre comment transmettre des données pour traitement. Ces exemples incluent des informations sur la gestion des données issues d'images, de fichiers vidéo et de flux vidéo en direct.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Dans l'exemple de code du repère de position, la préparation des données est gérée dans le fichier PoseLandmarkerHelper.kt.

Exécuter la tâche

En fonction du type de données avec lequel vous travaillez, utilisez la méthode poseLandmarker.detect...() spécifique à ce type de données. Utilisez detect() pour les images individuelles, detectForVideo() pour les images dans les fichiers vidéo et detectAsync() pour les flux vidéo. Lorsque vous effectuez des détections sur un flux vidéo, assurez-vous d'exécuter les détections sur un thread distinct pour éviter de bloquer le thread d'interposition de l'utilisateur.

Les exemples de code suivants montrent comment exécuter Pose Landmarker dans ces différents modes de données:

val result = poseLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)
    

Veuillez noter les points suivants :

• Lorsque vous exécutez le mode vidéo ou le mode diffusion en direct, vous devez fournir le code temporel du frame d'entrée à la tâche de repère de pose.
• Lorsqu'elle s'exécute en mode image ou vidéo, la tâche de repère de pose bloque le thread actuel jusqu'à ce qu'elle ait terminé de traiter l'image ou le frame d'entrée. Pour éviter de bloquer l'interposition de l'utilisateur, exécutez le traitement dans un thread en arrière-plan.
• Lorsqu'elle s'exécute en mode diffusion en direct, la tâche Pose Landmarker renvoie immédiatement et ne bloque pas le thread en cours. Il appelle l'écouteur de résultats avec le résultat de la détection chaque fois qu'il a terminé le traitement d'un frame d'entrée.

Dans l'exemple de code de Pose Landmarker, les fonctions detect, detectForVideo et detectAsync sont définies dans le fichier PoseLandmarkerHelper.kt.

Gérer et afficher les résultats

Le repère de position renvoie un objet poseLandmarkerResult pour chaque exécution de détection. L'objet résultat contient les coordonnées de chaque repère de la pose.

Voici un exemple des données de sortie de cette tâche:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

La sortie contient à la fois des coordonnées normalisées (Landmarks) et des coordonnées mondiales (WorldLandmarks) pour chaque repère.

La sortie contient les coordonnées normalisées (Landmarks) suivantes :

• x et y: coordonnées des repères normalisées entre 0,0 et 1,0 en fonction de la largeur (x) et de la hauteur (y) de l'image.

• z: profondeur du repère, avec la profondeur au milieu des hanches comme origine. Plus la valeur est faible, plus le repère est proche de la caméra. L'ampleur de z utilise à peu près la même échelle que x.

• visibility: probabilité que le repère soit visible dans l'image.

La sortie contient les coordonnées mondiales (WorldLandmarks) suivantes :

• x, y et z: coordonnées tridimensionnelles réelles en mètres, avec le milieu des hanches comme origine.

• visibility: probabilité que le repère soit visible dans l'image.

L'image suivante présente une visualisation du résultat de la tâche:

Le masque de segmentation facultatif représente la probabilité que chaque pixel appartienne à une personne détectée. L'image suivante est un masque de segmentation de la sortie de la tâche:

L'exemple de code du repère de position montre comment afficher les résultats renvoyés par la tâche. Pour en savoir plus, consultez la classe OverlayView.