La tâche MediaPipe Pose Landmarker vous permet de détecter les points de repère du corps humain dans une image ou une vidéo. Vous pouvez utiliser cette tâche pour identifier les principales parties du corps, analyser la posture et catégoriser les mouvements. Cette tâche utilise des modèles de machine learning (ML) qui fonctionnent avec des images ou des vidéos uniques. La tâche génère des repères de pose corporelle dans les coordonnées de l'image et dans les coordonnées mondiales en trois dimensions.
Ces instructions vous expliquent comment utiliser le détecteur de points de repère de pose pour les applications Web et JavaScript. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.
Exemple de code
L'exemple de code pour Pose Landmarker fournit une implémentation complète de cette tâche en JavaScript pour votre référence. Ce code vous aide à tester cette tâche et à commencer à créer votre propre application de détection de points de repère de pose. Vous pouvez afficher, exécuter et modifier l'exemple de détecteur de points de repère de pose à l'aide de votre navigateur Web.
Configuration
Cette section décrit les étapes clés pour configurer votre environnement de développement spécifiquement pour utiliser Pose Landmarker. Pour obtenir des informations générales sur la configuration de votre environnement de développement Web et JavaScript, y compris sur les exigences concernant la version de la plate-forme, consultez le guide de configuration pour le Web.
Packages JavaScript
Le code Pose Landmarker est disponible via le package @mediapipe/tasks-vision
NPM MediaPipe. Vous pouvez trouver et télécharger ces bibliothèques en suivant les instructions du guide de configuration de la plate-forme.
Vous pouvez installer les packages requis via NPM à l'aide de la commande suivante :
npm install @mediapipe/tasks-vision
Si vous souhaitez importer le code de la tâche via un service de réseau de diffusion de contenu (CDN), ajoutez le code suivant dans la balise <head> de votre fichier HTML :
<!-- You can replace JSDeliver with another CDN if you prefer -->
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.mjs"
crossorigin="anonymous"></script>
</head>
Modèle
La tâche MediaPipe Pose Landmarker nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Pose Landmarker, consultez la section Modèles de la présentation de la tâche.
Sélectionnez et téléchargez un modèle, puis stockez-le dans le répertoire de votre projet :
<dev-project-root>/app/shared/models/
Créer la tâche
Utilisez l'une des fonctions createFrom...() de Pose Landmarker pour préparer la tâche à exécuter des inférences. Utilisez la fonction createFromModelPath() avec un chemin d'accès relatif ou absolu au fichier de modèle entraîné.
Si votre modèle est déjà chargé en mémoire, vous pouvez utiliser la méthode createFromModelBuffer().
L'exemple de code ci-dessous montre comment utiliser la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions() vous permet de personnaliser le Pose Landmarker avec des options de configuration. Pour en savoir plus sur les options de configuration, consultez Options de configuration.
Le code suivant montre comment créer et configurer la tâche avec des options personnalisées :
const vision = await FilesetResolver.forVisionTasks(
// path/to/wasm/root
"https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@latest/wasm"
);
const poseLandmarker = await poseLandmarker.createFromOptions(
vision,
{
baseOptions: {
modelAssetPath: "path/to/model"
},
runningMode: runningMode
});
Options de configuration
Cette tâche comporte les options de configuration suivantes pour les applications Web et JavaScript :
| Nom de l'option | Description | Plage de valeurs | Valeur par défaut |
|---|---|---|---|
runningMode |
Définit le mode d'exécution de la tâche. Il existe deux modes : IMAGE : mode pour les entrées d'image unique. VIDEO : mode pour les frames décodés d'une vidéo ou d'une diffusion en direct de données d'entrée, comme celles d'une caméra. |
{IMAGE, VIDEO} |
IMAGE |
numPoses |
Nombre maximal de poses pouvant être détectées par le repère de pose. | Integer > 0 |
1 |
minPoseDetectionConfidence |
Score de confiance minimal pour que la détection de pose soit considérée comme réussie. | Float [0.0,1.0] |
0.5 |
minPosePresenceConfidence |
Score de confiance minimal de la présence de la pose dans la détection des points de repère de la pose. | Float [0.0,1.0] |
0.5 |
minTrackingConfidence |
Score de confiance minimal pour que le suivi de la pose soit considéré comme réussi. | Float [0.0,1.0] |
0.5 |
outputSegmentationMasks |
Indique si Pose Landmarker génère un masque de segmentation pour la pose détectée. | Boolean |
False |
Préparer les données
Le Pose Landmarker peut détecter les poses dans des images de n'importe quel format pris en charge par le navigateur hôte. La tâche gère également le prétraitement des données d'entrée, y compris le redimensionnement, la rotation et la normalisation des valeurs. Pour identifier les poses dans les vidéos, vous pouvez utiliser l'API pour traiter rapidement une image à la fois, en utilisant le code temporel de l'image pour déterminer quand les poses se produisent dans la vidéo.
Exécuter la tâche
Le Pose Landmarker utilise les méthodes detect() (avec le mode d'exécution IMAGE) et detectForVideo() (avec le mode d'exécution VIDEO) pour déclencher les inférences. La tâche traite les données, tente de repérer les poses, puis fournit les résultats.
Les appels aux méthodes detect() et detectForVideo() de Pose Landmarker s'exécutent de manière synchrone et bloquent le thread d'interposition de l'utilisateur. Si vous détectez des poses dans les images vidéo de la caméra d'un appareil, chaque détection bloque le thread principal. Pour éviter cela, vous pouvez implémenter des Web Workers pour exécuter les méthodes detect() et detectForVideo() sur un autre thread.
Le code suivant montre comment exécuter le traitement avec le modèle de tâche :
Image
const image = document.getElementById("image") as HTMLImageElement; const poseLandmarkerResult = poseLandmarker.detect(image);
Vidéo
await poseLandmarker.setOptions({ runningMode: "VIDEO" }); let lastVideoTime = -1; function renderLoop(): void { const video = document.getElementById("video"); if (video.currentTime !== lastVideoTime) { const poseLandmarkerResult = poseLandmarker.detectForVideo(video); processResults(detections); lastVideoTime = video.currentTime; } requestAnimationFrame(() => { renderLoop(); }); }
Pour une implémentation plus complète de l'exécution d'une tâche Pose Landmarker, consultez l'exemple.
Gérer et afficher les résultats
Le Pose Landmarker renvoie un objet poseLandmarkerResult pour chaque exécution de la détection. L'objet de résultat contient les coordonnées de chaque point de repère de pose.
Voici un exemple des données de sortie de cette tâche :
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
La sortie contient à la fois les coordonnées normalisées (Landmarks) et les coordonnées mondiales (WorldLandmarks) pour chaque point de repère.
Le résultat contient les coordonnées normalisées suivantes (Landmarks) :
xety: coordonnées des points de repère normalisées entre 0,0 et 1,0 par la largeur (x) et la hauteur (y) de l'image.z: profondeur du repère, avec la profondeur au point médian des hanches comme origine. Plus la valeur est petite, plus le repère est proche de la caméra. L'ampleur de z utilise à peu près la même échelle quex.visibility: probabilité que le point de repère soit visible dans l'image.
La sortie contient les coordonnées mondiales suivantes (WorldLandmarks) :
x,yetz: coordonnées tridimensionnelles réelles en mètres, avec le point médian des hanches comme origine.visibility: probabilité que le point de repère soit visible dans l'image.
L'image suivante montre une visualisation du résultat de la tâche :
Le masque de segmentation facultatif représente la probabilité que chaque pixel appartienne à une personne détectée. L'image suivante est un masque de segmentation de la sortie de la tâche :
L'exemple de code Pose Landmarker montre comment afficher les résultats renvoyés par la tâche. Consultez l'exemple.