La tâche MediaPipe Audio Classifier vous permet d'effectuer une classification sur des données audio. Vous pouvez l'utiliser pour identifier des événements sonores à partir d'un ensemble de catégories entraînées. Ces instructions vous expliquent comment utiliser Audio Classifier pour les applications Web et Node.
Pour voir cette tâche en action, regardez la démo. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.
Exemple de code
L'exemple de code pour Audio Classifier fournit une implémentation complète de cette tâche en JavaScript à titre de référence. Ce code vous aide à tester cette tâche et à commencer à créer votre propre application de classification audio. Vous pouvez afficher, exécuter, et modifier l'exemple Audio Classifier à l'aide de votre navigateur Web.
Configuration
Cette section décrit les étapes clés pour configurer votre environnement de développement et vos projets de code spécifiquement pour utiliser Audio Classifier. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour utiliser les tâches MediaPipe, y compris les exigences concernant la version de la plate-forme, consultez le guide de configuration pour le Web.
Packages JavaScript
Le code Audio Classifier est disponible via le package NPM MediaPipe @mediapipe/tasks-audio
NPM. Vous pouvez
trouver et télécharger ces bibliothèques à partir des liens fournis dans le guide de configuration de la plate-forme
Setup.
Vous pouvez installer les packages requis avec le code suivant pour la préparation locale à l'aide de la commande suivante :
npm install @mediapipe/tasks-audio
Si vous souhaitez importer le code de la tâche via un service de réseau de diffusion de contenu (CDN) , ajoutez le code suivant dans la balise de votre fichier HTML :
<!-- Replace "my-cdn-service.com" with your CDN -->
<head>
<script src="https://my-cdn-service.com/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
Modèle
La tâche MediaPipe Audio Classifier nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Audio Classifier, consultez la section Modèles de la présentation de la tâche.
Sélectionnez et téléchargez un modèle, puis stockez-le dans le répertoire de votre projet, par exemple :
<dev-project-root>/app/shared/models/
Créer la tâche
Utilisez l'une des fonctions createFrom...() d'Audio Classifier pour préparer la tâche à exécuter des inférences. Utilisez la fonction createFromModelPath() avec un chemin d'accès relatif ou absolu au fichier de modèle entraîné.
Si votre modèle est déjà chargé en mémoire, vous pouvez utiliser la méthode createFromModelBuffer().
L'exemple de code ci-dessous montre comment utiliser la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions vous permet de personnaliser Audio Classifier avec des options de configuration. Pour en savoir plus sur les options de configuration, consultez la section Options de configuration.
Le code suivant montre comment créer et configurer la tâche avec des options personnalisées :
const audio = await FilesetResolver.forAudioTasks(
"https://my-cdn-service.com/npm/@mediapipe/tasks-audio/wasm"
);
const audioClassifier = await AudioClassifier.createFromOptions(audio, {
baseOptions: {
modelAssetPath:
"https://tfhub.dev/google/lite-model/yamnet/classification/tflite/1?lite-format=tflite"
}
});
Vous trouverez un exemple complet dans
example code.
Options de configuration
Cette tâche comporte les options de configuration suivantes pour les applications Web et JavaScript :
| Nom de l'option | Description | Plage de valeurs | Valeur par défaut |
|---|---|---|---|
displayNamesLocale |
Définit la langue des libellés à utiliser pour les noms à afficher fournis dans les
métadonnées du modèle de la tâche, le cas échéant. La valeur par défaut est en pour
l'anglais. Vous pouvez ajouter des libellés localisés aux métadonnées d'un modèle personnalisé
à l'aide de l'API TensorFlow Lite Metadata Writer.
| Code de paramètres régionaux | en |
maxResults |
Définit le nombre maximal facultatif de résultats de classification les mieux notés à renvoyer. Si la valeur est inférieure à 0, tous les résultats disponibles sont renvoyés. | Tous les nombres positifs | -1 |
scoreThreshold |
Définit le seuil de score de prédiction qui remplace celui fourni dans les métadonnées du modèle (le cas échéant). Les résultats inférieurs à cette valeur sont rejetés. | [0.0, 1.0] | Non défini |
categoryAllowlist |
Définit la liste facultative des noms de catégories autorisés. Si elle n'est pas vide, les résultats de classification dont le nom de catégorie ne figure pas dans cet ensemble sont filtrés. Les noms de catégories en double ou inconnus sont ignorés.
Cette option est mutuellement exclusive avec categoryDenylist. Si vous utilisez les deux, une erreur se produit. |
Toutes les chaînes | Non défini |
categoryDenylist |
Définit la liste facultative des noms de catégories non autorisés. Si elle n'est pas vide, les résultats de classification dont le nom de catégorie figure dans cet ensemble sont filtrés. Les noms de catégories en double ou inconnus sont ignorés. Cette option est mutuellement exclusive avec categoryAllowlist. Si vous utilisez les deux, une erreur se produit. |
Toutes les chaînes | Non défini |
Préparer les données
Audio Classifier fonctionne avec des clips audio et des flux audio, et peut fonctionner avec des fichiers audio dans n'importe quel format compatible avec le navigateur hôte. La tâche gère le prétraitement des données d'entrée, y compris le rééchantillonnage, la mise en mémoire tampon et le cadrage.
Exécuter la tâche
Audio Classifier utilise la méthode classify() pour exécuter des inférences pour les fichiers de clips audio ou les flux audio. L'API Audio Classifier renvoie les catégories possibles pour les événements audio reconnus dans l'audio d'entrée.
Les appels à la méthode classify() d'Audio Classifier s'exécutent de manière synchrone et bloquent le thread de l'interface utilisateur. Si vous classifiez l'audio à partir du micro d'un appareil, chaque classification bloque le thread principal. Vous pouvez éviter cela en implémentant des Web Workers pour exécuter classify() sur un autre thread.
Le code suivant montre comment exécuter le traitement avec le modèle de tâche :
Clips audio
// Create audio buffer const sample = await response.arrayBuffer(); const audioBuffer = await audioCtx.decodeAudioData(sample); // Use AudioClassifier to run classification const results = audioClassifier.classify( audioBuffer.getChannelData(0), audioBuffer.sampleRate );
Flux audio
stream = await navigator.mediaDevices.getUserMedia(constraints); audioCtx = new AudioContext({ sampleRate: 16000 }); const source = audioCtx.createMediaStreamSource(stream); const scriptNode = audioCtx.createScriptProcessor(16384, 1, 1); scriptNode.onaudioprocess = function (audioProcessingEvent) { const inputBuffer = audioProcessingEvent.inputBuffer; let inputData = inputBuffer.getChannelData(0); // Classify the audio const result = audioClassifier.classify(inputData); const categories = result[0].classifications[0].categories; };
Pour une implémentation plus complète de l'exécution d'une tâche Audio Classifier, consultez l' exemple.
Gérer et afficher les résultats
Une fois l'exécution de l'inférence terminée, la tâche Audio Classifier renvoie un objet AudioClassifierResult qui contient la liste des catégories possibles pour les objets dans l'audio d'entrée.
AudioClassifierResult:
Timestamp in microseconds: 100
ClassificationResult #0:
Timestamp in microseconds: 100
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "Speech"
score: 0.6
index: 0
category #1:
category name: "Music"
score: 0.2
index: 1
L'exemple de code Audio Classifier montre comment afficher les résultats de classification renvoyés par la tâche. Pour en savoir plus, consultez l' exemple .