NVIDIA réunit transcription et attribution des voix. Le direct reste hors périmètre
Le modèle traite des enregistrements et accepte des consignes sur le texte attendu. NVIDIA documente aussi une adaptation au vocabulaire médical et ses limites.
NVIDIA publie le 28 octobre Nemotron 3.5 Transcribe. Ce modèle à poids ouverts réunit plusieurs tâches sur de l’audio enregistré. Il peut transcrire la parole et attribuer des passages à différents locuteurs. Il propose aussi de la traduction et des réponses à des questions sur un enregistrement. L’annonce technique de NVIDIA accompagne la sortie de Granary v2 et de recettes pour adapter la reconnaissance à un domaine.
Les langues prises en charge varient selon la tâche
L’éditeur annonce une transcription dans 40 langues. La traduction couvre 31 langues vers l’anglais ou depuis l’anglais. L’attribution des locuteurs concerne 13 langues. Ces trois nombres ne décrivent donc pas une couverture identique. Les questions sur l’audio ont été entraînées en anglais. Une langue disponible pour la transcription ne garantit pas le même niveau de prise en charge pour toutes les autres fonctions.
Le modèle accepte des enregistrements allant jusqu’à une heure et distingue jusqu’à huit locuteurs selon NVIDIA. Les étiquettes servent à organiser les prises de parole. Elles ne constituent pas une preuve de l’identité réelle des personnes. La présentation de TechCrunch souligne une autre frontière. Le modèle travaille sur des fichiers enregistrés. Il ne s’agit pas d’un service de transcription en direct.
Une consigne change la forme du texte attendu
Le même enregistrement peut produire une transcription ou une traduction. La demande peut aussi préciser le format du texte et fournir des termes utiles. Cette contextualisation vise notamment les noms et le vocabulaire spécialisé. Elle ne transforme pas une suggestion de mot en preuve de ce qui a été prononcé. NVIDIA demande d’ailleurs de contrôler les noms et les changements de locuteur ainsi que les réponses dans l’enregistrement.
L’éditeur présente Granary v2 comme une manière de préparer les données nécessaires à cette adaptation. Son manifeste couvre 463 062 heures dans 48 langues à partir de 16 corpus. Ce volume décrit cette publication de données. Il ne représente pas la totalité du mélange d’entraînement du modèle. Le dispositif distingue plusieurs formes écrites d’un même passage. Certaines conservent les hésitations. D’autres appliquent des conventions de nombres ou retirent les répétitions accidentelles.
Des données ouvertes ne remplacent pas les droits des corpus
La publication comprend des manifestes et une chaîne de préparation réutilisable. Les fichiers audio sources se téléchargent séparément selon les licences de chaque corpus. Présenter cet ensemble comme un stock sonore utilisable sans condition serait donc trompeur. L’intérêt technique porte aussi sur la provenance et les indicateurs de qualité associés aux enregistrements.
Une adaptation évaluée sur des locuteurs tenus à l’écart
NVIDIA décrit une étude de transcription médicale en anglais sur le jeu Eka Care. Le calcul utilise la chaîne d’évaluation KARMA. Les auteurs séparent 855 extraits servant au réglage de 2 764 extraits provenant de locuteurs gardés pour l’évaluation finale. Sur ce second ensemble, le taux d’erreur de mots passe de 22,44 % avec la meilleure consigne à 12,17 % après adaptation. La baisse relative annoncée atteint 45,8 %. Ces résultats restent ceux d’une étude publiée par l’éditeur sur ce jeu précis.
Le gain ne démontre ni une fiabilité clinique ni une amélioration identique dans toutes les situations. L’étude relève aussi une légère dégradation sur un test général d’anglais après spécialisation. La préparation des exemples et le choix des conventions écrites jouent donc un rôle dans le résultat. Les classements de transcription cités dans l’annonce ne constituent pas un score universel pour les autres tâches audio.
Notre article sur les outils de transcription de Mistral pour l’arabe montre une autre façon de définir le périmètre linguistique d’un modèle. Avec Nemotron 3.5 Transcribe, la nouveauté tient au regroupement des tâches et aux possibilités d’adaptation. L’écoute de la source reste nécessaire pour vérifier ce que le texte et les étiquettes représentent.