MOSS-Live maintient la conversation pendant qu’un outil travaille
MOSS-Live combine l’écoute continue et l’analyse d’images en direct. Un modèle distinct s’occupe des recherches et des appels d’outils.
OpenMOSS a présenté MOSS-Live le 7 novembre. Ce système vocal continue à écouter pendant qu’il parle et peut prendre en compte une caméra ou un partage d’écran. La présentation de l’équipe montre un autre aspect du système. Une recherche peut continuer en arrière-plan pendant que l’assistant répond à une nouvelle question.
Deux modèles suivent le même échange
Le modèle de premier plan gère l’écoute et la prise de parole. Il doit notamment distinguer une interruption d’un simple signe d’écoute. Quand une personne acquiesce pendant une réponse, l’assistant peut continuer. Si la personne corrige sa demande, le système doit lui laisser la parole et intégrer la correction. OpenMOSS présente cette distinction comme une fonction du dialogue en duplex intégral. Les deux sens de l’échange restent ouverts en même temps.
Un autre modèle prend en charge le raisonnement et les appels d’outils qui demandent plus de temps. Le dépôt officiel décrit une couche commune qui partage le contexte et l’état de la tâche entre ces deux modèles. L’assistant peut poursuivre l’échange puis introduire un résultat lorsqu’il devient disponible. Dans un exemple présenté par l’équipe, une recherche d’hôtel continue alors que la conversation passe aux questions de stationnement.
L’accès à la caméra dépend de ce que l’application envoie
MOSS-Live peut recevoir des images de la caméra ou de l’écran en même temps que le son. L’équipe présente une démonstration dans laquelle l’assistant commente un bâtiment filmé. Elle montre ce que permet un flux visuel lié à la conversation. Cette démonstration reste distincte d’une mesure de précision sur des lieux ou des images choisis indépendamment.
La documentation de l’API décrit une connexion persistante qui envoie la voix et les images puis reçoit du texte et de la voix. Elle prévoit aussi de déléguer une tâche à un programme choisi par l’intégrateur. L’accès à l’API demande une clé. L’équipe propose un espace d’essai en ligne séparé de l’intégration. Le dépôt public présente les ressources et les démonstrations du système.
Les résultats de l’équipe dépendent de la tâche
OpenMOSS publie ses propres comparaisons avec d’autres systèmes vocaux. Sur la version 3 du test FDB, MOSS-Live atteint 51 % de réussite dans l’usage d’outils. Doubao SeedDuplex atteint le même taux dans le tableau. Sur l’épreuve de tâches en plusieurs tours de τ-Voice, MOSS-Live obtient 57,93 %. GPT-Live-1 y atteint 67,68 %. Ces scores portent sur des épreuves distinctes. Ils ne mesurent pas le taux de réussite de toutes les demandes vocales.
La prise de parole et le résultat final se mesurent séparément
Une reprise naturelle après une interruption peut rendre une conversation plus fluide. La tâche d’arrière-plan doit malgré tout produire un résultat qui correspond à la demande. On retrouve une autre manière d’aborder les échanges à plusieurs dans la présentation d’Ampersand et de son accès via Vercel. MOSS-Live ajoute ici la coordination entre des flux audio et visuels en direct et un travail séparé.
Je regarderais comment le système réagit si la demande change pendant qu’une recherche tourne. C’est à ce moment que la qualité de la reprise et la pertinence du résultat deviennent deux critères concrets.