Pile
Un numero de telephone qui se repond a lui-meme
CallAssistant relie un vrai numero de telephone a un agent vocal: quelqu'un appelle, l'agent decroche, comprend ce que veut la personne, et le fait dans une conversation naturelle. Twilio porte l'appel, un modele vocal en temps reel fait l'ecoute et la parole, et mon code est la colle et le cerveau qui decide de ce qu'il faut vraiment faire.
La latence, c'est toute l'experience
Sur le web, un spinner vous sauve la mise. Dans un appel telephonique, une seconde de pause donne l'impression que la ligne est morte. Tout le defi technique etait de garder le temps d'aller-retour assez rapide pour que la conversation se sente vivante, ce qui signifiait streamer l'audio dans les deux sens plutot que d'attendre des tours de parole complets.
- L'audio est streame en temps reel sur une connexion persistante, pas en morceaux lents de type requete-reponse.
- L'agent peut etre interrompu au milieu d'une phrase, parce que les vrais gens interrompent.
- Chaque action que l'agent peut executer est un tool clairement defini, pour qu'il n'improvise jamais quelque chose de dangereux.
Ce que la voix m'a appris que le texte n'a pas appris
Construire un chatbot texte vous berce dans l'idee que la voix est juste pareil avec un micro. Ce n'est pas le cas. La voix est impitoyable sur le timing, sur les interruptions, sur le silence gene quand le modele reflechit. Elle releve aussi les enjeux de securite: un agent vocal qui execute de vraies actions dans un vrai appel a besoin de tools serres et bien definis et de limites claires, parce qu'il n'y a pas de dialogue "Etes-vous sur ?" dans un appel telephonique. La lecon la plus profonde a ete que le medium faconne le produit. Le meme modele se comporte totalement differemment quand l'interface est une voix humaine vivante plutot qu'une boite de chat.
Leçons apprises
- En voix, la latence est le produit. Streamez l'audio dans les deux sens, sinon la conversation parait cassee.
- Concevez pour l'interruption. Les vrais appelants coupent la parole, et votre agent doit gerer ca.
- Donnez a un agent vocal des tools et des limites etroitement definis. Il n'y a pas de dialogue de confirmation dans un appel telephonique.
- Le medium refaconne le produit. Un modele qui marche en chat demande de repenser des qu'il a une voix.