IT
Costruisce

CallAssistant: un agente telefonico su Twilio e la voce in tempo reale

Un vero agente vocale che risponde al telefono, costruito su Twilio e OpenAI.

InternoSaaS prodotti2 minimo lettoAggiornato 12 giugno 2026

Pila

TwilioOpenAI RealtimeNode.jsWebSocketsTypeScript

Un numero di telefono che si risponde da solo

CallAssistant collega un vero numero di telefono a un agente vocale: qualcuno chiama, l'agente risponde, capisce cosa vuole la persona, e lo fa in una conversazione naturale. Twilio porta la chiamata, un modello vocale in tempo reale fa l'ascolto e la parola, e il mio codice e la colla e il cervello che decide cosa bisogna davvero fare.

La latenza e tutta l'esperienza

Sul web, uno spinner ti salva. In una chiamata telefonica, un secondo di pausa da l'impressione che la linea sia morta. Tutta la sfida tecnica era tenere il tempo di andata e ritorno abbastanza rapido perche la conversazione si sentisse viva, il che significava streamare l'audio in entrambi i sensi piuttosto che aspettare interi turni di parola.

  • L'audio e streamato in tempo reale su una connessione persistente, non in pezzi lenti di tipo richiesta-risposta.
  • L'agente puo essere interrotto in mezzo a una frase, perche le vere persone interrompono.
  • Ogni azione che l'agente puo eseguire e un tool chiaramente definito, perche non improvvisi mai qualcosa di pericoloso.

Cosa la voce mi ha insegnato che il testo non ha insegnato

Costruire un chatbot testo ti culla nell'idea che la voce sia solo lo stesso con un microfono. Non e cosi. La voce e spietata sul timing, sulle interruzioni, sul silenzio imbarazzato quando il modello riflette. Alza anche la posta della sicurezza: un agente vocale che esegue vere azioni in una vera chiamata ha bisogno di tool serrati e ben definiti e di limiti chiari, perche non c'e dialogo "Sei sicuro?" in una chiamata telefonica. La lezione piu profonda e stata che il mezzo modella il prodotto. Lo stesso modello si comporta totalmente diversamente quando l'interfaccia e una voce umana viva piuttosto che una scatola di chat.

Lezioni apprese

  • In voce, la latenza e il prodotto. Streama l'audio in entrambi i sensi, altrimenti la conversazione sembra rotta.
  • Progetta per l'interruzione. I veri chiamanti tagliano la parola, e il tuo agente deve gestirlo.
  • Da a un agente vocale tool e limiti strettamente definiti. Non c'e dialogo di conferma in una chiamata telefonica.
  • Il mezzo rimodella il prodotto. Un modello che funziona in chat chiede di essere ripensato appena ha una voce.
Prossimo passo

Pronto a far funzionare l'intelligenza artificiale come un vero flusso di lavoro?

Inizia con il corso di base, mantieni i tuoi progressi localmente e sincronizza tutto con il tuo account gratuito quando vuoi.