Pile
Apprendre en pointant votre camera
L'appli vous laisse pointer la camera sur quelque chose du monde reel, une pomme, une chaise, un panneau de rue, et entendre et lire son nom dans la langue que vous apprenez. C'est une petite idee a l'effet etonnamment motivant, parce qu'elle lie les nouveaux mots a de vraies choses devant vous plutot qu'a une fiche.
Trois etapes IA en chaine
Sous le capot, c'est une chaine de trois modeles, chacun alimentant le suivant. La vision identifie l'objet, la traduction transforme le mot dans la langue cible, et le text-to-speech le lit avec un accent correct. Chaque etape est simple prise seule; le produit, c'est la chaine.
- Image vers texte: un modele de vision nomme ce que la camera voit.
- Texte vers texte: une etape de traduction convertit le mot dans la langue cible.
- Texte vers audio: un modele vocal le prononce, pour que vous appreniez comment ca sonne vraiment.
Ce que les chaines vous apprennent sur les erreurs
La dure lecon en enchainant des modeles est que les erreurs se multiplient. Si chaque etape est fiable a 90 pour cent, trois etapes a la suite ne sont pas fiables a 90 pour cent, elles s'accumulent, et une mauvaise reconnaissance d'objet au debut empoisonne tout ce qui suit. Le vrai travail a donc ete de faire echouer chaque etape avec elegance et visibilite: si la vision n'est pas sure de l'objet, l'appli le dit, plutot que de vous enseigner avec assurance le mauvais mot. Construire ceci a change ma facon de penser les produits IA multi-etapes. La magie est dans la chaine, mais la fiabilite est dans l'honnetete avec laquelle chaque maillon admet son incertitude, pour qu'une petite erreur precoce ne devienne pas silencieusement une reponse fausse et assuree a la fin.
Leçons apprises
- Dans une chaine de modeles, les erreurs s'accumulent. Trois etapes fiables a la suite sont moins fiables que chacune seule.
- Faites echouer chaque etape avec visibilite. Une reponse fausse et assuree tot empoisonne chaque etape suivante.
- Le produit est la chaine, mais la confiance est dans l'honnetete avec laquelle chaque maillon admet son incertitude.
- Lier une information nouvelle a de vrais objets est un accroche vraiment puissant. Utilisez le medium, ne luttez pas contre lui.