Pila
Cosa fa GlowLens
GlowLens prende immagini e le trasforma in segnali strutturati: cosa c'e sull'immagine, attributi misurabili e un punteggio di confidenza per ogni risposta. E cominciato come un esperimento sulla distanza percorsa dai modelli di vision moderni, ed e diventato un blocco riutilizzabile verso cui mi rivolgo appena un progetto deve capire un'immagine.
La confidenza fa parte della risposta
La decisione di progettazione piu importante e stata che GlowLens non da mai solo un risultato, ma un risultato piu il suo grado di certezza. Un modello di vision che da una risposta sbagliata con sicurezza e pericoloso; uno che dice "probabilmente questo, ma sono sicuro solo al 60 percento" lascia il sistema attorno prendere una decisione intelligente.
- Ogni attributo estratto viene con un segnale di confidenza, non solo un valore.
- I risultati a bassa confidenza sono instradati verso un umano piuttosto che creduti ciecamente.
- L'output e JSON strutturato, perche il passo successivo della pipeline possa biforcarsi secondo la confidenza.
Dove i modelli di vision inciampano ancora
La vision e davvero impressionante oggi, ma non e magia. Fatica con gli angoli inusuali, la cattiva luce e tutto cio che ha visto raramente, e soprattutto fallisce in un modo che sembra sicuro. La lezione che ho ricavato e che il valore di uno strumento di vision non e solo la sua precisione nei casi facili, ma con quanta eleganza tratta i casi difficili. Facendo della confidenza un output di prima classe e instradando i casi incerti verso un umano, GlowLens e diventato qualcosa su cui potevo realmente costruire, piuttosto che una demo astuta che ti mente in modo discreto sotto pressione.
Lezioni apprese
- Fai della confidenza un output di prima classe. Un risultato senza segnale di confidenza nasconde il proprio rischio.
- Instrada i casi a bassa confidenza verso un umano, piuttosto che fidarti ciecamente del modello.
- JSON strutturato lascia il passo successivo biforcarsi secondo l'incertezza. Il testo libero no.
- I modelli di vision falliscono con sicurezza. Progetta per i casi difficili, non per i casi facili adatti alla demo.