Cosa impari
- Automatizzare il browser con Playwright e strumenti di browser pilotati da agente
- Il trucco non-headless con login manuale per i siti dietro autenticazione
- Il trucco .har: estrarre i veri endpoint di API dietro una pagina
Panoramica
L'essenziale del web non ha un'API pubblica, ma ogni sito e gia una superficie che un umano puo pilotare, il che vuol dire che un programma puo pilotarla anche. Playwright e lo strumento che fa cio: pilota un vero browser come farebbe un utente, cliccando, digitando e leggendo la pagina. Sopra siedono due trucchi che trasformano uno scraping fragile in automazione affidabile. Il trucco non-headless ti lascia connetterti una volta a mano e riutilizzare la sessione. Il trucco .har ti lascia saltare interamente la pagina renderizzata e chiamare l'API che il sito chiama lui stesso. Questa lezione insegna i tre, piu quando afferrare un browser pilotato da agente e come restare dal buon lato dell'etica e della legge.
Cosa imparerai
Imparerai le basi di Playwright, in cosa il browsing pilotato da agente (Browser Use e simili) differisce dall'automazione scriptata, il pattern browser visibile con login manuale che aggira la parte piu dura dei siti autenticati, e come registrare un file .har e lasciare un agente estrarne le chiamate di API sottostanti. Imparerai anche dove sono i limiti legali ed etici e quando cedere la scalabilita a un fornitore come Brightdata.
Prerequisiti
I Corsi da 1 a 3 e un progetto Node funzionante. Devi essere a tuo agio con il codice asincrono, con il funzionamento delle richieste HTTP e degli header, e con la lettura dei tuoi DevTools di browser. La pagina dei fondamenti su cos'e una API aiuta se richiesta e risposta sono ancora confuse, perche tutto il trucco .har consiste nel trovare l'API che una pagina nasconde.
Node.js è un runtime che ti permette di eseguire JavaScript fuori dal browser. Scopri cos'è, perché ti serve e come installarlo in pochi minuti.
Un'API è un modo per due programmi di parlarsi. Impara cos'è un'API, come funziona e perché conta per costruire con l'IA.
Il terminale è una finestra di testo dove digiti comandi per pilotare il tuo computer. Impara i pochi comandi che ti servono davvero.
Il problema
Hai bisogno di dati o di un'azione da un sito che non ti da un'API. L'approccio naif e scrapare l'HTML renderizzato con selettori fragili che si rompono appena il sito cambia un nome di classe. I casi piu duri sono i siti dietro un login, con rilevamento di bot, o che caricano tutto via JavaScript cosicche l'HTML e vuoto finche gli script non girano. Le persone bruciano giorni a lottare contro i selettori e i flussi di login, mentre il sito fa tutto il tempo delle pulite chiamate di API JSON, visibili nei DevTools, che potrebbero chiamare direttamente.
Commenti
Caricamento dei commenti.
Pubblica un commento