Ce que tu apprends
- Automatiser le navigateur avec Playwright et des outils de navigateur pilotés par agent
- L'astuce non-headless avec login manuel pour les sites derrière authentification
- L'astuce .har : extraire les vrais endpoints d'API derrière une page
Vue d'ensemble
L'essentiel du web n'a pas d'API publique, mais chaque site est déjà une surface qu'un humain peut piloter, ce qui veut dire qu'un programme peut la piloter aussi. Playwright est l'outil qui fait cela : il pilote un vrai navigateur comme le ferait une utilisatrice, cliquant, tapant et lisant la page. Par-dessus siègent deux astuces qui transforment un scraping fragile en automatisation fiable. L'astuce non-headless vous laisse vous connecter une fois à la main et réutiliser la session. L'astuce .har vous laisse sauter entièrement la page rendue et appeler l'API que le site appelle lui-même. Cette leçon enseigne les trois, plus quand saisir un navigateur piloté par agent et comment rester du bon côté de l'éthique et de la loi.
Ce que vous allez apprendre
Vous allez apprendre les bases de Playwright, en quoi le browsing piloté par agent (Browser Use et similaires) diffère de l'automatisation scriptée, le pattern navigateur visible avec login manuel qui contourne la partie la plus dure des sites authentifiés, et comment enregistrer un fichier .har et laisser un agent en extraire les appels d'API sous-jacents. Vous apprendrez aussi où sont les limites légales et éthiques et quand céder la mise à l'échelle à un fournisseur comme Brightdata.
Prérequis
Les Cours 1 à 3 et un projet Node fonctionnel. Vous devez être à l'aise avec le code asynchrone, avec le fonctionnement des requêtes HTTP et des headers, et avec la lecture de vos DevTools de navigateur. La page de fondamentaux sur ce qu'est une API aide si requête et réponse sont encore floues, car toute l'astuce .har consiste à trouver l'API qu'une page cache.
Node.js est un runtime qui vous permet d'exécuter du JavaScript en dehors du navigateur. Découvrez ce que c'est, pourquoi vous en avez besoin et comment l'installer en quelques minutes.
Une API est une façon pour deux programmes de se parler. Apprenez ce qu'est une API, comment elle fonctionne et pourquoi elle compte pour construire avec l'IA.
Le terminal est une fenêtre de texte où vous tapez des commandes pour piloter votre ordinateur. Apprenez les quelques commandes dont vous avez vraiment besoin.
Le problème
Vous avez besoin de données ou d'une action d'un site qui ne vous donne pas d'API. L'approche naïve est de scraper le HTML rendu avec des sélecteurs fragiles qui cassent dès que le site change un nom de classe. Les cas plus durs sont les sites derrière un login, avec détection de bots, ou qui chargent tout via JavaScript si bien que le HTML est vide jusqu'à ce que les scripts tournent. Les gens brûlent des jours à lutter contre les sélecteurs et les flux de login, pendant que le site fait tout le temps de propres appels d'API JSON, visibles dans les DevTools, qu'ils pourraient appeler directement.
Commentaires
Chargement des commentaires.
Poster un commentaire