Was du lernst
- Den Browser mit Playwright und agent-getriebenen Browser-Tools automatisieren
- Der Non-Headless-Trick mit manuellem Login für Sites hinter Authentifizierung
- Der .har-Trick: die echten API-Endpunkte hinter einer Seite extrahieren
Überblick
Der grösste Teil des Webs hat keine öffentliche API, aber jede Site ist bereits eine Oberfläche, die ein Mensch bedienen kann, was heisst, dass auch ein Programm sie bedienen kann. Playwright ist das Tool, das das tut: Es steuert einen echten Browser so, wie es eine Nutzerin täte, klickt, tippt und liest die Seite. Darauf sitzen zwei Tricks, die fragiles Scraping in zuverlässige Automation verwandeln. Der Non-Headless-Trick lässt dich dich einmal von Hand einloggen und die Session wiederverwenden. Der .har-Trick lässt dich die gerenderte Seite ganz überspringen und die API aufrufen, die die Site selbst aufruft. Diese Lektion lehrt alle drei, plus wann du zu einem agent-getriebenen Browser greifst und wie du auf der richtigen Seite von Ethik und Gesetz bleibst.
Was du lernst
Du lernst die Playwright-Grundlagen, wie sich agent-getriebenes Browsing (Browser Use und Ähnliches) von skripteter Automation unterscheidet, das Muster mit sichtbarem Browser und manuellem Login, das den härtesten Teil authentifizierter Sites umgeht, und wie du eine .har-Datei aufzeichnest und einen Agent die zugrunde liegenden API-Calls extrahieren lässt. Du lernst auch, wo die rechtlichen und ethischen Grenzen liegen und wann du Skalierung an einen Anbieter wie Brightdata abgibst.
Voraussetzungen
Kurse 1 bis 3 und ein funktionierendes Node-Projekt. Du solltest mit asynchronem Code vertraut sein, damit, wie HTTP-Requests und Header funktionieren, und damit, deine Browser-DevTools zu lesen. Die Fundamentals-Seite dazu, was eine API ist, hilft, wenn Request und Response noch unscharf sind, denn der ganze .har-Trick dreht sich darum, die API zu finden, die eine Seite versteckt.
Node.js ist eine Runtime, mit der du JavaScript ausserhalb des Browsers ausführst. Lerne, was es ist, warum du es brauchst und wie du es in Minuten installierst.
Eine API ist eine Art, wie zwei Programme miteinander reden. Lerne, was eine API ist, wie sie funktioniert und warum sie für das Bauen mit KI zählt.
Das Terminal ist ein Textfenster, in dem du Befehle eintippst, um deinen Computer zu steuern. Lerne die paar Befehle, die du wirklich brauchst.
Das Problem
Du brauchst Daten oder eine Aktion von einer Site, die dir keine API gibt. Der naive Ansatz ist, das gerenderte HTML mit brüchigen Selektoren zu scrapen, die in dem Moment kaputtgehen, in dem die Site einen Klassennamen ändert. Die härteren Fälle sind Sites hinter einem Login, mit Bot-Erkennung, oder die alles über JavaScript laden, sodass das HTML leer ist, bis Scripts laufen. Leute verbrennen Tage damit, gegen Selektoren und Login-Flows zu kämpfen, während die Site die ganze Zeit leise saubere JSON-API-Calls macht, sichtbar in den DevTools, die sie direkt aufrufen könnten.
Kommentare
Kommentare werden geladen.
Kommentar schreiben