{"id":52850,"date":"2022-07-28T08:46:24","date_gmt":"2022-07-28T07:46:24","guid":{"rendered":"https:\/\/kinsta.com\/de\/?p=52850&post_type=knowledgebase&preview_id=52850"},"modified":"2025-10-01T20:18:00","modified_gmt":"2025-10-01T19:18:00","slug":"was-ist-web-scraping","status":"publish","type":"post","link":"https:\/\/kinsta.com\/de\/blog\/was-ist-web-scraping\/","title":{"rendered":"Was ist Web Scraping? Wie man legal Webinhalte extrahiert"},"content":{"rendered":"

Wolltest du schon mal Preise von mehreren Webseiten auf einmal vergleichen? Oder vielleicht automatisch eine Sammlung von Beitr\u00e4gen aus deinem Lieblingsblog<\/a> extrahieren? Mit Web Scraping ist das alles m\u00f6glich.<\/p>\n

Unter Web Scraping versteht man das Extrahieren von Inhalten und Daten aus Webseiten mithilfe von Software. Die meisten Preisvergleichsdienste nutzen zum Beispiel Web Scraper, um Preisinformationen von verschiedenen Online-Shops auszulesen. Ein anderes Beispiel ist Google, das das Internet routinem\u00e4\u00dfig scrapt oder „crawlt“, um Webseiten zu indexieren<\/a>.<\/p>\n

Nat\u00fcrlich sind das nur zwei von vielen <\/em>Anwendungsf\u00e4llen f\u00fcr Web Scraping. In diesem Artikel tauchen wir in die Welt der Web Scraper ein, erfahren, wie sie funktionieren und wie manche Webseiten versuchen, sie zu blockieren. Lies weiter, um mehr zu erfahren und fang an zu scrapen!<\/p>\n

<\/div><\/kinsta-auto-toc>\n

Was ist Web Scraping?<\/h2>\n

Web Scraping ist eine Sammlung von Verfahren, mit denen automatisch Daten aus dem Internet extrahiert werden.<\/p>\n

\"Beim
Beim Web Scraping wird Software eingesetzt, um Daten von Webseiten zu sammeln<\/figcaption><\/figure>\n

Andere Begriffe f\u00fcr Web Scraping sind „Content Scraping<\/a>“ oder „Data Scraping“ Egal, wie man es nennt, Web Scraping ist ein \u00e4u\u00dferst n\u00fctzliches Instrument zur Online-Datenerfassung. Zu den Anwendungsgebieten von Web Scraping geh\u00f6ren Marktforschung, Preisvergleiche, \u00dcberwachung von Inhalten und vieles mehr.<\/p>\n

Aber was genau wird beim Web Scraping „gekratzt“ – und wie ist das m\u00f6glich? Ist es \u00fcberhaupt legal? W\u00fcrde eine Webseite wollen, dass jemand kommt und ihre Daten aussp\u00e4ht?<\/p>\n

Die Antworten h\u00e4ngen von mehreren Faktoren ab. Bevor wir uns jedoch mit den Methoden und Anwendungsf\u00e4llen befassen, wollen wir uns genauer ansehen, was Web Scraping ist und ob es ethisch vertretbar ist oder nicht.<\/p>\n\n

Was k\u00f6nnen wir aus dem Web „scrapen“?<\/h3>\n

Es ist m\u00f6glich, alle Arten von Webdaten zu scrapen. Von Suchmaschinen \u00fcber RSS-Feeds<\/a> bis hin zu Regierungsinformationen – die meisten Webseiten stellen ihre Daten f\u00fcr Scraper, Crawler und andere Formen der automatischen Datenerfassung zur Verf\u00fcgung.<\/p>\n

Hier sind einige g\u00e4ngige Beispiele.<\/p>\n

\"Arten
Arten von Daten, die du aus dem Web scrapen kannst<\/figcaption><\/figure>\n

Das hei\u00dft aber nicht, dass diese Daten immer <\/em>verf\u00fcgbar sind. Je nach Webseite musst du vielleicht ein paar Tools und Tricks anwenden, um genau das zu bekommen, was du brauchst – vorausgesetzt, die Daten sind \u00fcberhaupt zug\u00e4nglich. Viele Web Scraper k\u00f6nnen zum Beispiel keine aussagekr\u00e4ftigen Daten aus visuellen Inhalten<\/a> extrahieren.<\/p>\n

In den einfachsten F\u00e4llen kann Web Scraping \u00fcber die API<\/a> ( Application Programming Interface)<\/em> einer Webseite erfolgen .<\/em> Wenn eine Webseite ihre API zur Verf\u00fcgung stellt, k\u00f6nnen Webentwickler sie nutzen, um automatisch Daten und andere n\u00fctzliche Informationen in einem praktischen Format zu extrahieren. Es ist fast so, als w\u00fcrde der Webhost<\/a> dir deine eigene „Pipeline“ zu seinen Daten zur Verf\u00fcgung stellen. Das nenne ich Gastfreundschaft!<\/p>\n

Nat\u00fcrlich ist das nicht immer der Fall – und viele Webseiten, die du scrapen willst, haben keine <\/em>API, die du nutzen kannst. Und selbst Webseiten, die eine API haben , <\/em>stellen dir die Daten nicht immer im richtigen Format zur Verf\u00fcgung.<\/p>\n

Daher ist Web Scraping nur dann notwendig, wenn die gew\u00fcnschten Webdaten nicht in der Form vorliegen, die du brauchst. Egal, ob das bedeutet, dass die gew\u00fcnschten Formate nicht verf\u00fcgbar sind oder die Webseite einfach nicht alle Daten bereitstellt, mit Web Scraping kannst du bekommen, was du willst.<\/p>\n

Das ist zwar sch\u00f6n und gut, aber es wirft auch eine wichtige Frage auf: Ist es legal, bestimmte Webdaten zu scrapen, wenn diese eingeschr\u00e4nkt sind? Wie wir gleich sehen werden, kann das eine Art Grauzone sein.<\/p>\n

Ist Web Scraping legal?<\/h3>\n

F\u00fcr manche Menschen kann sich Web Scraping fast wie Diebstahl anf\u00fchlen. Wer bist du denn, dass du die Daten eines anderen einfach „klaust“?<\/p>\n

Gl\u00fccklicherweise ist Web Scraping nicht grunds\u00e4tzlich illegal. Wenn eine Webseite Daten ver\u00f6ffentlicht, sind sie in der Regel \u00f6ffentlich zug\u00e4nglich und k\u00f6nnen daher frei gescannt werden.<\/p>\n

Da Amazon zum Beispiel die Produktpreise \u00f6ffentlich zug\u00e4nglich macht, ist es v\u00f6llig legal, Preisdaten zu scrapen. Viele beliebte Shopping-Apps und Browser-Erweiterungen nutzen Web-Scraping f\u00fcr genau diesen Zweck, damit die Nutzer wissen, dass sie den richtigen Preis bekommen.<\/p>\n

Aber nicht alle Webdaten sind f\u00fcr die \u00d6ffentlichkeit bestimmt, und das bedeutet, dass nicht alle Webdaten rechtm\u00e4\u00dfig abgegriffen werden k\u00f6nnen. Wenn es um pers\u00f6nliche Daten und geistiges Eigentum geht, kann Web-Scraping schnell zu b\u00f6sartigem <\/em>Web-Scraping werden, was zu Strafen wie einer DMCA-Abmahnung<\/a> f\u00fchren kann.<\/p>\n

Was ist b\u00f6swilliges Web-Scraping?<\/h3>\n

B\u00f6swilliges Web Scraping ist das Auslesen von Daten, deren Weitergabe der Herausgeber nicht beabsichtigt oder genehmigt hat. Obwohl es sich bei diesen Daten in der Regel entweder um pers\u00f6nliche Daten oder um geistiges Eigentum handelt, kann b\u00f6swilliges Web Scraping auf alles <\/em>zutreffen, was nicht f\u00fcr die \u00d6ffentlichkeit bestimmt ist.<\/p>\n

Wie du dir vielleicht vorstellen kannst, gibt es bei dieser Definition eine Grauzone. W\u00e4hrend viele Arten von personenbezogenen Daten durch Gesetze wie die General Data Protection Regulation<\/a> (GDPR) und den California Consumer Privacy Act<\/a> (CCPA) gesch\u00fctzt sind, gilt das f\u00fcr andere nicht. Das hei\u00dft aber nicht, dass es keine Situationen gibt, in denen das Scrapen nicht legal ist.<\/p>\n

\"Der
Der CCPA h\u00e4lt strenge Standards f\u00fcr den Umgang mit personenbezogenen Daten ein<\/figcaption><\/figure>\n

Nehmen wir zum Beispiel an, ein Webhoster macht „versehentlich“ seine Benutzerdaten \u00f6ffentlich zug\u00e4nglich. Dazu k\u00f6nnte eine vollst\u00e4ndige Liste mit Namen, E-Mails und anderen Informationen geh\u00f6ren, die eigentlich <\/em>\u00f6ffentlich sind, aber vielleicht nicht weitergegeben werden sollen.<\/p>\n

Auch wenn es technisch gesehen <\/em>legal w\u00e4re, diese Daten abzugreifen, ist es wahrscheinlich nicht die beste Idee. Nur weil Daten \u00f6ffentlich sind, hei\u00dft das nicht unbedingt, dass der Webhoster dem Scrapen zugestimmt hat, selbst wenn er sie durch mangelnde Vorsicht \u00f6ffentlich gemacht hat.<\/p>\n

Diese „Grauzone“ hat dem Web Scraping einen etwas zwiesp\u00e4ltigen Ruf eingebracht. Web Scraping ist zwar definitiv legal, kann aber leicht f\u00fcr b\u00f6swillige oder unethische Zwecke genutzt werden. Daher sehen es viele Webhosts nicht gerne, wenn ihre Daten gescraped werden – unabh\u00e4ngig davon, ob es legal ist.<\/p>\n

Eine andere Art von b\u00f6sartigem Web-Scraping ist das „Over-Scraping“, bei dem Scraper in einem bestimmten Zeitraum zu viele Anfragen stellen. Zu viele Anfragen k\u00f6nnen eine enorme Belastung f\u00fcr Webhosts darstellen, die ihre Serverressourcen<\/a> lieber f\u00fcr echte Menschen als f\u00fcr Scraping-Bots verwenden w\u00fcrden.<\/p>\n

Generell solltest du Web Scraping nur sparsam einsetzen und nur dann, wenn du dir absolut sicher bist, dass die Daten f\u00fcr die \u00d6ffentlichkeit bestimmt sind. Denk daran: Nur weil Daten \u00f6ffentlich zug\u00e4nglich sind, hei\u00dft das nicht, dass es legal oder ethisch vertretbar ist, sie zu scrapen.<\/p>\n

Wof\u00fcr wird Web Scraping eingesetzt?<\/h2>\n

Im besten Fall dient Web Scraping vielen n\u00fctzlichen Zwecken in vielen Branchen. Im Jahr 2021 wird fast die H\u00e4lfte des Web Scraping zur Unterst\u00fctzung von E-Commerce-Strategien<\/a> eingesetzt.<\/p>\n

\"Web
Web Scraping wird in jeder Branche eingesetzt, vom E-Commerce bis zur Immobilienbranche (Quelle:<\/b> Datahut<\/a>)<\/figcaption><\/figure>\n

Web Scraping ist zum R\u00fcckgrat vieler datengesteuerter Prozesse geworden, von der Verfolgung von Marken \u00fcber aktuelle Preisvergleiche bis hin zur Durchf\u00fchrung wertvoller Marktforschung<\/a>. Hier sind einige der g\u00e4ngigsten Methoden.<\/p>\n

Marktforschung<\/h3>\n

Was machen deine Kunden? Was ist mit deinen Leads? Wie sind die Preise deiner Konkurrenten im Vergleich zu deinen? Hast du Informationen, um eine erfolgreiche Inbound-Marketing-<\/a> oder Content-Marketing-Kampagne<\/a> zu erstellen?<\/p>\n

Dies sind nur einige der Fragen, die die Eckpfeiler der Marktforschung bilden – und genau diese k\u00f6nnen mit Web Scraping beantwortet werden. Da viele dieser Daten \u00f6ffentlich zug\u00e4nglich sind, ist Web Scraping zu einem unsch\u00e4tzbaren Werkzeug f\u00fcr Marketingteams geworden, die ihren Markt im Auge behalten wollen, ohne zeitaufw\u00e4ndige manuelle Recherchen durchf\u00fchren zu m\u00fcssen.<\/p>\n

Gesch\u00e4ftsautomatisierung<\/h3>\n

Viele der Vorteile von Web Scraping f\u00fcr die Marktforschung gelten auch f\u00fcr die Unternehmensautomatisierung.<\/p>\n

Bei vielen Aufgaben der Gesch\u00e4ftsautomatisierung<\/a>, die das Sammeln und Verarbeiten gro\u00dfer Datenmengen erfordern, kann Web Scraping von unsch\u00e4tzbarem Wert sein – vor allem, wenn dies sonst sehr m\u00fchsam w\u00e4re.<\/p>\n

Nehmen wir zum Beispiel an, du musst Daten von zehn verschiedenen Webseiten sammeln. Selbst wenn du von jeder die gleiche Art von Daten sammelst, kann jede Webseite eine andere Extraktionsmethode erfordern. Anstatt die verschiedenen internen Prozesse auf jeder Webseite manuell zu durchlaufen, k\u00f6nntest du einen Web Scraper verwenden, um dies automatisch zu tun.<\/p>\n

Lead-Generierung<\/h3>\n

Als ob Marktforschung und Gesch\u00e4ftsautomatisierung nicht schon genug w\u00e4ren, kannst du mit Web Scraping auch mit wenig Aufwand wertvolle Lead-Listen erstellen.<\/p>\n

Auch wenn du deine Ziele genau festlegen musst, kannst du mit Web Scraping gen\u00fcgend Nutzerdaten sammeln, um strukturierte Lead-Listen zu erstellen<\/a>. Die Ergebnisse k\u00f6nnen nat\u00fcrlich variieren, aber es ist bequemer (und vielversprechender) als die Erstellung eigener Lead-Listen.<\/p>\n

Preisverfolgung<\/h3>\n

Das Extrahieren von Preisen – auch bekannt als Price Scraping – <\/em>ist eine der h\u00e4ufigsten Anwendungen f\u00fcr Web Scraping.<\/p>\n

Hier ist ein Beispiel von der beliebten Amazon-Preisverfolgungs-App Camelcamelcamel<\/a>. Die App sammelt regelm\u00e4\u00dfig Produktpreise und vergleicht sie dann in einem Diagramm \u00fcber die Zeit.<\/p>\n

\"Amazon
Amazon Preisverlauf in der Camelcamelcamel Preisverfolgungs-App<\/figcaption><\/figure>\n

Die Preise k\u00f6nnen stark schwanken, sogar t\u00e4glich (siehe den pl\u00f6tzlichen Preisverfall um den 9. Mai!). Mit dem Zugriff auf historische Preistrends k\u00f6nnen Nutzer\/innen \u00fcberpr\u00fcfen, ob der Preis, den sie zahlen, ideal ist. In diesem Beispiel k\u00f6nnte der Nutzer eine Woche warten, in der Hoffnung, 10 US-Dollar zu sparen.<\/p>\n

Trotz seines Nutzens ist das Preis-Scraping nicht unumstritten. Da viele Menschen Preisaktualisierungen in Echtzeit w\u00fcnschen, werden einige Preis\u00fcberwachungs-Apps schnell b\u00f6sartig, indem sie bestimmte Webseiten mit Serveranfragen \u00fcberlasten.<\/p>\n

Deshalb haben viele E-Commerce-Webseiten begonnen, zus\u00e4tzliche Ma\u00dfnahmen zu ergreifen, um Web Scraper komplett zu blockieren, die wir im n\u00e4chsten Abschnitt behandeln.<\/p>\n

Nachrichten und Inhalte<\/h3>\n

Es gibt nichts Wertvolleres, als immer auf dem Laufenden zu sein. Ob es darum geht, den Ruf eines Unternehmens zu \u00fcberwachen<\/a> oder Branchentrends zu verfolgen – Web Scraping ist ein wertvolles Instrument, um auf dem Laufenden zu bleiben.<\/p>\n

Einige Nachrichten-Webseiten und Blogs bieten zwar bereits RSS-Feeds und andere einfache Schnittstellen an, aber sie sind nicht immer die Norm – und auch nicht mehr so verbreitet wie fr\u00fcher. Um genau die Nachrichten und Inhalte zu finden, die du brauchst, ist daher oft eine Form von Web Scraping erforderlich.<\/p>\n

Marken\u00fcberwachung<\/h3>\n

Wenn du schon Nachrichten scannst, warum \u00fcberpr\u00fcfst du nicht auch deine Marke? F\u00fcr Marken, \u00fcber die viel berichtet wird, ist Web Scraping ein unsch\u00e4tzbares Werkzeug, um auf dem Laufenden zu bleiben, ohne unz\u00e4hlige Artikel und Nachrichtenseiten durchforsten zu m\u00fcssen.<\/p>\n

Web Scraping ist auch n\u00fctzlich, um den Mindestpreis eines Produkts oder einer Dienstleistung einer Marke zu \u00fcberpr\u00fcfen. Obwohl es sich hierbei technisch gesehen um eine Form des Preis-Scraping handelt, ist dies eine wichtige Erkenntnis, die Marken dabei helfen kann, herauszufinden, ob ihre Preisgestaltung mit den Erwartungen der Kunden \u00fcbereinstimmt.<\/p>\n

Real Estate<\/h3>\n

Wenn du schon einmal nach einer Wohnung gesucht oder ein Haus gekauft hast, wei\u00dft du, wie viel es da zu sortieren gibt. Bei Tausenden von Angeboten auf verschiedenen Immobilien-Webseiten<\/a> kann es schwierig sein, genau<\/em> das zu finden, was du suchst.<\/p>\n

\"Web
Web Scraping von Immobiliendaten<\/figcaption><\/figure>\n

Viele Webseiten nutzen Web Scraping, um Immobilienangebote in einer einzigen Datenbank zusammenzufassen und so die Suche zu erleichtern. Beliebte Beispiele sind Zillow und Trulia, aber es gibt auch viele andere, die ein \u00e4hnliches Modell verfolgen.<\/p>\n

Das Zusammenfassen von Angeboten ist jedoch nicht die einzige Anwendung f\u00fcr Web Scraping im Immobilienbereich. Immobilienmakler k\u00f6nnen Scraping-Anwendungen zum Beispiel nutzen, um den \u00dcberblick \u00fcber die durchschnittlichen Miet- und Verkaufspreise, die Art der verkauften Immobilien und andere wichtige Trends zu behalten.<\/p>\n

(cta)<\/p>\n

Wie funktioniert Web Scraping?<\/h2>\n

Web Scraping h\u00f6rt sich vielleicht kompliziert an, aber es ist eigentlich ganz einfach.<\/p>\n

Es gibt zwar unterschiedliche Methoden und Tools, aber du musst nur einen Weg finden, (1) deine Ziel-Webseite(n) automatisch zu durchsuchen und (2) die Daten zu extrahieren, sobald du dort bist. Normalerweise werden diese Schritte mit Scrapern<\/strong> und Crawlern<\/strong> durchgef\u00fchrt.<\/p>\n

Scraper und Crawler<\/h3>\n

Im Prinzip funktioniert Web Scraping fast genauso wie ein Pferd und ein Pflug.<\/p>\n

\"Ein
Ein Crawler und ein Scraper funktionieren \u00e4hnlich wie ein Pferd und ein Pflug<\/figcaption><\/figure>\n

W\u00e4hrend das Pferd den Pflug f\u00fchrt, dreht sich der Pflug und bricht die Erde auf, um Platz f\u00fcr neues Saatgut zu schaffen und gleichzeitig unerw\u00fcnschtes Unkraut und Ernter\u00fcckst\u00e4nde in den Boden zur\u00fcckzuarbeiten.<\/p>\n

Abgesehen vom Pferd ist das Schaben von Bahnen nicht viel anders. Hier \u00fcbernimmt ein Crawler die Rolle des Pferdes und f\u00fchrt den Scraper – quasi unseren Pflug – durch unsere digitalen Felder.<\/p>\n

Hier ist, was die beiden tun.<\/p>\n