Das Web-Scraping (manchmal auch Harvesting genannt ) ist eine Technik zur Extraktion von Inhalten von Websites über ein Skript oder ein Programm , um sie so umzuwandeln, dass sie in einem anderen Kontext verwendet werden kann, beispielsweise der SEO .
In den USA verwendet hiQ Labs Web-Scraping auf LinkedIn- Daten zu Rekrutierungszwecken. Nach einer Klage entschied das Berufungsgericht der Vereinigten Staaten für den neunten Bezirk zugunsten von hiQ inSeptember 2019 : Das Gericht ist insbesondere der Ansicht, dass die Benutzer das Eigentum ihrer Profile behalten und dass die Daten, die frei im Internet verbreitet werden, gesammelt werden können. Der Fall wird dann vor den Obersten Gerichtshof gebracht .
In einem Urteil aus dem Jahr 2013 verurteilte der Gerichtshof der Europäischen Union die Metasuchmaschine Innoweb, die Daten des Autovertriebsunternehmens Wegener unverändert weiterverwendete.
Das 30. April 2020, hat die CNIL neue Richtlinien zum Web-Scraping veröffentlicht. Die CNIL-Richtlinien legen fest, dass öffentlich zugängliche Daten immer personenbezogene Daten sind und nicht ohne Wissen der Person, der diese Daten gehören, wiederverwendet werden können.
Web-Scraping kann verwendet werden, um Metadaten abzurufen . Auf diese Weise ruft die XBMC- Multimediabibliothek Informationen zu den von ihr verwalteten Medien (Poster und Zusammenfassungen von Filmen und Fernsehserien, Albumcover usw.) auf verschiedenen Websites wie IMDb oder AlloCiné mithilfe von dedizierten Scrapern ab .