Scrapen Daten aus Webseite zu Excel

#excel #webdev #programming #webscraping

Artikel Quelle: Scrapen Daten aus Webseite zu Excel
Sie kennen wahrscheinlich, wie die grundlegenden Funktionen von Excel zu verwenden sind, ob Sie eine digitale Einheimische oder einer digitalen Einwanderer sind. Es ist einfach, mit Excel Daten zu sortieren, filtern, gliedern, und Diagrammen zu erstellen. Voraussichtlich können Sie noch erweiterte Datenanalysen mit Pivot- und Regressionsmodellen bekommen.
Das ist eine mühelose Aufgabe, solange die Daten in ein strukturiertes Format umgewandelt werden. Das Problem ist, wie man skalierbare Daten extrahieren und sie in Excel einfügen kann. Dies könnte eine mühsame Aufgabe werden, wenn man es manuell durch wiederholtes Tippen, Suchen, Kopieren und Einfügen macht. So fragen Sie vielleicht danach, wie wir denn automatisch Daten extrahieren und sie aus Weseite zu Excel scrapen können?

In diesem Artikel würde ich einige Möglichkeiten vorstellen, damit Sie Webdaten aus Webseite zu Excel scrapen und Ihre Zeit sparen können.

Methode 1: Erhalten Webdaten mit Excel Web Queries

Im Vergleich zu der durch Kopieren und Einfügen manuell umwandelnden Transformation von Webdaten kann man mit Excel Web Queries(Englisch) schnell Daten einer Webseite in ein Excel-Arbeitsblatt umwandeln. Es kann automatisch Tabellen erkennen, die in den HTML-Code der Webseite eingebettet sind. Excel Web Queries können auch verwendet werden, wenn eine Standard-ODBC (Open Database Connectivity) Verbindung schwer zu erstellen oder zu pflegen ist. Mit Excel Web Queries können Sie direkt Tabellen von beliebigen Webseiten scrapen.

Den Prozess kann man in einigen einfachen Schritten zusammenfassen (Für ausführliche Informationen lesen Sie bitte diesen Artikel(Englisch)):
✅ Schritt 1: Gehen zu Daten > Externe Daten erhalten> Aus dem Web
✅ Schritt 2: Ein Browser-Fenster mit dem Namen "Neue Web Query" wird angezeigt
✅ Schritt 3: Geben Sie in die Adressleiste die Webadresse ein.

✅ Schritt 4: Die Webseite wird geladen und zeigt gelbe Symbole von Daten/Tabellen an.
✅ Schritt 5: Wählen Sie das entsprechende Symbol aus.
✅ Schritt 6: Drücken Sie den Button „Importieren“.

Jetzt haben Sie die Webdaten zum Excel-Arbeitsblatt gescrapt, die perfekt in Zeilen und Spalten wie gewünscht angeordnet werden.

Methode 2: Erhalten Webdaten mit Excel VBA

Man verwendet Formeln in Excel (z.B. =avg(...), =sum(...), =if(...), usw.) oft , aber die meisten sind weniger vertraut mit der eingebauten Sprache - Visual Basic for Application (VBA). Es ist allgemein als „Makros“ bekannt und solche Excel-Dateien werden als **.xlsm gespeichert. Bevor Sie die Sprache verwenden, müssen Sie zuerst den Tab „Developer“ in der Multifunktionsleiste aktivieren (Rechtsklick auf Datei -> Multifunktionsleiste anpassen -> Tab „Developer“ aktivieren). Richten Sie dann Ihr Layout ein. In diesem Entwickler-Interface können Sie VBA-Code schreiben, der verschiedene Ereignisse befestigen kann. Klicken Sie HIER, um mit VBA eine Aufgabe in excel 2010 zu beginnen.

Die Verwendung von Excel VBA wird ein bisschen komplizierter - das ist nicht so benutzerfreundlich für die Nicht-Programmierer. VBA funktioniert durch die Ausführung von Makros und Schritt-für-Schritt-Prozeduren, die in Excel Visual Basic geschrieben sind. Um mit VBA Daten von Webseiten zu scrapen, müssen wir manche VBA-Skripts vorbereiten, um Anfragen an Webseiten zu senden und die zurückgegebenen Daten von diesen Webseiten zu erhalten. Es ist üblich, VBA mit XMLHTTP und regulären Ausdrücken zu verwenden, um die Webseiten zu parsen. Mit Windows-Betriebssystem können Sie VBA mit WinHTTP oder InternetExplorer zusammmen verwenden, um Daten von Webseiten zu Excel zu scrapen.

Mit Geduld und Übungen können Sie Excel-VBA-Code und HTML-Kenntnisse beherrschen. Und es lohnt sich, die Sprache zu erlernen, weil sie das Web-Scraping zu Excel viel einfacher und effizienter machen kann und die wiederholende Arbeit automatisieren lässt. Es gibt viele Materialien und Foren, in denen Sie lernen können, wie man VBA-Code schreiben sollte.

Methode 3: Automatisierte Web-Scraping-Tools

Für jemanden, der ein einfaches Tool sucht, um Daten von Webseiten zu scrapen, aber den VBA-Code nicht selbst einrichten möchte, empfehle ich dringend automatisierte Web Scraping Tools wie Octoparse, um Daten direkt in Ihr Excel-Arbeitsblatt oder über API zu exportieren. Es ist keine Programmierkenntnisse erforderlich. Natürlich können Sie auch eine Web-Scraping-Freeware aus Top 20 Web Crawling Tools auswählen und sofort mit der Datenextraktion und dem Daten-Exportieren beginnen. Verschiedene Web-Scraping-Tools haben ihre Vor- und Nachteile, sodass Sie ein Tool nach Ihren Bedürfnissen auswählen könnten. Das folgende Video zeigt, wie Sie ein automatisiertes Web-Scraping-Tool nutzen können, um Webdaten effizient zu extrahieren.

Methode 4: Auslagern Sie Ihr Web-Scraping-Projekt

Wenn Zeit für Sie am wichtigsten ist und Sie sich auf Ihr Kerngeschäft konzentrieren möchten, wäre es die beste Wahl, dem professionellen und erfahrenden Web-Scraping-Team solch komplizierte Web-Scraping-Arbeiten auszulagern. Es ist schwierig, Daten von Webseiten zu scrapen, weil Anti-Scraping-Bots von manchen Webseiten das Web-Scraping einschränkt. Ein kompetentes Web-Scraping-Team können Ihnen dabei helfen, Daten von Webseiten auf korrekte Art und Weise zu extrahieren und Ihnen strukturierte Daten in einer Excel-Tabelle oder in einem beliebigen Format zu senden.