MediaCrawler | utilo

MediaCrawler

MediaCrawler: Self-Media-Crawler

Website besuchen

Frei

Unterstützte Plattformen

web

Tool-Tags

Was ist MediaCrawler

MediaCrawler ist ein Self-Media-Crawler, der Daten von verschiedenen Social-Media-Plattformen extrahiert. Er bietet Funktionen wie die Suche nach Beiträgen und Kommentaren basierend auf Keywords oder spezifischen IDs. Das Tool unterstützt mehrere Plattformen und Datenbankoptionen (SQLite und MySQL). Es benötigt Python 3.11 und Node.js (für einige Plattformen). Benutzer können Einstellungen wie die Kommentarextraktion und Datenbankauswahl konfigurieren. Die Dokumentation enthält Einrichtungsanweisungen, Details zur Projektarchitektur und Fehlerbehebungsanleitungen. Es bietet auch Optionen für Spenden und Entwicklerunterstützung. Das Projekt verwendet uv für die Abhängigkeitsverwaltung und Playwright für die Browserautomatisierung.

Hauptfunktionen von MediaCrawler

Multi-Plattform-Unterstützung

Crawlt Daten von verschiedenen Social-Media-Plattformen.

Schlüsselwort- und ID-basierte Suche

Ermöglicht die Suche nach Beiträgen und Kommentaren mit Keywords oder spezifischen IDs.

Datenbankoptionen

Unterstützt SQLite und MySQL für die Datenspeicherung.

Abhängigkeitsverwaltung

Verwendet `uv` für eine konsistente Python-Abhängigkeitsverwaltung.

Browserautomatisierung

Verwendet Playwright für die Browserinteraktion.

Konfigurierbare Einstellungen

Bietet anpassbare Optionen in `config/base_config.py`.

Wie man MediaCrawler verwendet

Installieren Sie Python 3.11 und Node.js (Version >= 16.0.0). Verwenden Sie uv sync, um Python-Abhängigkeiten zu verwalten. Installieren Sie Playwright-Browser-Treiber: playwright install. Konfigurieren Sie Einstellungen in config/base_config.py (z.B. Kommentarextraktion aktivieren). Führen Sie den Crawler mit Befehlen wie python main.py --platform --lt qrcode --type search aus.