404

MediaCrawler - это парсер для самостоятельного извлечения данных из различных социальных медиа-платформ. Он предлагает функциональность, такую как поиск постов и комментариев на основе ключевых слов или конкретных идентификаторов. Инструмент поддерживает несколько платформ и варианты баз данных (SQLite и MySQL). Требуется Python 3.11 и Node.js (для некоторых платформ). Пользователи могут настраивать параметры, такие как извлечение комментариев и выбор базы данных. Документация включает инструкции по настройке, сведения об архитектуре проекта и руководства по устранению неполадок. Также предоставляет варианты для пожертвований и поддержки разработчиков. В проекте используется uv для управления зависимостями и Playwright для автоматизации браузера.

Установите Python 3.11 и Node.js (версия >= 16.0.0). Используйте uv sync для управления зависимостями Python. Установите драйверы браузера Playwright: playwright install. Настройте параметры в config/base_config.py (например, включите извлечение комментариев). Запустите парсер, используя команды, такие как python main.py --platform --lt qrcode --type search.

MediaCrawler - проект с открытым исходным кодом и доступен бесплатно.