MediaCrawler

Что такое MediaCrawler

MediaCrawler - это парсер для самостоятельного извлечения данных из различных социальных медиа-платформ. Он предлагает функциональность, такую как поиск постов и комментариев на основе ключевых слов или конкретных идентификаторов. Инструмент поддерживает несколько платформ и варианты баз данных (SQLite и MySQL). Требуется Python 3.11 и Node.js (для некоторых платформ). Пользователи могут настраивать параметры, такие как извлечение комментариев и выбор базы данных. Документация включает инструкции по настройке, сведения об архитектуре проекта и руководства по устранению неполадок. Также предоставляет варианты для пожертвований и поддержки разработчиков. В проекте используется uv для управления зависимостями и Playwright для автоматизации браузера.

Основные функции MediaCrawler

Поддержка нескольких платформ

Извлекает данные с различных платформ социальных сетей.

Поиск по ключевым словам и ID

Позволяет искать посты и комментарии, используя ключевые слова или конкретные идентификаторы.

Варианты баз данных

Поддерживает SQLite и MySQL для хранения данных.

Управление зависимостями

Использует `uv` для последовательного управления зависимостями Python.

Автоматизация браузера

Использует Playwright для взаимодействия с браузером.

Настраиваемые параметры

Предлагает настраиваемые параметры в `config/base_config.py`.

Как использовать MediaCrawler

Установите Python 3.11 и Node.js (версия >= 16.0.0). Используйте uv sync для управления зависимостями Python. Установите драйверы браузера Playwright: playwright install. Настройте параметры в config/base_config.py (например, включите извлечение комментариев). Запустите парсер, используя команды, такие как python main.py --platform --lt qrcode --type search.

Примеры использования MediaCrawler