MediaCrawler | utilo

MediaCrawler

MediaCrawler: Coletor de mídia social

Visitar site

Grátis

Plataformas suportadas

web

Tags de ferramenta

O que é MediaCrawler

MediaCrawler é um coletor de mídia social projetado para extrair dados de várias plataformas. Oferece funcionalidades como busca de posts e comentários por palavras-chave ou IDs específicos. Suporta múltiplas plataformas e opções de banco de dados (SQLite e MySQL). Requer Python 3.11 e Node.js (para algumas plataformas). Usuários podem configurar configurações como extração de comentários e escolha de banco de dados. A documentação inclui instruções de configuração, detalhes da arquitetura do projeto e guias de solução de problemas. Também oferece opções de doação e suporte ao desenvolvedor. O projeto usa uv para gerenciamento de dependências e Playwright para automação de navegador.

Principais recursos do MediaCrawler

Suporte multi-plataforma

Extrai dados de várias plataformas de mídia social.

Busca por palavra-chave e ID

Permite buscar posts e comentários usando palavras-chave ou IDs específicos.

Opções de banco de dados

Suporta SQLite e MySQL para armazenamento de dados.

Gerenciamento de dependências

Usa `uv` para gerenciamento consistente de dependências Python.

Automação de navegador

Emprega Playwright para interação com o navegador.

Configurações configuráveis

Oferece opções personalizáveis em `config/base_config.py`.

Como usar o MediaCrawler

Instale Python 3.11 e Node.js (versão >= 16.0.0). Use uv sync para gerenciar dependências Python. Instale drivers de navegador Playwright: playwright install. Configure as configurações em config/base_config.py (ex: habilitar extração de comentários). Execute o coletor usando comandos como python main.py --platform --lt qrcode --type search.