
MediaCrawler:自媒體爬蟲
免費

MediaCrawler 是一款自媒體爬蟲,旨在從各種社交媒體平台提取數據。它提供基於關鍵字或特定 ID 搜索帖子和評論的功能。該工具支持多個平台和數據庫選項(SQLite 和 MySQL)。它需要 Python 3.11 和 Node.js(適用於某些平台)。用戶可以配置設置,例如評論提取和數據庫選擇。文檔包括設置說明、項目架構詳細信息和故障排除指南。它還提供了捐贈和開發人員支持的選項。該項目使用 uv 進行依賴項管理,並使用 Playwright 進行瀏覽器自動化。
從各種社交媒體平台抓取數據。
允許使用關鍵字或特定 ID 搜索帖子和評論。
支持 SQLite 和 MySQL 進行數據存儲。
使用 `uv` 進行一致的 Python 依賴項管理。
採用 Playwright 進行瀏覽器交互。
在 `config/base_config.py` 中提供可自定義的選項。
安裝 Python 3.11 和 Node.js (版本 >= 16.0.0)。使用 uv sync 管理 Python 依賴項。安裝 Playwright 瀏覽器驅動程序:playwright install。在 config/base_config.py 中配置設置(例如,啟用評論提取)。使用類似 python main.py --platform --lt qrcode --type search 的命令運行爬蟲。
跟踪和分析與特定關鍵字或主題相關的內容。
從多個平台收集帖子和評論,用於研究或分析。
收集數據用於情感分析、趨勢識別和其他分析目的。
用於收集和分析社交媒體數據,用於研究項目。
收集和處理社交媒體數據,用於商業智能。
使用和自定義爬蟲,以滿足特定的數據提取需求。
MediaCrawler 是一個開源項目,可免費使用。