MediaCrawler

MediaCrawler 是一款自媒体爬虫，旨在从各种社交媒体平台提取数据。它提供基于关键词或特定 ID 搜索帖子和评论的功能。该工具支持多种平台和数据库选项（SQLite 和 MySQL）。它需要 Python 3.11 和 Node.js（针对某些平台）。用户可以配置设置，如评论提取和数据库选择。文档包括设置说明、项目架构详细信息和故障排除指南。它还提供了捐赠和开发者支持选项。该项目使用 uv 进行依赖管理，并使用 Playwright 进行浏览器自动化。

安装 Python 3.11 和 Node.js（版本 >= 16.0.0）。使用 uv sync 管理 Python 依赖项。安装 Playwright 浏览器驱动程序：playwright install。在 config/base_config.py 中配置设置（例如，启用评论提取）。使用类似 python main.py --platform --lt qrcode --type search 的命令运行爬虫。

MediaCrawler 是一个开源项目，可免费使用。