MediaCrawler

MediaCrawlerは、様々なソーシャルメディアプラットフォームからデータを抽出するために設計された自己メディアクローラーです。キーワードや特定のIDに基づいて投稿やコメントを検索する機能を提供します。複数のプラットフォームとデータベースオプション（SQLiteとMySQL）をサポートしています。Python 3.11とNode.js（一部のプラットフォーム用）が必要です。ユーザーは、コメント抽出やデータベースの選択などの設定を構成できます。ドキュメントには、セットアップ手順、プロジェクトアーキテクチャの詳細、およびトラブルシューティングガイドが含まれています。また、寄付と開発者のサポートオプションも提供しています。このプロジェクトは、依存関係管理にuvを、ブラウザ自動化にPlaywrightを使用しています。

Python 3.11とNode.js（バージョン>= 16.0.0）をインストールします。uv syncを使用してPythonの依存関係を管理します。Playwrightブラウザドライバをインストールします：playwright install。config/base_config.pyで設定を構成します（例：コメント抽出を有効にする）。python main.py --platform --lt qrcode --type searchのようなコマンドを使用してクローラーを実行します。

MediaCrawlerはオープンソースプロジェクトであり、無料で利用できます。