MediaCrawler
MediaCrawler: زاحف وسائط ذاتية
مجاني
المنصات المدعومة
web
ما هو
MediaCrawler هو زاحف وسائط ذاتية مصمم لاستخراج البيانات من منصات التواصل الاجتماعي المختلفة. يوفر وظائف مثل البحث عن المنشورات والتعليقات بناءً على الكلمات الرئيسية أو المعرفات المحددة. تدعم الأداة منصات متعددة وخيارات قواعد بيانات (SQLite و MySQL). يتطلب Python 3.11 و Node.js (لبعض المنصات). يمكن للمستخدمين تكوين إعدادات مثل استخراج التعليقات واختيارات قاعدة البيانات. تتضمن الوثائق تعليمات الإعداد وتفاصيل بنية المشروع وأدلة استكشاف الأخطاء وإصلاحها. كما يوفر خيارات للتبرع ودعم المطورين. يستخدم المشروع uv لإدارة التبعيات و Playwright لأتمتة المتصفح.
الميزات الأساسية
دعم متعدد المنصات
يزحف البيانات من منصات التواصل الاجتماعي المختلفة.
بحث بالكلمات الرئيسية والمعرفات
يسمح بالبحث عن المنشورات والتعليقات باستخدام الكلمات الرئيسية أو المعرفات المحددة.
خيارات قاعدة البيانات
يدعم SQLite و MySQL لتخزين البيانات.
إدارة التبعيات
يستخدم `uv` لإدارة تبعيات Python بشكل متسق.
أتمتة المتصفح
يوظف Playwright للتفاعل مع المتصفح.
إعدادات قابلة للتكوين
يوفر خيارات قابلة للتخصيص في `config/base_config.py`.
كيفية الاستخدام
قم بتثبيت Python 3.11 و Node.js (الإصدار >= 16.0.0). استخدم uv sync لإدارة تبعيات Python. قم بتثبيت برامج تشغيل متصفح Playwright: playwright install. قم بتكوين الإعدادات في config/base_config.py (على سبيل المثال، تمكين استخراج التعليقات). قم بتشغيل الزاحف باستخدام أوامر مثل python main.py --platform --lt qrcode --type search.
حالات الاستخدام
مراقبة وسائل التواصل الاجتماعي
تتبع وتحليل المحتوى المتعلق بكلمات رئيسية أو مواضيع محددة.
تجميع المحتوى
جمع المنشورات والتعليقات من منصات متعددة للبحث أو التحليل.
تحليل البيانات
جمع البيانات لتحليل المشاعر وتحديد الاتجاهات والأغراض التحليلية الأخرى.
من يستفيد
الباحثون
لجمع وتحليل بيانات وسائل التواصل الاجتماعي لمشاريع البحث.
محللو البيانات
لجمع ومعالجة بيانات وسائل التواصل الاجتماعي للاستخبارات التجارية.
المطورون
لاستخدام وتخصيص الزاحف لتلبية احتياجات استخراج البيانات المحددة.
نظام التسعير
MediaCrawler هو مشروع مفتوح المصدر ومتاح مجانًا.
