MediaCrawler

MediaCrawler คืออะไร

MediaCrawler คือโปรแกรมเก็บข้อมูล (crawler) สำหรับโซเชียลมีเดีย ออกแบบมาเพื่อดึงข้อมูลจากแพลตฟอร์มต่างๆ มีฟังก์ชันค้นหาโพสต์และความคิดเห็นตามคีย์เวิร์ดหรือ ID เฉพาะ รองรับหลายแพลตฟอร์มและฐานข้อมูล (SQLite และ MySQL) ต้องใช้ Python 3.11 และ Node.js (สำหรับบางแพลตฟอร์ม) ผู้ใช้สามารถตั้งค่าต่างๆ เช่น การดึงความคิดเห็นและฐานข้อมูล เอกสารประกอบด้วยคำแนะนำการติดตั้ง รายละเอียดสถาปัตยกรรมโครงการ และคู่มือแก้ไขปัญหา มีตัวเลือกสำหรับการบริจาคและการสนับสนุนจากนักพัฒนา โครงการใช้ uv สำหรับการจัดการ dependencies และ Playwright สำหรับการทำงานอัตโนมัติของเบราว์เซอร์

คุณสมบัติหลักของ MediaCrawler

รองรับหลายแพลตฟอร์ม

ดึงข้อมูลจากแพลตฟอร์มโซเชียลมีเดียต่างๆ

ค้นหาด้วยคีย์เวิร์ดและ ID

ค้นหาโพสต์และความคิดเห็นโดยใช้คีย์เวิร์ดหรือ ID

ตัวเลือกฐานข้อมูล

รองรับ SQLite และ MySQL สำหรับจัดเก็บข้อมูล

จัดการ dependencies

ใช้ `uv` เพื่อจัดการ dependencies Python

ทำงานอัตโนมัติของเบราว์เซอร์

ใช้ Playwright สำหรับการโต้ตอบกับเบราว์เซอร์

ตั้งค่าได้

มีตัวเลือกที่ปรับแต่งได้ใน `config/base_config.py`

วิธีใช้ MediaCrawler

ติดตั้ง Python 3.11 และ Node.js (เวอร์ชัน >= 16.0.0), ใช้ uv sync จัดการ dependencies Python, ติดตั้ง Playwright: playwright install, ตั้งค่าใน config/base_config.py (เช่น เปิดใช้การดึงความคิดเห็น), รัน crawler ด้วยคำสั่งเช่น python main.py --platform --lt qrcode --type search

กรณีการใช้งานของ MediaCrawler