فلش‌کارت‌های آموزشی جمع‌آوری هوشمندانه داده: یادگیری Beautiful Soup برای تحلیلگران

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جمع‌آوری هوشمندانه داده: یادگیری Beautiful Soup برای تحلیلگران

موضوع کلی: اتوماسیون با پایتون

موضوع میانی: استفاده از کتابخانه‌های وب اسکرپینگ (Beautiful Soup، Scrapy)

📋 سرفصل‌های دوره

• 1. مقدمه: تحلیل وب و استخراج داده
• 2. فصل ۱: چرا Beautiful Soup؟
• 3. فصل ۲: نصب Beautiful Soup
• 4. فصل ۳: اولین گام‌ها: باز کردن یک صفحه وب
• 5. فصل ۴: ساختار HTML: تگ‌ها و خصوصیات
• 6. فصل ۵: پیمایش درخت HTML
• 7. فصل ۶: پیدا کردن تگ‌ها با `find()`
• 8. فصل ۷: پیدا کردن تگ‌ها با `find_all()`
• 9. فصل ۸: جستجوی بر اساس نام تگ
• 10. فصل ۹: جستجوی بر اساس خصوصیات (Attributes)
• 11. فصل ۱۰: جستجوی بر اساس متن
• 12. فصل ۱۱: ترکیب معیارهای جستجو
• 13. فصل ۱۲: استخراج متن از تگ‌ها
• 14. فصل ۱۳: استخراج مقادیر خصوصیات (Attributes)
• 15. فصل ۱۴: کار با لیست‌ها و داده‌های جدولی
• 16. فصل ۱۵: پیمایش در صفحات با پیوندهای شکسته
• 17. فصل ۱۶: تمیز کردن داده‌های استخراج شده
• 18. فصل ۱۷: مقابله با جداکننده‌های غیرمعمول
• 19. فصل ۱۸: مدیریت خطاها در استخراج
• 20. فصل ۱۹: استفاده از عبارات منظم (Regular Expressions)
• 21. فصل ۲۰: عبارات منظم برای یافتن الگوها
• 22. فصل ۲۱: عبارات منظم در Beautiful Soup
• 23. فصل ۲۲: استخراج داده‌های ساختاریافته
• 24. فصل ۲۳: JSON و Beautiful Soup
• 25. فصل ۲۴: CSV و Beautiful Soup
• 26. فصل ۲۵: استخراج لیست‌ها و مجموعه‌ها
• 27. فصل ۲۶: وب‌اسکرپینگ صفحات پیچیده
• 28. فصل ۲۷: درک CSS Selectors
• 29. فصل ۲۸: استفاده از CSS Selectors با Beautiful Soup
• 30. فصل ۲۹: مقایسه CSS Selectors و `find_all`
• 31. فصل ۳۰: اسکرپینگ محتوای پویا (JavaScript)
• 32. فصل ۳۱: چالش‌های جاوا اسکریپت
• 33. فصل ۳۲: معرفی Selenium
• 34. فصل ۳۳: نصب Selenium
• 35. فصل ۳۴: اولین گام‌ها با Selenium
• 36. فصل ۳۵: اجرای جاوا اسکریپت از طریق Selenium
• 37. فصل ۳۶: انتظار برای بارگذاری محتوا
• 38. فصل ۳۷: تعامل با عناصر صفحه
• 39. فصل ۳۸: کلیک کردن، تایپ کردن و ارسال فرم‌ها
• 40. فصل ۳۹: گرفتن اسکرین‌شات با Selenium
• 41. فصل ۴۰: ترکیب Beautiful Soup و Selenium
• 42. فصل ۴۱: استخراج داده پس از اجرای جاوا اسکریپت
• 43. فصل ۴۲: مدیریت کوکی‌ها و نشست‌ها
• 44. فصل ۴۳: استفاده از پروکسی‌ها
• 45. فصل ۴۴: تنظیم هدرهای HTTP
• 46. فصل ۴۵: محدودیت‌های نرخ (Rate Limiting)
• 47. فصل ۴۶: مدیریت هدر User-Agent
• 48. فصل ۴۷: اجتناب از مسدود شدن
• 49. فصل ۴۸: سیاست‌های وب‌سایت و ربات‌ها
• 50. فصل ۴۹: فایل `robots.txt`
• 51. فصل ۵۰: ملاحظات اخلاقی در وب‌اسکرپینگ
• 52. فصل ۵۱: قوانین کپی‌رایت و داده‌ها
• 53. فصل ۵۲: تأثیر بر سرورهای هدف
• 54. فصل ۵۳: جمع‌آوری داده برای تحلیل بازاریابی
• 55. فصل ۵۴: اسکرپینگ قیمت محصولات
• 56. فصل ۵۵: جمع‌آوری نظرات مشتریان
• 57. فصل ۵۶: تحلیل احساسات اولیه
• 58. فصل ۵۷: جمع‌آوری داده‌های مالی
• 59. فصل ۵۸: اسکرپینگ داده‌های بورس
• 60. فصل ۵۹: جمع‌آوری اطلاعات شرکت‌ها
• 61. فصل ۶۰: داده‌های شبکه‌های اجتماعی (مقدماتی)
• 62. فصل ۶۱: استخراج پست‌ها و کامنت‌ها
• 63. فصل ۶۲: جمع‌آوری داده‌های آموزشی
• 64. فصل ۶۳: اسکرپینگ مقالات و دوره‌ها
• 65. فصل ۶۴: جمع‌آوری داده‌های عمومی
• 66. فصل ۶۵: داده‌های آب و هوا
• 67. فصل ۶۶: داده‌های جغرافیایی
• 68. فصل ۶۷: ذخیره‌سازی داده‌های استخراج شده
• 69. فصل ۶۸: فرمت‌های فایل متنی (CSV, TXT)
• 70. فصل ۶۹: فرمت JSON
• 71. فصل ۷۰: پایگاه‌های داده رابطه‌ای (SQLite)
• 72. فصل ۷۱: مقدمه‌ای بر پایگاه‌های داده NoSQL (MongoDB)
• 73. فصل ۷۲: بهینه‌سازی فرآیند جمع‌آوری داده
• 74. فصل ۷۳: موازی‌سازی در Beautiful Soup
• 75. فصل ۷۴: استفاده از `multiprocessing`
• 76. فصل ۷۵: استفاده از `threading`
• 77. فصل ۷۶: اشکال‌زدایی کدهای Beautiful Soup
• 78. فصل ۷۷: ابزارهای مفید برای اشکال‌زدایی
• 79. فصل ۷۸: تست کدهای اسکرپینگ
• 80. فصل ۷۹: سناریوهای پیچیده: فرم‌های پویا
• 81. فصل ۸۰: اسکرپینگ از طریق APIها
• 82. فصل ۸۱: تفاوت اسکرپینگ و API
• 83. فصل ۸۲: مزایای استفاده از API
• 84. فصل ۸۳: جمع‌آوری داده‌های بدون ساختار
• 85. فصل ۸۴: پاکسازی متون طولانی
• 86. فصل ۸۵: حذف تگ‌های HTML ناخواسته
• 87. فصل ۸۶: استانداردسازی داده‌های استخراج شده
• 88. فصل ۸۷: قالب‌بندی تاریخ و زمان
• 89. فصل ۸۸: شناسایی و مدیریت مقادیر گمشده
• 90. فصل ۸۹: پیش‌پردازش داده برای تحلیل
• 91. فصل ۹۰: استخراج کلمات کلیدی
• 92. فصل ۹۱: شمارش کلمات
• 93. فصل ۹۲: تجسم داده‌های استخراج شده (مقدماتی)
• 94. فصل ۹۳: معرفی کتابخانه‌های تجسم
• 95. فصل ۹۴: پروژه‌های عملی: جمع‌آوری اخبار
• 96. فصل ۹۵: پروژه‌های عملی: اسکرپینگ اطلاعات شغلی
• 97. فصل ۹۶: پروژه‌های عملی: تحلیل مسابقات ورزشی
• 98. فصل ۹۷: آینده Beautiful Soup و وب‌اسکرپینگ
• 99. فصل ۹۸: ابزارها و کتابخانه‌های جایگزین
• 100. فصل ۹۹: جمع‌بندی و گام‌های بعدی