اپلیکیشن اندرویدی فلش‌کارت آموزشی کاشتن بذرهای Web Scraping: گام به گام با پایتون

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کاشتن بذرهای Web Scraping: گام به گام با پایتون

موضوع کلی: برنامه‌نویسی کامپیوترهای شخصی

موضوع میانی: Web Scraping

📋 سرفصل‌های دوره

• 1. مقدمه: وب اسکرپینگ چیست؟
• 2. چرا پایتون برای وب اسکرپینگ؟
• 3. نصب پایتون و ابزارهای مورد نیاز
• 4. آشنایی با ساختار HTML
• 5. مفهوم تگ‌ها، صفات و المنت‌ها
• 6. ابزارهای مرورگر برای inspect کردن صفحات
• 7. شناخت CSS Selectors
• 8. CSS Selectors: شناسایی المنت‌ها با کلاس و ID
• 9. CSS Selectors: ترکیب سلکتورها برای دقت بیشتر
• 10. XPath: یک جایگزین قدرتمند برای CSS Selectors
• 11. XPath: انتخاب المنت‌ها بر اساس مسیر
• 12. XPath: انتخاب المنت‌ها بر اساس صفات
• 13. XPath: ابزارهای کاربردی برای ساخت XPath
• 14. تفاوت‌های کلیدی بین CSS Selectors و XPath
• 15. معرفی کتابخانه Requests
• 16. ارسال درخواست‌های GET ساده
• 17. مدیریت پارامترهای URL در درخواست‌های GET
• 18. ارسال درخواست‌های POST
• 19. مدیریت هدرها در درخواست‌های HTTP
• 20. استفاده از کوکی‌ها در Requests
• 21. بررسی وضعیت پاسخ (Status Codes)
• 22. مدیریت خطاها و استثنائات در Requests
• 23. آشنایی با کتابخانه Beautiful Soup
• 24. نصب Beautiful Soup
• 25. پار کردن (Parsing) HTML با Beautiful Soup
• 26. یافتن المنت‌ها بر اساس نام تگ
• 27. یافتن المنت‌ها بر اساس صفات (Attributes)
• 28. جستجوی فرزندان و والدین یک المنت
• 29. پیمایش ساختار سند HTML
• 30. استخراج متن از المنت‌ها
• 31. استخراج صفات (Attributes) از المنت‌ها
• 32. استفاده از CSS Selectors در Beautiful Soup
• 33. استفاده از XPath در Beautiful Soup (با یک کتابخانه کمکی)
• 34. مدیریت صفحات وب پویا (Dynamic Web Pages)
• 35. معرفی Selenium WebDriver
• 36. چرا Selenium برای صفحات پویا؟
• 37. نصب Selenium و WebDriver
• 38. راه اندازی مرورگر با Selenium
• 39. پیمایش وب‌سایت‌ها با Selenium
• 40. یافتن المنت‌ها با Selenium (ID, Name, Class Name)
• 41. یافتن المنت‌ها با Selenium (Tag Name, Link Text)
• 42. یافتن المنت‌ها با Selenium (Partial Link Text, CSS Selector)
• 43. یافتن المنت‌ها با Selenium (XPath)
• 44. کلیک کردن روی المنت‌ها
• 45. ورود متن به فیلدهای ورودی
• 46. انتخاب گزینه‌ها از منوهای کشویی
• 47. کشف و استفاده از JavaScript Executor
• 48. مدیریت انتظار (Implicit Wait)
• 49. مدیریت انتظار (Explicit Wait)
• 50. انتظار برای مشاهده‌پذیری یک المنت
• 51. انتظار برای قابل کلیک بودن یک المنت
• 52. انتظار برای حضور یک المنت در DOM
• 53. مدیریت پنجره‌ها و تب‌ها در Selenium
• 54. گرفتن اسکرین‌شات با Selenium
• 55. استفاده از پرایوت مود (Incognito Mode)
• 56. تکنیک‌های پیشرفته وب اسکرپینگ
• 57. مدیریت صفحات با Paging (صفحه‌بندی)
• 58. اسکرپینگ اطلاعات از جداول
• 59. استخراج داده‌ها از فرم‌ها
• 60. رسیدگی به CAPTCHA (مقدماتی)
• 61. اصول احترام به robots.txt
• 62. مدیریت نرخ درخواست (Rate Limiting)
• 63. استفاده از User-Agent برای تقلید مرورگر
• 64. تکنیک‌های ضد ردیابی (Anti-Scraping)
• 65. مفهوم Proxies و کاربرد آن
• 66. استفاده از Proxies در Requests
• 67. استفاده از Proxies در Selenium
• 68. مدیریت خطاها و مدیریت مجدد (Retries)
• 69. ذخیره‌سازی داده‌های استخراج شده
• 70. ذخیره در فایل CSV
• 71. ذخیره در فایل JSON
• 72. ذخیره در پایگاه داده SQLite
• 73. ساخت یک اسکرپر ساده برای یک وب‌سایت
• 74. طراحی معماری یک اسکرپر پیچیده‌تر
• 75. استفاده از Asyncio برای سرعت بخشیدن به اسکرپینگ
• 76. معرفی Scrapy (چارچوب وب اسکرپینگ)
• 77. نصب Scrapy
• 78. ساختار پروژه Scrapy
• 79. تعریف Spiders در Scrapy
• 80. نوشتن Spider برای استخراج داده
• 81. تعریف Items برای ساختاردهی داده
• 82. استفاده از Selectors در Scrapy (CSS و XPath)
• 83. پایپ‌لاین‌های Scrapy برای پردازش داده
• 84. Pipelines: فیلتر کردن داده‌ها
• 85. Pipelines: تمیز کردن داده‌ها
• 86. Pipelines: ذخیره در پایگاه داده
• 87. مدیریت درخواست‌ها و کوکی‌ها در Scrapy
• 88. مدیریت Middleware در Scrapy
• 89. کار با احراز هویت در Scrapy
• 90. مدیریت خطاهای شبکه در Scrapy
• 91. Deploy کردن اسکرپرهای Scrapy
• 92. ملاحظات اخلاقی در وب اسکرپینگ
• 93. قوانین کپی رایت و استفاده از داده‌ها
• 94. تاثیر وب اسکرپینگ بر عملکرد سرورها
• 95. روش‌های مشروع وب اسکرپینگ
• 96. بهینه‌سازی اسکرپرهای پایتون
• 97. تست و دیباگ کردن اسکرپرها
• 98. موارد استفاده پیشرفته و پروژه‌های عملی
• 99. آموزش اسکرپینگ از API های وب (در صورت وجود)
• 100. جمع‌بندی و گام‌های بعدی در دنیای اسکرپینگ