دوره استخراج داده از وب (Web Scraping) با Scrapy و BeautifulSoup همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استخراج داده از وب (Web Scraping) با Scrapy و BeautifulSoup

موضوع کلی: برنامه نویسی

موضوع میانی: تحلیل داده (Data Analysis)

📋 سرفصل‌های دوره

• 1. مبانی جمع‌آوری داده از وب
• 2. مقدمه‌ای بر پایتون برای جمع‌آوری داده
• 3. نصب و پیکربندی Scrapy
• 4. آشنایی با معماری Scrapy
• 5. ساخت اولین پروژه Scrapy
• 6. مفهوم Spiders در Scrapy
• 7. نوشتن اولین Spider
• 8. انتخابگرها (Selectors): CSS و XPath
• 9. استخراج داده با استفاده از Selectors
• 10. نحوه کار با پاسخ‌ها (Responses)
• 11. مدیریت لینک‌ها و پیمایش وب‌سایت‌ها
• 12. استخراج داده‌های ساختاریافته (JSON, CSV)
• 13. ذخیره‌سازی داده‌ها با Item Exporters
• 14. مفهوم Items در Scrapy
• 15. تعریف و استفاده از Items
• 16. اعتبارسنجی داده‌ها با Scrapy
• 17. تنظیمات (Settings) در Scrapy
• 18. مدیریت درخواست‌ها (Requests)
• 19. استفاده از Middleware در Scrapy
• 20. نوشتن Custom Middleware
• 21. پایپ‌لاین‌ها (Pipelines) در Scrapy
• 22. پردازش داده‌ها در پایپ‌لاین‌ها
• 23. مدیریت خطاها و استثناها
• 24. دیباگ کردن پروژه‌های Scrapy
• 25. استفاده از Scrapy Shell
• 26. تست کردن Spiderها
• 27. کار با فرم‌ها و ارسال داده
• 28. مدیریت کوکی‌ها و سشن‌ها
• 29. استفاده از User-Agent Spoofing
• 30. مدیریت محدودیت‌های نرخ درخواست (Rate Limiting)
• 31. کار با وب‌سایت‌های داینامیک (JavaScript)
• 32. مقدمه‌ای بر BeautifulSoup
• 33. نصب و استفاده از BeautifulSoup
• 34. استخراج داده با BeautifulSoup
• 35. ترکیب Scrapy و BeautifulSoup
• 36. آشنایی با APIهای وب
• 37. جمع‌آوری داده از RESTful APIها
• 38. کار با احراز هویت در APIها
• 39. استفاده از کتابخانه‌های دیگر برای جمع‌آوری داده
• 40. مقدمه‌ای بر پایگاه داده‌های رابطه‌ای
• 41. ذخیره‌سازی داده‌ها در SQLite
• 42. اتصال Scrapy به پایگاه داده
• 43. استفاده از SQLAlchemy با Scrapy
• 44. مقدمه‌ای بر پایگاه داده‌های NoSQL
• 45. ذخیره‌سازی داده‌ها در MongoDB
• 46. اتصال Scrapy به MongoDB
• 47. مفاهیم پایگاه داده Graph (اختیاری)
• 48. اصول پاکسازی داده (Data Cleaning)
• 49. استانداردسازی داده‌ها
• 50. مدیریت داده‌های تکراری
• 51. شناسایی و رفع داده‌های پرت
• 52. مقدمه‌ای بر تجسم داده (Data Visualization)
• 53. رسم نمودارها با Matplotlib
• 54. رسم نمودارها با Seaborn
• 55. ساخت داشبوردهای ساده
• 56. مفاهیم اولیه تحلیل داده
• 57. استفاده از Pandas برای تحلیل داده
• 58. عملیات پایه‌ای با Pandas
• 59. فیلتر کردن و مرتب‌سازی داده‌ها
• 60. گروه‌بندی و تجمیع داده‌ها
• 61. پیوستن و ادغام داده‌ها
• 62. تحلیل آماری مقدماتی
• 63. آشنایی با مدل‌های یادگیری ماشین (اختیاری)
• 64. مقدمه‌ای بر پردازش زبان طبیعی (NLP)
• 65. کار با متن و رشته‌ها در پایتون
• 66. استخراج کلمات کلیدی
• 67. تحلیل احساسات (Sentiment Analysis) مقدماتی
• 68. مفاهیم اولیه هوش مصنوعی
• 69. اخلاق در جمع‌آوری و استفاده از داده
• 70. حفظ حریم خصوصی داده‌ها
• 71. قوانین مربوط به جمع‌آوری داده در ایران
• 72. ملاحظات شرعی در جمع‌آوری داده
• 73. استفاده مسئولانه از داده‌های جمع‌آوری شده
• 74. پروژه‌های عملی جمع‌آوری داده
• 75. جمع‌آوری داده از وب‌سایت‌های خبری
• 76. جمع‌آوری داده از فروشگاه‌های آنلاین
• 77. جمع‌آوری داده از شبکه‌های اجتماعی (با رعایت قوانین)
• 78. جمع‌آوری داده از وب‌سایت‌های دولتی
• 79. جمع‌آوری داده از منابع علمی
• 80. پروژه‌های پیشرفته‌تر
• 81. استفاده از Scrapy Cloud
• 82. استقرار پروژه‌های Scrapy
• 83. مانیتورینگ و نگهداری ربات‌های جمع‌آوری داده
• 84. مقایسه ابزارها و روش‌های مختلف
• 85. بهینه‌سازی عملکرد Scrapy
• 86. کار با وب‌سایت‌های دارای CAPTCHA
• 87. استفاده از Proxy Serverها
• 88. مدیریت IP Ban شدن
• 89. اصول طراحی ربات‌های پایدار
• 90. جمع‌بندی و مسیرهای یادگیری آینده
• 91. معرفی منابع تکمیلی
• 92. ارتباط با جامعه توسعه‌دهندگان Scrapy
• 93. نکات کاربردی برای پروژه‌های واقعی
• 94. درس‌های آموخته شده از پروژه‌های گذشته
• 95. ملاحظات فنی و امنیتی در جمع‌آوری داده
• 96. جمع‌بندی اصول و مبانی
• 97. مرور مفاهیم کلیدی
• 98. تکنیک‌های پیشرفته جمع‌آوری داده
• 99. کاربردهای عملی جمع‌آوری داده در کسب‌وکار
• 100. آینده جمع‌آوری داده و ابزارهای مرتبط