اپلیکیشن اندرویدی فلش‌کارت آموزشی مبانی استخراج داده از وب با Puppeteer

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی استخراج داده از وب با Puppeteer

موضوع کلی: فناوری اطلاعات و توسعه نرم‌افزار

موضوع میانی: توسعه وب و ابزارهای اتوماسیون

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر استخراج داده از وب
• 2. آشنایی با مفاهیم پایه‌ای وب
• 3. نحوه عملکرد پروتکل HTTP
• 4. ساختار سند HTML
• 5. مفهوم DOM و درخت DOM
• 6. نقش JavaScript در صفحات وب
• 7. معرفی ابزارهای توسعه‌دهنده مرورگر
• 8. اصول اولیه استخراج داده
• 9. چالش‌های استخراج داده
• 10. معرفی کتابخانه Puppeteer
• 11. نصب و راه‌اندازی Puppeteer
• 12. اجرای اولین اسکریپت Puppeteer
• 13. کنترل مرورگر با Puppeteer
• 14. ناوبری بین صفحات وب
• 15. یافتن عناصر در صفحه
• 16. انتخاب عناصر با استفاده از سلکتورها
• 17. انتخاب عناصر با نام تگ
• 18. انتخاب عناصر با کلاس CSS
• 19. انتخاب عناصر با شناسه (ID)
• 20. انتخاب عناصر با ویژگی‌ها
• 21. انتخاب عناصر با استفاده از XPath
• 22. کار با متن عناصر
• 23. استخراج متن از تگ‌ها
• 24. استخراج محتوای HTML عناصر
• 25. استخراج مقادیر فرم‌ها
• 26. تعامل با عناصر صفحه
• 27. کلیک کردن روی دکمه‌ها
• 28. پر کردن فیلدهای متنی
• 29. انتخاب از لیست‌های کشویی
• 30. ارسال فرم‌ها
• 31. اجرای JavaScript در صفحه
• 32. اجرای دستورات دلخواه در مرورگر
• 33. استفاده از `page.evaluate`
• 34. انتقال داده بین Node.js و مرورگر
• 35. مدیریت رویدادها در صفحه
• 36. انتظار برای بارگذاری عناصر
• 37. انتظار برای تغییرات در DOM
• 38. انتظار برای درخواست‌های شبکه
• 39. مدیریت خطاهای استخراج داده
• 40. استفاده از Try-Catch در Puppeteer
• 41. مدیریت زمان‌بندی (Timeouts)
• 42. بازبینی و بهینه‌سازی اسکریپت‌ها
• 43. استفاده از User Agents
• 44. مدیریت کوکی‌ها و نشست‌ها
• 45. شبیه‌سازی رفتار کاربر
• 46. استخراج داده از جداول
• 47. استخراج لیست‌ها و آیتم‌ها
• 48. استخراج تصاویر و لینک‌ها
• 49. استخراج اطلاعات ساختاریافته (JSON-LD)
• 50. معرفی ابزارهای اتوماسیون وب
• 51. تفاوت استخراج داده و اتوماسیون وب
• 52. کاربردهای اتوماسیون در تست نرم‌افزار
• 53. اتوماسیون تست فرم‌ها
• 54. اتوماسیون تست ناوبری
• 55. اتوماسیون تست رابط کاربری
• 56. معرفی ابزارهای مدیریت تست
• 57. تکنیک‌های پیشرفته استخراج داده
• 58. کار با صفحات دینامیک (AJAX)
• 59. استخراج داده از APIهای داخلی صفحات
• 60. مدیریت درخواست‌های شبکه
• 61. رهگیری درخواست‌های HTTP
• 62. مسدودسازی درخواست‌های ناخواسته
• 63. استخراج داده از صفحات پازل‌دار
• 64. کار با CAPTCHA (روش‌های سازگار)
• 65. استفاده از ابزارهای OCR (روش‌های سازگار)
• 66. استخراج داده از صفحات دارای احراز هویت
• 67. مدیریت لاگین و سشن‌ها
• 68. استخراج داده از صفحات محدود شده
• 69. استفاده از پراکسی‌ها
• 70. مدیریت IPهای مسدود شده
• 71. ساختاردهی داده‌های استخراج شده
• 72. ذخیره داده‌ها در فایل CSV
• 73. ذخیره داده‌ها در فایل JSON
• 74. ذخیره داده‌ها در پایگاه داده
• 75. معرفی پایگاه‌های داده رابطه‌ای
• 76. معرفی پایگاه‌های داده NoSQL
• 77. اتصال Puppeteer به پایگاه داده
• 78. اصول اخلاقی استخراج داده
• 79. رعایت قوانین وب‌سایت‌ها
• 80. پرهیز از بارگذاری بیش از حد سرور
• 81. حفظ حریم خصوصی کاربران
• 82. مسائل حقوقی استخراج داده
• 83. مجوزهای استفاده از داده‌ها
• 84. توافق‌نامه‌های استفاده از خدمات (Terms of Service)
• 85. مطالعه موردی: استخراج داده از یک وب‌سایت خبری
• 86. مطالعه موردی: اتوماسیون ثبت‌نام در یک سامانه
• 87. مطالعه موردی: استخراج قیمت محصولات از یک فروشگاه آنلاین
• 88. معرفی فریم‌ورک‌های توسعه وب
• 89. آشنایی با Node.js
• 90. مفاهیم اولیه برنامه‌نویسی در Node.js
• 91. نحوه اجرای اسکریپت‌های Node.js
• 92. مدیریت بسته NPM
• 93. نصب کتابخانه‌های Node.js
• 94. کار با ماژول‌های Node.js
• 95. مقدمه‌ای بر معماری Microservices (در صورت ارتباط)
• 96. امنیت در اتوماسیون وب
• 97. پیشگیری از حملات XSS (در اتوماسیون)
• 98. جلوگیری از تزریق کد (در اتوماسیون)
• 99. استفاده از متغیرهای محیطی
• 100. مدیریت اطلاعات حساس