دوره Data Integration and Extraction with APIs همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Data Integration and Extraction with APIs

موضوع کلی: برنامه نویسی

موضوع میانی: ای‌پی‌آی (API) و وب‌سرویس‌ها

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مفاهیم پایه‌ای استخراج و ادغام داده
• 2. اصول اولیهٔ کار با APIها در مهندسی داده
• 3. معرفی معماری‌های رایج API (REST, SOAP, GraphQL)
• 4. درک پروتکل‌های ارتباطی (HTTP/HTTPS)
• 5. روش‌های درخواست (GET, POST, PUT, DELETE)
• 6. مدیریت پارامترهای درخواست و هدرهای API
• 7. کدهای وضعیت HTTP و معنای آن‌ها
• 8. مفاهیم JSON و XML در تبادل داده
• 9. پردازش پاسخ‌های JSON و استخراج مقادیر
• 10. کار با پاسخ‌های XML و تبدیل به ساختار قابل استفاده
• 11. اصول اولیهٔ احراز هویت و مجوز در APIها
• 12. روش‌های امن‌سازی API (کلیدهای API، OAuth 2.0)
• 13. پیاده‌سازی مکانیزم‌های احراز هویت ساده
• 14. مبانی استفاده از کتابخانه‌های پایتون برای کار با API (Requests)
• 15. نصب و پیکربندی کتابخانه Requests
• 16. ارسال درخواست‌های GET با Requests
• 17. ارسال درخواست‌های POST با Requests
• 18. کار با داده‌های JSON در Requests
• 19. مدیریت خطاها و استثنائات در درخواست‌های API
• 20. اصول اولیهٔ استخراج داده از پایگاه‌های داده رابطه‌ای
• 21. مقدمه‌ای بر SQL برای استخراج داده
• 22. کوئری‌های SELECT برای بازیابی اطلاعات
• 23. فیلتر کردن داده‌ها با WHERE
• 24. مرتب‌سازی نتایج با ORDER BY
• 25. گروه‌بندی داده‌ها با GROUP BY
• 26. پیاده‌سازی join ها برای ادغام داده از جداول مختلف
• 27. مبانی استخراج داده از پایگاه‌های داده NoSQL
• 28. معرفی MongoDB و ساختار سند-محور
• 29. کوئری‌های پایه در MongoDB
• 30. کار با عملگرهای فیلترینگ در MongoDB
• 31. اصول اولیهٔ ادغام داده از منابع مختلف
• 32. تعریف استراتژی‌های ادغام داده
• 33. شناسایی کلیدهای اصلی و خارجی برای ادغام
• 34. تکنیک‌های پاکسازی و پیش‌پردازش داده‌ها
• 35. مدیریت مقادیر گمشده در داده‌های استخراج شده
• 36. رفع داده‌های پرت و ناهنجار
• 37. نرمال‌سازی و استانداردسازی داده‌ها
• 38. مبانی ادغام داده با استفاده از ابزارهای ETL
• 39. معرفی ابزارهای متن‌باز ETL (مانند Apache NiFi)
• 40. پیاده‌سازی جریان‌های ساده ETL
• 41. مانیتورینگ و لاگ‌گیری در فرآیندهای ETL
• 42. اصول اولیهٔ ادغام داده از فایل‌ها (CSV, Excel)
• 43. خواندن فایل‌های CSV با پانداس
• 44. خواندن فایل‌های اکسل با پانداس
• 45. تبدیل داده‌های فایل به فریم داده پانداس
• 46. ادغام فریم‌های داده پانداس
• 47. مبانی ادغام داده از وب‌سرویس‌های SOAP
• 48. درک ساختار پیام‌های SOAP
• 49. استفاده از کتابخانه‌های پایتون برای کار با SOAP (Zeep)
• 50. ارسال درخواست به سرویس‌های SOAP
• 51. پردازش پاسخ‌های SOAP
• 52. مبانی ادغام داده از APIهای GraphQL
• 53. مفهوم Query و Mutation در GraphQL
• 54. استفاده از کتابخانه‌های پایتون برای GraphQL
• 55. نوشتن Queryهای پایه GraphQL
• 56. پردازش پاسخ‌های GraphQL
• 57. مبانی ادغام داده از سرویس‌های ابری (AWS, Azure, GCP)
• 58. آشنایی با سرویس‌های ذخیره‌سازی ابری
• 59. استفاده از APIهای سرویس‌های ابری
• 60. مدیریت دسترسی به منابع ابری
• 61. استخراج داده از سرویس‌های داده ابری
• 62. مبانی طراحی معماری داده برای ادغام
• 63. اصول طراحی Data Warehouse
• 64. مفاهیم Data Lake و Data Lakehouse
• 65. انتخاب ابزار مناسب برای ادغام داده
• 66. مدیریت کیفیت داده در فرآیندهای ادغام
• 67. مبانی امنیت داده در ادغام
• 68. رمزنگاری داده‌ها در حال انتقال و در حالت سکون
• 69. مدیریت دسترسی و مجوزهای کاربران
• 70. اصول اولیهٔ خودکارسازی فرآیندهای ادغام
• 71. زمان‌بندی اجرای وظایف ادغام
• 72. نوشتن اسکریپت‌های خودکار
• 73. استفاده از ابزارهای ارکستراسیون (مانند Airflow)
• 74. مبانی مانیتورینگ و هشداردهی در فرآیندهای داده
• 75. پیاده‌سازی داشبوردهای نظارتی
• 76. تنظیم سیستم‌های هشداردهی خودکار
• 77. اصول اولیهٔ تست در فرآیندهای داده
• 78. نوشتن تست‌های واحد برای توابع استخراج
• 79. تست ادغام برای کل فرآیند
• 80. اصول اولیهٔ مستندسازی فرآیندهای داده
• 81. نوشتن مستندات فنی برای APIها و جریان‌های داده
• 82. اهمیت مستندسازی برای نگهداری و توسعه
• 83. مبانی بهینه‌سازی عملکرد در استخراج و ادغام داده
• 84. شناسایی گلوگاه‌های عملکردی
• 85. تکنیک‌های بهینه‌سازی کوئری‌ها
• 86. استفاده از کشینگ در فرآیندهای داده
• 87. اصول اولیهٔ مدیریت تغییر در داده‌ها
• 88. ردیابی تغییرات داده‌ها
• 89. مدیریت نسخه‌بندی داده‌ها
• 90. مبانی ادغام داده‌های جریانی (Streaming Data)
• 91. مقدمه‌ای بر مفاهیم Kafka و RabbitMQ
• 92. کار با APIهای سرویس‌های پیام‌رسانی
• 93. پردازش داده‌های جریانی به صورت Real-time
• 94. مبانی تحلیل داده پس از ادغام
• 95. مقدمه‌ای بر ابزارهای تحلیل داده (مانند Power BI, Tableau)
• 96. ساخت گزارش‌ها و داشبوردهای تحلیلی
• 97. مبانی یادگیری ماشین با داده‌های ادغام شده
• 98. آماده‌سازی داده‌ها برای مدل‌های ML
• 99. انتخاب ویژگی‌ها (Feature Selection)
• 100. آموزش و ارزیابی مدل‌های پایه ML