اپلیکیشن اندرویدی فلش‌کارت آموزشی Data Engineering Best Practices with Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Data Engineering Best Practices with Spark

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و اکوسیستم کلان‌داده
• 2. آشنایی با Apache Spark و معماری آن
• 3. نصب و پیکربندی Spark
• 4. مبانی Spark Core: RDDها
• 5. عملیات تبدیل و اقدام بر روی RDDها
• 6. کار با فایل‌های داده در Spark
• 7. مقدمه‌ای بر Spark SQL و DataFrames
• 8. عملیات بر روی DataFrames
• 9. توابع پنجره‌ای در Spark SQL
• 10. بهینه‌سازی پرس‌وجوها در Spark SQL
• 11. آشنایی با Spark Streaming
• 12. پردازش داده‌های جریانی با Spark
• 13. مدیریت وضعیت در Spark Streaming
• 14. مقدمه‌ای بر Spark MLlib
• 15. یادگیری ماشین با Spark MLlib: پیش‌پردازش داده
• 16. یادگیری ماشین با Spark MLlib: الگوریتم‌های طبقه‌بندی
• 17. یادگیری ماشین با Spark MLlib: الگوریتم‌های رگرسیون
• 18. یادگیری ماشین با Spark MLlib: خوشه‌بندی
• 19. یادگیری ماشین با Spark MLlib: کاهش ابعاد
• 20. ارزیابی مدل‌های یادگیری ماشین در Spark
• 21. مقدمه‌ای بر GraphX
• 22. پردازش گراف با GraphX
• 23. بهینه‌سازی عملکرد Spark
• 24. نظارت و اشکال‌زدایی برنامه‌های Spark
• 25. الگوهای طراحی در مهندسی داده با Spark
• 26. پایگاه‌های داده NoSQL و Spark
• 27. یکپارچه‌سازی Spark با Kafka
• 28. یکپارچه‌سازی Spark با Hadoop HDFS
• 29. یکپارچه‌سازی Spark با S3
• 30. مدیریت امنیت در Spark
• 31. مقدمه‌ای بر Delta Lake
• 32. کار با Delta Lake برای مهندسی داده
• 33. بهینه‌سازی Delta Lake
• 34. مقدمه‌ای بر Apache Flink
• 35. مقایسه Spark و Flink
• 36. مقدمه‌ای بر مهندسی داده در کلان‌داده
• 37. طراحی معماری کلان‌داده
• 38. مدیریت چرخه عمر داده
• 39. کیفیت داده و اعتبارسنجی
• 40. پاکسازی داده‌ها با Spark
• 41. تبدیل داده‌ها برای تحلیل
• 42. انتقال داده‌ها (ETL) با Spark
• 43. بارگذاری داده‌ها (ELT) با Spark
• 44. مقدمه‌ای بر Data Warehousing
• 45. ساخت Data Mart با Spark
• 46. طراحی مدل‌های داده‌ای استار اسکما
• 47. طراحی مدل‌های داده‌ای اسن فلیک
• 48. مقدمه‌ای بر Data Lakehouse
• 49. پیاده‌سازی Data Lakehouse با Spark
• 50. مدیریت فراداده (Metadata Management)
• 51. کاتالوگ داده (Data Catalog)
• 52. حاکمیت داده (Data Governance)
• 53. امنیت داده‌ها در اکوسیستم کلان‌داده
• 54. مقررات حفظ حریم خصوصی داده‌ها (مانند GDPR/CCPA - با رویکرد داخلی)
• 55. مقدمه‌ای بر DevOps برای مهندسی داده
• 56. CI/CD برای pipelines داده
• 57. اتوماسیون تست در مهندسی داده
• 58. مانیتورینگ و هشداردهی در pipelines داده
• 59. مدیریت پیکربندی در محیط کلان‌داده
• 60. مقدمه‌ای بر Data Observability
• 61. اصول طراحی مقیاس‌پذیر در Spark
• 62. بهینه‌سازی حافظه و دیسک در Spark
• 63. مدیریت منابع در Spark (YARN/Kubernetes)
• 64. تکنیک‌های Partitioning در Spark
• 65. Caching و Persistence در Spark
• 66. Broadcast Variables و Accumulators
• 67. کدنویسی کارآمد در Spark (Scala/Python)
• 68. استفاده از UDFها با احتیاط
• 69. بهینه‌سازی Join Operations
• 70. استفاده از Kryo Serializer
• 71. مدیریت کتابخانه‌های خارجی در Spark
• 72. استراتژی‌های استقرار Spark
• 73. Spark در محیط‌های ابری (AWS, Azure, GCP - با رویکرد داخلی)
• 74. ملاحظات مربوط به هزینه‌ها در Spark
• 75. مقدمه‌ای بر Data Mesh
• 76. اصول Data Mesh و پیاده‌سازی آن
• 77. تیم‌های داده‌ای در مدل Data Mesh
• 78. پلتفرم‌های داده‌ای در مدل Data Mesh
• 79. امنیت و حاکمیت در Data Mesh
• 80. ملاحظات اخلاقی در مهندسی داده
• 81. مسئولیت‌پذیری در استفاده از داده
• 82. مقدمه‌ای بر هوش مصنوعی و داده
• 83. نقش مهندسی داده در هوش مصنوعی
• 84. مقدمه‌ای بر یادگیری عمیق و داده
• 85. ملاحظات مربوط به داده‌های حجیم در یادگیری عمیق
• 86. برنامه‌ریزی برای پروژه‌های مهندسی داده
• 87. مدیریت ریسک در پروژه‌های داده
• 88. مستندسازی در مهندسی داده
• 89. یادگیری مداوم و به‌روزرسانی دانش
• 90. آینده مهندسی داده با Spark
• 91. آخرین روندها در اکوسیستم Spark
• 92. نکات پیشرفته برای بهینه‌سازی Spark