دوره آموزش جامع و عملی از ساخت سیستم‌های تحلیل داده‌های بزرگ با SQLite، PySpark و Databricks همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع و عملی از ساخت سیستم‌های تحلیل داده‌های بزرگ با SQLite، PySpark و Databricks

موضوع کلی: برنامه نویسی

موضوع میانی: SQLite

📋 سرفصل‌های دوره

• 1. مقدمه ای بر سیستم های تحلیل داده های بزرگ
• 2. آشنایی با معماری داده های بزرگ
• 3. مبانی پایگاه داده های رابطه ای: SQLite
• 4. نصب و پیکربندی SQLite
• 5. طراحی اسکیمای پایگاه داده در SQLite
• 6. پرس و جوهای پایه در SQLite
• 7. بهینه سازی پرس و جوها در SQLite
• 8. مقدمه ای بر Apache Spark
• 9. معماری Spark Core
• 10. مفاهیم RDD در Spark
• 11. عملیات تبدیل و اکشن در RDD ها
• 12. مقدمه ای بر Spark SQL
• 13. ساختار DataFrame در Spark
• 14. عملیات بر روی DataFrame ها
• 15. بهینه سازی عملکرد Spark SQL
• 16. آشنایی با Databricks
• 17. معماری Databricks
• 18. فضاهای کاری Databricks
• 19. نوت بوک ها در Databricks
• 20. اجرای کد در Databricks
• 21. مدیریت داده در Databricks
• 22. مدل های یادگیری ماشین در Databricks
• 23. مقدمه ای بر PySpark
• 24. نصب و پیکربندی PySpark
• 25. کار با RDD ها در PySpark
• 26. DataFrame ها در PySpark
• 27. Spark SQL با PySpark
• 28. بهینه سازی PySpark
• 29. اتصال PySpark به پایگاه داده ها
• 30. ذخیره سازی داده ها در فرمت های مختلف
• 31. مقدمه ای بر ETL (Extract, Transform, Load)
• 32. طراحی فرایندهای ETL
• 33. اجرای ETL با PySpark
• 34. استفاده از Databricks برای ETL
• 35. مدیریت جریان داده ها
• 36. معرفی Delta Lake
• 37. مزایای Delta Lake
• 38. عملیات ACID در Delta Lake
• 39. زمان سفر (Time Travel) در Delta Lake
• 40. بهینه سازی Delta Lake
• 41. ادغام Delta Lake با PySpark
• 42. مقدمه ای بر داده های جریانی (Streaming Data)
• 43. معماری Spark Streaming
• 44. پردازش داده های جریانی با Spark Streaming
• 45. پیکربندی Spark Streaming
• 46. مدیریت حالت در Spark Streaming
• 47. اتصال Spark Streaming به منابع داده
• 48. معرفی Structured Streaming
• 49. پردازش داده های جریانی با Structured Streaming
• 50. تفاوت Spark Streaming و Structured Streaming
• 51. مانیتورینگ و عیب یابی سیستم های داده های بزرگ
• 52. معرفی ابزارهای مانیتورینگ
• 53. استفاده از ابزارهای مانیتورینگ در Databricks
• 54. بهینه سازی هزینه در سیستم های داده های بزرگ
• 55. ملاحظات امنیتی در سیستم های داده های بزرگ
• 56. مدیریت دسترسی در Databricks
• 57. اصول حاکمیت داده
• 58. طراحی سیستم های داده های مقیاس پذیر
• 59. معماری های داده مدرن
• 60. مقدمه ای بر هوش تجاری
• 61. کاربرد هوش تجاری با داده های بزرگ
• 62. مقدمه ای بر تحلیل اکتشافی داده (EDA)
• 63. تکنیک های EDA با PySpark
• 64. تجسم داده ها در Databricks
• 65. مقدمه ای بر مهندسی ویژگی (Feature Engineering)
• 66. مهندسی ویژگی با PySpark
• 67. استفاده از ویژگی های مهندسی شده در مدل ها
• 68. مقدمه ای بر یادگیری ماشین با Spark MLlib
• 69. الگوریتم های طبقه بندی در MLlib
• 70. الگوریتم های رگرسیون در MLlib
• 71. الگوریتم های خوشه بندی در MLlib
• 72. ارزیابی مدل ها در MLlib
• 73. تنظیم ابرپارامترها در MLlib
• 74. مقدمه ای بر یادگیری عمیق با Spark
• 75. استفاده از کتابخانه های یادگیری عمیق با Spark
• 76. استقرار مدل های یادگیری ماشین
• 77. مقدمه ای بر داده های مکانی-زمانی
• 78. تحلیل داده های مکانی-زمانی با Spark
• 79. کاربرد داده های بزرگ در صنعت
• 80. مطالعات موردی در تحلیل داده های بزرگ
• 81. ملاحظات اخلاقی در تحلیل داده های بزرگ
• 82. آینده تحلیل داده های بزرگ
• 83. بهینه سازی پایگاه داده SQLite
• 84. نکات پیشرفته در Spark SQL
• 85. مدیریت کلاستر Databricks
• 86. تکنیک های پیشرفته ETL
• 87. مدیریت داده های حجیم
• 88. مدیریت حافظه در Spark
• 89. بهینه سازی شبکه در Spark
• 90. نکات امنیتی پیشرفته در Databricks
• 91. طراحی انبار داده (Data Warehouse)
• 92. مقدمه ای بر دریاچه داده (Data Lake)
• 93. تفاوت انبار داده و دریاچه داده
• 94. مقدمه ای بر Data Mesh
• 95. پیاده سازی Data Mesh
• 96. معرفی ابزارهای Orchestration (مانند Airflow)
• 97. ادغام Airflow با Databricks
• 98. مقدمه ای بر DataOps
• 99. اصول DataOps
• 100. کاربرد DataOps در سیستم های تحلیل داده