اپلیکیشن اندرویدی فلش‌کارت آموزشی طراحی و پیاده‌سازی خطوط لوله داده با استفاده از داده‌های مصنوعی در پایتون

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله داده با استفاده از داده‌های مصنوعی در پایتون

موضوع کلی: مهندسی داده و پردازش اطلاعات

موضوع میانی: ساختاردهی و مدیریت خطوط لوله داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و خطوط لوله
• 2. مفاهیم کلیدی در خطوط لوله داده
• 3. اهمیت داده‌های مصنوعی در مهندسی داده
• 4. کاربرد پایتون در ساخت خطوط لوله داده
• 5. نصب و راه‌اندازی محیط توسعه پایتون
• 6. مبانی زبان پایتون برای مهندسی داده
• 7. ساختارهای داده در پایتون
• 8. کار با فایل‌ها و داده‌های متنی
• 9. مفاهیم پایگاه داده و SQL
• 10. مقدمه‌ای بر پایگاه‌های داده رابطه‌ای
• 11. اصول طراحی پایگاه داده
• 12. نوشتن کوئری‌های SQL پایه
• 13. اتصال پایتون به پایگاه‌های داده
• 14. مقدمه‌ای بر داده‌های ساختاریافته و بدون ساختار
• 15. فرمت‌های رایج داده (CSV, JSON, XML)
• 16. خوانش و نوشتن داده‌ها با پانداس
• 17. مبانی کتابخانه پانداس
• 18. کار با دیتافریم‌ها در پانداس
• 19. عملیات پایه روی دیتافریم‌ها
• 20. پاکسازی و پیش‌پردازش داده‌ها
• 21. شناسایی و مدیریت مقادیر گمشده
• 22. شناسایی و مدیریت داده‌های پرت
• 23. تبدیل انواع داده‌ها
• 24. تجمیع و گروه‌بندی داده‌ها
• 25. پیوستن و ادغام دیتافریم‌ها
• 26. مقدمه‌ای بر تولید داده‌های مصنوعی
• 27. چرا به داده‌های مصنوعی نیاز داریم؟
• 28. انواع روش‌های تولید داده مصنوعی
• 29. تولید داده‌های مصنوعی با توزیع‌های آماری
• 30. تولید داده‌های عددی تصادفی
• 31. تولید داده‌های دسته‌ای تصادفی
• 32. تولید داده‌های متنی تصادفی
• 33. تولید داده‌های تاریخ و زمان تصادفی
• 34. مقدمه‌ای بر کتابخانه‌های تولید داده مصنوعی
• 35. استفاده از کتابخانه Faker
• 36. تولید اطلاعات شخصی با Faker
• 37. تولید اطلاعات آدرس با Faker
• 38. تولید اطلاعات شغلی با Faker
• 39. تولید اطلاعات سازمانی با Faker
• 40. تولید داده‌های ساختاریافته با Faker
• 41. تولید داده‌های مرتبط با کسب‌وکار
• 42. مقدمه‌ای بر تست در مهندسی داده
• 43. اهمیت تست در خطوط لوله داده
• 44. انواع تست در مهندسی داده
• 45. تست واحد (Unit Testing)
• 46. تست یکپارچه‌سازی (Integration Testing)
• 47. تست پذیرش (Acceptance Testing)
• 48. استفاده از Pytest برای تست
• 49. نوشتن تست‌های واحد برای توابع پایتون
• 50. نوشتن تست‌های واحد برای عملیات پانداس
• 51. تست تولید داده‌های مصنوعی
• 52. تست خواندن و نوشتن داده‌ها
• 53. تست پاکسازی داده‌ها
• 54. تست عملیات تجمیع
• 55. تست پیوستن دیتافریم‌ها
• 56. طراحی یک خط لوله داده ساده
• 57. مراحل ساخت خط لوله داده
• 58. تعریف منابع داده
• 59. تعریف مراحل پردازش
• 60. تعریف مقصد داده
• 61. پیاده‌سازی مرحله اول: دریافت داده
• 62. پیاده‌سازی مرحله دوم: پاکسازی داده
• 63. پیاده‌سازی مرحله سوم: تبدیل داده
• 64. پیاده‌سازی مرحله چهارم: بارگذاری داده
• 65. استفاده از داده‌های مصنوعی در خط لوله
• 66. تست خط لوله داده با داده‌های مصنوعی
• 67. مقدمه‌ای بر ابزارهای ارکستراسیون خط لوله
• 68. معرفی Apache Airflow
• 69. نصب و راه‌اندازی Airflow
• 70. مبانی DAG در Airflow
• 71. نوشتن یک DAG ساده
• 72. زمان‌بندی اجرای DAG
• 73. مدیریت وظایف در Airflow
• 74. مقدمه‌ای بر پردازش داده‌های بزرگ
• 75. چالش‌های پردازش داده‌های بزرگ
• 76. مفاهیم Apache Spark
• 77. نصب و راه‌اندازی Spark
• 78. کار با RDD در Spark
• 79. کار با DataFrame در Spark
• 80. پردازش داده‌های بزرگ با Spark و پایتون
• 81. مقدمه‌ای بر پایگاه‌های داده NoSQL
• 82. انواع پایگاه‌های داده NoSQL
• 83. کار با MongoDB
• 84. اتصال پایتون به MongoDB
• 85. ذخیره‌سازی و بازیابی داده‌ها در MongoDB
• 86. مقدمه‌ای بر انبار داده (Data Warehousing)
• 87. مفاهیم انبار داده
• 88. طراحی اسکیمای انبار داده
• 89. مقدمه‌ای بر مدل‌سازی ابعادی
• 90. طراحی جداول فکت و ابعاد
• 91. بهینه‌سازی خطوط لوله داده
• 92. مانیتورینگ خطوط لوله داده
• 93. امنیت در خطوط لوله داده
• 94. ملاحظات اخلاقی در مهندسی داده
• 95. آینده مهندسی داده
• 96. جمع‌بندی مباحث کلیدی