فلش‌کارت‌های آموزشی Apache Pig: زبان برنامه‌نویسی سطح بالا برای Hadoop

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Apache Pig: زبان برنامه‌نویسی سطح بالا برای Hadoop

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. آشنایی با Apache Pig و کاربردهای آن
• 2. محیط توسعه و نصب Apache Pig
• 3. مفاهیم پایه در Apache Pig: دیتا استریم و اپراتورها
• 4. ساختار داده‌های پایه در Pig: Atom, Tuple, Bag, Map
• 5. عملیات بارگذاری داده (Load) در Pig
• 6. عملیات ذخیره‌سازی داده (Store) در Pig
• 7. فیلتر کردن داده‌ها با اپراتور Filter
• 8. تغییر نام فیلدها با اپراتور Foreach و Generate
• 9. گروه‌بندی داده‌ها با اپراتور Group
• 10. تجمیع داده‌ها با اپراتور CoGroup
• 11. ترکیب داده‌ها با اپراتور Join
• 12. مرتب‌سازی داده‌ها با اپراتور Order
• 13. کاهش داده‌ها با اپراتور Distinct
• 14. حذف کاراکترهای اضافه با اپراتور Trim
• 15. تبدیل حروف با اپراتور Lower و Upper
• 16. استخراج زیررشته با اپراتور Substring
• 17. عملیات ریاضی پایه در Pig
• 18. توابع رشته‌ای پرکاربرد در Pig
• 19. توابع تاریخ و زمان در Pig
• 20. کار با داده‌های Null در Pig
• 21. استفاده از شرط‌ها در Pig (CASE WHEN)
• 22. اپراتور Union برای ترکیب دیتا استریم‌ها
• 23. اپراتور Parallel برای کنترل موازی‌سازی
• 24. اپراتور Limit برای محدود کردن تعداد رکوردها
• 25. اپراتور Sample برای نمونه‌برداری از داده‌ها
• 26. ساخت UDF (User Defined Functions) در Pig
• 27. زبان جاوا برای ساخت UDF
• 28. زبان پایتون برای ساخت UDF
• 29. استفاده از UDFهای آماده در Pig
• 30. مدیریت خطا در Pig
• 31. دیباگ کردن اسکریپت‌های Pig
• 32. بهینه‌سازی عملکرد اسکریپت‌های Pig
• 33. استفاده از Pig Script Editor
• 34. مفاهیم پیشرفته در Pig
• 35. کار با ساختارهای تودرتو (Nested Structures)
• 36. عملیات روی Bagها
• 37. عملیات روی Mapها
• 38. استفاده از Viewها در Pig
• 39. ارتباط Pig با HDFS
• 40. ارتباط Pig با Hive
• 41. ارتباط Pig با Spark
• 42. کاربردهای Pig در تحلیل داده‌های حجیم
• 43. نمونه‌های واقعی از کاربرد Pig
• 44. پردازش لاگ فایل‌ها با Pig
• 45. تحلیل داده‌های شبکه‌های اجتماعی با Pig
• 46. تحلیل داده‌های مالی با Pig
• 47. تحلیل داده‌های علمی با Pig
• 48. امنیت در Pig
• 49. مدیریت دسترسی در Pig
• 50. ملاحظات اخلاقی در تحلیل داده‌ها (مطابق با قوانین ایران)
• 51. حفظ حریم خصوصی در تحلیل داده‌ها (مطابق با قوانین ایران)
• 52. اصول طراحی پایگاه داده برای تحلیل (مطابق با قوانین ایران)
• 53. معماری Hadoop و نقش Pig
• 54. مفهوم MapReduce و مقایسه با Pig
• 55. مدل داده‌ای MapReduce
• 56. مدل داده‌ای Pig
• 57. تفاوت‌های کلیدی Pig و Hive
• 58. زمان‌بندی اجرای اسکریپت‌های Pig
• 59. ابزارهای مانیتورینگ اجرای Pig
• 60. استفاده از Apache Oozie برای مدیریت Pig Job
• 61. کاربرد Pig در Data Warehousing
• 62. کاربرد Pig در ETL (Extract, Transform, Load)
• 63. مراحل طراحی یک Pipeline داده با Pig
• 64. روش‌های اعتبارسنجی داده‌ها در Pig
• 65. تکنیک‌های فشرده‌سازی داده در Pig
• 66. استفاده از پارتیشن‌بندی داده در Pig
• 67. بهینه‌سازی کوئری‌ها در Pig
• 68. شناسایی Bottleneckها در اجرای Pig
• 69. مفاهیم پیشرفته UDF نویسی
• 70. ساخت UDFهای پیچیده با منطق شرطی
• 71. استفاده از UDFها برای پردازش داده‌های JSON
• 72. استفاده از UDFها برای پردازش داده‌های XML
• 73. کاربرد Pig در Machine Learning (با رویکرد علمی و چارچوب رسمی)
• 74. مقدمه‌ای بر یادگیری ماشین (با رویکرد علمی و چارچوب رسمی)
• 75. پیش‌پردازش داده‌ها برای یادگیری ماشین با Pig (با رویکرد علمی و چارچوب رسمی)
• 76. انتخاب ویژگی‌ها با Pig (با رویکرد علمی و چارچوب رسمی)
• 77. آموزش مدل‌های ساده با Pig (با رویکرد علمی و چارچوب رسمی)
• 78. ارزیابی مدل‌ها با Pig (با رویکرد علمی و چارچوب رسمی)
• 79. کاربرد Pig در تحلیل داده‌های مکانی (با رویکرد علمی و چارچوب رسمی)
• 80. مقدمه‌ای بر داده‌های مکانی (با رویکرد علمی و چارچوب رسمی)
• 81. پردازش داده‌های مکانی با Pig (با رویکرد علمی و چارچوب رسمی)
• 82. تحلیل الگوهای مکانی با Pig (با رویکرد علمی و چارچوب رسمی)
• 83. ملاحظات حقوقی و شرعی در تحلیل داده‌های حساس (با چارچوب رسمی)
• 84. اصول نگهداری و امحاء داده‌ها (مطابق با قوانین ایران)
• 85. مستندسازی اسکریپت‌های Pig
• 86. بهترین شیوه‌ها در توسعه Pig
• 87. آینده Apache Pig و تحولات آن
• 88. جمع‌بندی مباحث و مسیر یادگیری ادامه
• 89. کاربرد Pig در سیستم‌های توصیه‌گر (با رویکرد علمی و چارچوب رسمی)
• 90. اصول سیستم‌های توصیه‌گر (با رویکرد علمی و چارچوب رسمی)
• 91. پیاده‌سازی بخش‌هایی از سیستم توصیه‌گر با Pig (با رویکرد علمی و چارچوب رسمی)