سپنتا کتاب اکسپرس
کتاب Advanced Spark Performance Tuning

کتاب Advanced Spark Performance Tuning

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 62,488 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Advanced Spark Performance Tuning

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

  • 1. مقدمه‌ای بر تحلیل داده‌های بزرگ با اسپارک
  • 2. نصب و پیکربندی اولیه اسپارک
  • 3. معماری اسپارک: درایور، اجراکننده‌ها و واسطه
  • 4. اجرای برنامه‌های اسپارک: مفاهیم کلیدی
  • 5. کار با RDDها: عملیات اولیه
  • 6. عملیات پیشرفته RDD: نگاشت، فیلتر، کاهش
  • 7. RDDها در مقابل DataFrameها: تفاوت‌ها و کاربردها
  • 8. معرفی DataFrameها و ساختار داده‌ای آن‌ها
  • 9. عملیات اساسی DataFrame: select، filter، groupBy
  • 10. عملیات پیشرفته DataFrame: join، union، aggregate
  • 11. کار با Spark SQL: کوئری‌نویسی بر روی DataFrameها
  • 12. ساختار داده‌ای Dataset و مزایای آن
  • 13. انتقال داده بین RDD، DataFrame و Dataset
  • 14. مدیریت حافظه در اسپارک: کش کردن و نگهداری
  • 15. بهینه‌سازی اجرای عملیات با پارتیشن‌بندی
  • 16. انتقال داده بین نودها: Shuffle و هزینه‌های آن
  • 17. بهینه‌سازی Shuffle: کلیدهای پارتیشن‌بندی
  • 18. عملیات Window در اسپارک
  • 19. استفاده از UDFها (توابع تعریف شده توسط کاربر)
  • 20. بهینه‌سازی UDFها برای عملکرد بهتر
  • 21. کار با فرمت‌های مختلف داده: Parquet، ORC، JSON
  • 22. فشرده‌سازی داده‌ها و تأثیر آن بر عملکرد
  • 23. بهینه‌سازی خواندن و نوشتن داده‌ها
  • 24. استفاده از Spark Streaming برای پردازش بلادرنگ
  • 25. مفاهیم اولیه Spark Streaming: DStreams
  • 26. عملیات روی DStreams: map، filter، window
  • 27. مدیریت حالت در Spark Streaming
  • 28. Spark Structured Streaming: رویکرد جدید
  • 29. DataFrameهای جریانی در Structured Streaming
  • 30. تایمرها و پنجره‌های زمانی در Structured Streaming
  • 31. مدیریت وضعیت در Structured Streaming
  • 32. کار با منابع داده و سینک‌های مختلف
  • 33. استفاده از Kafka با Spark Streaming/Structured Streaming
  • 34. کار با پایگاه داده‌ها با Spark
  • 35. بهینه‌سازی کوئری‌های Spark SQL
  • 36. استفاده از Catalyst Optimizer
  • 37. توضیح برنامه‌های اسپارک با Spark UI
  • 38. تحلیل گزارش‌های Spark UI برای شناسایی گلوگاه‌ها
  • 39. بهینه‌سازی تنظیمات پیکربندی اسپارک (Spark Conf)
  • 40. تنظیمات مربوط به حافظه (Executor Memory, Driver Memory)
  • 41. تنظیمات مربوط به پردازش (Cores, Parallelism)
  • 42. تنظیمات مربوط به شبکه (Shuffle parameters)
  • 43. مدیریت منابع با YARN یا Mesos
  • 44. استفاده از Kubernetes برای اجرای اسپارک
  • 45. بهینه‌سازی ارتباط با سیستم‌های ذخیره‌سازی خارجی
  • 46. استفاده از Bloom Filters برای بهینه‌سازی Join
  • 47. استفاده از Bucketing برای بهینه‌سازی Join
  • 48. تکنیک‌های پیشرفته برای پردازش داده‌های حجیم
  • 49. پردازش گراف با GraphX در اسپارک
  • 50. مفاهیم اولیه GraphX: VertexRDD، EdgeRDD
  • 51. عملیات روی گراف‌ها با GraphX
  • 52. کار با مدل‌های یادگیری ماشین با MLlib
  • 53. الگوریتم‌های دسته‌بندی در MLlib
  • 54. الگوریتم‌های رگرسیون در MLlib
  • 55. الگوریتم‌های خوشه‌بندی در MLlib
  • 56. مدل‌های کاهش ابعاد (PCA)
  • 57. سیستم‌های توصیه‌گر با MLlib
  • 58. بهینه‌سازی pipelineهای MLlib
  • 59. استفاده از Spark ML برای ساخت pipelineهای پیچیده
  • 60. کار با داده‌های متنی (NLP) با اسپارک
  • 61. پردازش زبان طبیعی با کتابخانه‌های اسپارک
  • 62. استفاده از Spark برای تحلیل لاگ‌ها
  • 63. بهینه‌سازی اجرای برنامه‌های اسپارک در مقیاس بزرگ
  • 64. استراتژی‌های اشکال‌زدایی برنامه‌های اسپارک
  • 65. پیش‌بینی عملکرد برنامه با استفاده از ابزارها
  • 66. ملاحظات امنیتی در اجرای اسپارک
  • 67. مدیریت دسترسی در اسپارک
  • 68. پیکربندی امن Spark SQL
  • 69. اجرای اسپارک در محیط‌های ابری (AWS, Azure, GCP)
  • 70. استفاده از Databricks برای مدیریت اسپارک
  • 71. بهینه‌سازی هزینه در محیط‌های ابری
  • 72. کار با Spark shells (Scala, Python)
  • 73. توسعه برنامه‌های اسپارک به صورت ماژولار
  • 74. تست واحد و یکپارچه‌سازی برنامه‌های اسپارک
  • 75. مفاهیم پیشرفته در Spark Streaming
  • 76. ارتباط بین Spark و Kafka در پردازش جریانی
  • 77. استفاده از Spark برای ETL (Extract, Transform, Load)
  • 78. بهینه‌سازی عملیات Join در DataFrameها
  • 79. تکنیک‌های پیشرفته پارتیشن‌بندی
  • 80. مدیریت داده‌های ناهمگون در اسپارک
  • 81. کار با داده‌های مکانی با اسپارک
  • 82. استفاده از Spark برای پردازش داده‌های سری زمانی
  • 83. بهینه‌سازی کوئری‌های پیچیده Spark SQL
  • 84. بررسی و تحلیل planهای اجرایی کوئری‌ها
  • 85. استفاده از HDFS و S3 با اسپارک
  • 86. نکات و ترفندهای پیشرفته برای بهینه‌سازی
  • 87. مدیریت چرخه عمر داده‌ها با اسپارک
  • 88. مقدمه‌ای بر معماری‌های جدید اسپارک
  • 89. بررسی نسخه‌های جدید اسپارک و ویژگی‌های آن‌ها
  • 90. آینده اسپارک و تحولات آتی
  • 91. مدیریت خطا و بازیابی در اسپارک
  • 92. بهینه‌سازی مصرف منابع CPU
  • 93. بهینه‌سازی مصرف منابع حافظه
  • 94. تکنیک‌های کاهش latency در پردازش جریانی
  • 95. استفاده از Spark برای تحلیل شبکه‌های اجتماعی
  • 96. ملاحظات فرهنگی و بومی در تحلیل داده
  • 97. چارچوب‌های قانونی داده در ایران
  • 98. اصول حفظ حریم خصوصی در پردازش داده
  • 99. استانداردهای داده در ایران
  • 100. اصول اخلاقی در تحلیل داده

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.