سپنتا کتاب اکسپرس
کتاب پیاده‌سازی Distributed Data Parallelism و Pipeline Parallelism

کتاب پیاده‌سازی Distributed Data Parallelism و Pipeline Parallelism

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 62,488 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب پیاده‌سازی Distributed Data Parallelism و Pipeline Parallelism

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

  • 1. مقدمه ای بر موازی سازی داده های توزیع شده
  • 2. مفاهیم اساسی موازی سازی
  • 3. مفاهیم اساسی موازی سازی توزیع شده
  • 4. مفاهیم اساسی موازی سازی خط لوله
  • 5. تفاوت بین موازی سازی داده ها و موازی سازی خط لوله
  • 6. کاربرد موازی سازی توزیع شده در یادگیری عمیق
  • 7. کاربرد موازی سازی خط لوله در یادگیری عمیق
  • 8. معماری های سخت افزاری برای موازی سازی توزیع شده
  • 9. شبکه های ارتباطی در سیستم های توزیع شده
  • 10. تاثیر تاخیر شبکه بر عملکرد موازی سازی
  • 11. تاثیر پهنای باند شبکه بر عملکرد موازی سازی
  • 12. موازی سازی داده ها: مقدمه
  • 13. موازی سازی داده ها چیست؟
  • 14. چگونه موازی سازی داده ها کار می کند؟
  • 15. مزایای موازی سازی داده ها
  • 16. معایب موازی سازی داده ها
  • 17. انواع موازی سازی داده ها
  • 18. Data Parallelism در سطح دستگاه (Device-level Data Parallelism)
  • 19. Data Parallelism در سطح مدل (Model-level Data Parallelism)
  • 20. Data Parallelism در سطح داده (Data-level Data Parallelism)
  • 21. پیاده سازی موازی سازی داده ها با PyTorch
  • 22. پیاده سازی موازی سازی داده ها با TensorFlow
  • 23. استفاده از DistributedDataParallel در PyTorch
  • 24. استفاده از MirroredStrategy در TensorFlow
  • 25. نحوه تقسیم داده ها در موازی سازی داده ها
  • 26. نحوه همگام سازی گرادیان ها در موازی سازی داده ها
  • 27. All-reduce برای همگام سازی گرادیان ها
  • 28. Ring All-reduce
  • 29. Decentralized All-reduce
  • 30. تکنیک های کاهش ارتباطات در موازی سازی داده ها
  • 31. Gradient Accumulation
  • 32. Gradient Checkpointing
  • 33. استراتژی های مختلف برای موازی سازی داده ها
  • 34. Data Parallelism در سناریوهای مقیاس بزرگ
  • 35. چالش های موازی سازی داده ها
  • 36. مدیریت حافظه در موازی سازی داده ها
  • 37. اشکال زدایی در سیستم های موازی سازی شده
  • 38. اندازه گیری عملکرد موازی سازی داده ها
  • 39. معیارهای ارزیابی موازی سازی داده ها
  • 40. مقایسه موازی سازی داده ها با موازی سازی مدل
  • 41. موازی سازی خط لوله: مقدمه
  • 42. موازی سازی خط لوله چیست؟
  • 43. چگونه موازی سازی خط لوله کار می کند؟
  • 44. مزایای موازی سازی خط لوله
  • 45. معایب موازی سازی خط لوله
  • 46. انواع موازی سازی خط لوله
  • 47. Pipeline Parallelism در سطح لایه (Layer-level Pipeline Parallelism)
  • 48. Pipeline Parallelism در سطح بلوک (Block-level Pipeline Parallelism)
  • 49. Pipeline Parallelism در سطح میکرو-بچ (Micro-batch Pipeline Parallelism)
  • 50. پیاده سازی موازی سازی خط لوله با PyTorch
  • 51. پیاده سازی موازی سازی خط لوله با TensorFlow
  • 52. استفاده از PipeDream
  • 53. استفاده از GPipe
  • 54. استفاده از Megatron-LM
  • 55. نحوه تقسیم مدل در موازی سازی خط لوله
  • 56. نحوه ارسال فعال سازی ها (Activations) بین مراحل
  • 57. نحوه ارسال گرادیان ها بین مراحل
  • 58. مدیریت بافرها در موازی سازی خط لوله
  • 59. تکنیک های افزایش بهره وری در موازی سازی خط لوله
  • 60. Inter-stage Communication Optimization
  • 61. Load Balancing در موازی سازی خط لوله
  • 62. استراتژی های مختلف برای موازی سازی خط لوله
  • 63. Pipeline Parallelism در سناریوهای مقیاس بزرگ
  • 64. چالش های موازی سازی خط لوله
  • 65. مدیریت وابستگی های داده ای در موازی سازی خط لوله
  • 66. اشکال زدایی در سیستم های موازی سازی شده خط لوله
  • 67. اندازه گیری عملکرد موازی سازی خط لوله
  • 68. معیارهای ارزیابی موازی سازی خط لوله
  • 69. مقایسه موازی سازی خط لوله با موازی سازی داده ها
  • 70. ترکیب موازی سازی داده ها و موازی سازی خط لوله
  • 71. چرا ترکیب موازی سازی داده ها و خط لوله؟
  • 72. نحوه ترکیب موازی سازی داده ها و خط لوله
  • 73. استراتژی های ترکیبی
  • 74. مثال های عملی از ترکیب موازی سازی داده ها و خط لوله
  • 75. پیاده سازی ترکیب موازی سازی داده ها و خط لوله با PyTorch
  • 76. پیاده سازی ترکیب موازی سازی داده ها و خط لوله با TensorFlow
  • 77. چالش های ترکیب موازی سازی داده ها و خط لوله
  • 78. بهترین روش ها برای پیاده سازی موازی سازی توزیع شده
  • 79. انتخاب استراتژی موازی سازی مناسب
  • 80. تنظیم پارامترهای موازی سازی
  • 81. مانیتورینگ و پروفایلینگ سیستم های موازی سازی شده
  • 82. مقیاس پذیری سیستم های موازی سازی شده
  • 83. کارایی و هزینه در موازی سازی توزیع شده
  • 84. مطالعات موردی در موازی سازی توزیع شده
  • 85. کاربرد در مدل های زبان بزرگ (Large Language Models)
  • 86. کاربرد در مدل های بینایی کامپیوتر (Computer Vision Models)
  • 87. کاربرد در سیستم های توصیه گر (Recommender Systems)
  • 88. آینده موازی سازی توزیع شده
  • 89. روندهای جدید در موازی سازی توزیع شده
  • 90. نتیجه گیری و جمع بندی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.