فلش‌کارت‌های آموزشی پیاده‌سازی Distributed Data Parallelism و Pipeline Parallelism

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب پیاده‌سازی Distributed Data Parallelism و Pipeline Parallelism

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر موازی سازی داده های توزیع شده
• 2. مفاهیم اساسی موازی سازی
• 3. مفاهیم اساسی موازی سازی توزیع شده
• 4. مفاهیم اساسی موازی سازی خط لوله
• 5. تفاوت بین موازی سازی داده ها و موازی سازی خط لوله
• 6. کاربرد موازی سازی توزیع شده در یادگیری عمیق
• 7. کاربرد موازی سازی خط لوله در یادگیری عمیق
• 8. معماری های سخت افزاری برای موازی سازی توزیع شده
• 9. شبکه های ارتباطی در سیستم های توزیع شده
• 10. تاثیر تاخیر شبکه بر عملکرد موازی سازی
• 11. تاثیر پهنای باند شبکه بر عملکرد موازی سازی
• 12. موازی سازی داده ها: مقدمه
• 13. موازی سازی داده ها چیست؟
• 14. چگونه موازی سازی داده ها کار می کند؟
• 15. مزایای موازی سازی داده ها
• 16. معایب موازی سازی داده ها
• 17. انواع موازی سازی داده ها
• 18. Data Parallelism در سطح دستگاه (Device-level Data Parallelism)
• 19. Data Parallelism در سطح مدل (Model-level Data Parallelism)
• 20. Data Parallelism در سطح داده (Data-level Data Parallelism)
• 21. پیاده سازی موازی سازی داده ها با PyTorch
• 22. پیاده سازی موازی سازی داده ها با TensorFlow
• 23. استفاده از DistributedDataParallel در PyTorch
• 24. استفاده از MirroredStrategy در TensorFlow
• 25. نحوه تقسیم داده ها در موازی سازی داده ها
• 26. نحوه همگام سازی گرادیان ها در موازی سازی داده ها
• 27. All-reduce برای همگام سازی گرادیان ها
• 28. Ring All-reduce
• 29. Decentralized All-reduce
• 30. تکنیک های کاهش ارتباطات در موازی سازی داده ها
• 31. Gradient Accumulation
• 32. Gradient Checkpointing
• 33. استراتژی های مختلف برای موازی سازی داده ها
• 34. Data Parallelism در سناریوهای مقیاس بزرگ
• 35. چالش های موازی سازی داده ها
• 36. مدیریت حافظه در موازی سازی داده ها
• 37. اشکال زدایی در سیستم های موازی سازی شده
• 38. اندازه گیری عملکرد موازی سازی داده ها
• 39. معیارهای ارزیابی موازی سازی داده ها
• 40. مقایسه موازی سازی داده ها با موازی سازی مدل
• 41. موازی سازی خط لوله: مقدمه
• 42. موازی سازی خط لوله چیست؟
• 43. چگونه موازی سازی خط لوله کار می کند؟
• 44. مزایای موازی سازی خط لوله
• 45. معایب موازی سازی خط لوله
• 46. انواع موازی سازی خط لوله
• 47. Pipeline Parallelism در سطح لایه (Layer-level Pipeline Parallelism)
• 48. Pipeline Parallelism در سطح بلوک (Block-level Pipeline Parallelism)
• 49. Pipeline Parallelism در سطح میکرو-بچ (Micro-batch Pipeline Parallelism)
• 50. پیاده سازی موازی سازی خط لوله با PyTorch
• 51. پیاده سازی موازی سازی خط لوله با TensorFlow
• 52. استفاده از PipeDream
• 53. استفاده از GPipe
• 54. استفاده از Megatron-LM
• 55. نحوه تقسیم مدل در موازی سازی خط لوله
• 56. نحوه ارسال فعال سازی ها (Activations) بین مراحل
• 57. نحوه ارسال گرادیان ها بین مراحل
• 58. مدیریت بافرها در موازی سازی خط لوله
• 59. تکنیک های افزایش بهره وری در موازی سازی خط لوله
• 60. Inter-stage Communication Optimization
• 61. Load Balancing در موازی سازی خط لوله
• 62. استراتژی های مختلف برای موازی سازی خط لوله
• 63. Pipeline Parallelism در سناریوهای مقیاس بزرگ
• 64. چالش های موازی سازی خط لوله
• 65. مدیریت وابستگی های داده ای در موازی سازی خط لوله
• 66. اشکال زدایی در سیستم های موازی سازی شده خط لوله
• 67. اندازه گیری عملکرد موازی سازی خط لوله
• 68. معیارهای ارزیابی موازی سازی خط لوله
• 69. مقایسه موازی سازی خط لوله با موازی سازی داده ها
• 70. ترکیب موازی سازی داده ها و موازی سازی خط لوله
• 71. چرا ترکیب موازی سازی داده ها و خط لوله؟
• 72. نحوه ترکیب موازی سازی داده ها و خط لوله
• 73. استراتژی های ترکیبی
• 74. مثال های عملی از ترکیب موازی سازی داده ها و خط لوله
• 75. پیاده سازی ترکیب موازی سازی داده ها و خط لوله با PyTorch
• 76. پیاده سازی ترکیب موازی سازی داده ها و خط لوله با TensorFlow
• 77. چالش های ترکیب موازی سازی داده ها و خط لوله
• 78. بهترین روش ها برای پیاده سازی موازی سازی توزیع شده
• 79. انتخاب استراتژی موازی سازی مناسب
• 80. تنظیم پارامترهای موازی سازی
• 81. مانیتورینگ و پروفایلینگ سیستم های موازی سازی شده
• 82. مقیاس پذیری سیستم های موازی سازی شده
• 83. کارایی و هزینه در موازی سازی توزیع شده
• 84. مطالعات موردی در موازی سازی توزیع شده
• 85. کاربرد در مدل های زبان بزرگ (Large Language Models)
• 86. کاربرد در مدل های بینایی کامپیوتر (Computer Vision Models)
• 87. کاربرد در سیستم های توصیه گر (Recommender Systems)
• 88. آینده موازی سازی توزیع شده
• 89. روندهای جدید در موازی سازی توزیع شده
• 90. نتیجه گیری و جمع بندی