فلش‌کارت‌های آموزشی دستیابی به مقیاس بی‌نهایت: آموزش توزیع‌شده LLMها

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب دستیابی به مقیاس بی‌نهایت: آموزش توزیع‌شده LLMها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به آموزش توزیع‌شده LLMها
• 2. مفاهیم اساسی آموزش توزیع‌شده
• 3. چرا آموزش توزیع‌شده برای LLMها ضروری است؟
• 4. چالش‌های آموزش LLMهای بزرگ
• 5. مقدمه به Large Language Models (LLMs)
• 6. معماری‌های رایج LLM (Transformer)
• 7. مبانی یادگیری عمیق برای LLMs
• 8. مبانی شبکه‌های عصبی
• 9. مبانی گرادیان نزولی
• 10. مبانی انتشار به عقب (Backpropagation)
• 11. مقدمه به پردازش زبان طبیعی (NLP)
• 12. وظایف کلیدی NLP
• 13. مفاهیم اساسی توزیع‌شدگی
• 14. پردازش موازی در مقابل پردازش توزیع‌شده
• 15. مزایای آموزش توزیع‌شده
• 16. چالش‌های پیاده‌سازی آموزش توزیع‌شده
• 17. انواع موازی‌سازی
• 18. موازی‌سازی داده (Data Parallelism)
• 19. موازی‌سازی مدل (Model Parallelism)
• 20. موازی‌سازی تانسور (Tensor Parallelism)
• 21. موازی‌سازی خط لوله (Pipeline Parallelism)
• 22. ترکیب انواع موازی‌سازی
• 23. پیاده‌سازی موازی‌سازی داده
• 24. توزیع داده در میان دستگاه‌ها
• 25. همگام‌سازی گرادیان‌ها
• 26. بهینه‌سازهای موازی
• 27. موانع و راهکارها در موازی‌سازی داده
• 28. پیاده‌سازی موازی‌سازی مدل
• 29. تقسیم لایه‌های مدل
• 30. ارتباط بین دستگاه‌ها در موازی‌سازی مدل
• 31. چالش‌های حافظه و محاسباتی
• 32. پیاده‌سازی موازی‌سازی تانسور
• 33. شکستن عملیات تانسور
• 34. ارتباطات در موازی‌سازی تانسور
• 35. بهینه‌سازی ارتباطات تانسور
• 36. پیاده‌سازی موازی‌سازی خط لوله
• 37. تقسیم مدل به مراحل
• 38. ارسال خروجی بین مراحل
• 39. مدیریت بلک‌لست (Bubble) در خط لوله
• 40. بهینه‌سازی خط لوله
• 41. استراتژی‌های ترکیب موازی‌سازی
• 42. موازی‌سازی داده و مدل ترکیبی
• 43. موازی‌سازی داده، مدل و تانسور
• 44. موازی‌سازی داده، مدل، تانسور و خط لوله
• 45. چارچوب‌های آموزش توزیع‌شده
• 46. PyTorch Distributed
• 47. TensorFlow Distributed
• 48. Horovod
• 49. DeepSpeed
• 50. Megatron-LM
• 51. FairScale
• 52. Apollo
• 53. مفاهیم کلیدی در چارچوب‌ها
• 54. ارتباطات جمعی (All-reduce, All-gather)
• 55. مدیریت حافظه توزیع‌شده
• 56. بهینه‌سازی ارتباطات
• 57. تکنیک‌های کاهش موازی‌سازی
• 58. نکات پیشرفته در موازی‌سازی داده
• 59. گرادیان کوانتایز شده (Quantized Gradients)
• 60. گرادیان اسپارس (Sparse Gradients)
• 61. تکنیک‌های کاهش موازی‌سازی مدل
• 62. تقسیم مدل هوشمند
• 63. کاهش ارتباطات داخلی
• 64. تکنیک‌های کاهش موازی‌سازی تانسور
• 65. کاهش ابعاد تانسور
• 66. بهینه‌سازی الگوریتم‌های تانسور
• 67. تکنیک‌های کاهش موازی‌سازی خط لوله
• 68. میکرو-بچینگ (Micro-batching)
• 69. بهینه‌سازی زمان‌بندی مراحل
• 70. مدیریت حافظه در آموزش توزیع‌شده
• 71. بهینه‌سازی حافظه GPU
• 72. Offloading مدل به CPU/SSD
• 73. استفاده از حافظه مشترک
• 74. تکنیک‌های فشرده‌سازی مدل
• 75. کوانتیزاسیون (Quantization)
• 76. هرس (Pruning)
• 77. تقطیر دانش (Knowledge Distillation)
• 78. شبکه‌های عصبی اسپارس (Sparse Neural Networks)
• 79. بهینه‌سازی ارتباطات شبکه
• 80. شبکه‌های پرسرعت (High-speed Networks)
• 81. کاهش تأخیر (Latency)
• 82. افزایش پهنای باند (Bandwidth)
• 83. تکنیک‌های کاهش ازدحام (Congestion Control)
• 84. ارزیابی عملکرد در آموزش توزیع‌شده
• 85. سنجه‌های کلیدی عملکرد
• 86. اسکیل‌بای (Scalability)
• 87. کارایی (Efficiency)
• 88. هزینه (Cost)
• 89. مقایسه چارچوب‌ها و استراتژی‌ها
• 90. ملاحظات سخت‌افزاری
• 91. انتخاب سخت‌افزار مناسب (GPU, CPU, Network)
• 92. پیکربندی خوشه‌ها (Cluster Configurations)
• 93. مدیریت منابع خوشه‌ای
• 94. ملاحظات نرم‌افزاری
• 95. انتخاب چارچوب مناسب
• 96. تنظیم پارامترهای آموزش
• 97. اشکال‌زدایی (Debugging) در محیط توزیع‌شده
• 98. نظارت (Monitoring) بر فرآیند آموزش
• 99. ملاحظات امنیتی در آموزش توزیع‌شده
• 100. حفاظت از داده‌ها