فلش‌کارت‌های آموزشی معماری‌های توزیع‌شده برای آموزش مقیاس‌پذیر LLMها

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب معماری‌های توزیع‌شده برای آموزش مقیاس‌پذیر LLMها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه و مبانی معماری‌های توزیع‌شده
• 2. مفاهیم کلیدی در محاسبات توزیع‌شده
• 3. چالش‌های آموزش مدل‌های زبان بزرگ (LLM)
• 4. نیاز به آموزش مقیاس‌پذیر LLM
• 5. مروری بر انواع معماری‌های توزیع‌شده
• 6. معماری‌های خوشه‌بندی (Cluster Architectures)
• 7. معماری‌های ابر (Cloud Architectures)
• 8. معماری‌های هیبریدی (Hybrid Architectures)
• 9. سخت‌افزار مورد نیاز برای آموزش LLMهای توزیع‌شده
• 10. واحد پردازش گرافیکی (GPU) و نقش آن
• 11. حافظه GPU و پهنای باند
• 12. شبکه‌های پرسرعت (High-Speed Networks)
• 13. اینترکانکت‌ها (InfiniBand, NVLink)
• 14. ذخیره‌سازی توزیع‌شده (Distributed Storage)
• 15. مفاهیم پایه‌ای در آموزش توزیع‌شده LLM
• 16. موازی‌سازی داده (Data Parallelism)
• 17. موازی‌سازی مدل (Model Parallelism)
• 18. موازی‌سازی پایپ‌لاین (Pipeline Parallelism)
• 19. ترکیب موازی‌سازی‌ها
• 20. نکات کلیدی در موازی‌سازی داده
• 21. پیاده‌سازی موازی‌سازی داده
• 22. بهینه‌سازی ارتباطات در موازی‌سازی داده
• 23. all-reduce و انواع آن
• 24. حجم داده و اثر آن بر موازی‌سازی داده
• 25. موازی‌سازی مدل: تقسیم لایه‌ها
• 26. موازی‌سازی مدل: تقسیم ابعاد
• 27. موازی‌سازی مدل: تقسیم تانسور
• 28. چالش‌های موازی‌سازی مدل
• 29. نکات کلیدی در موازی‌سازی پایپ‌لاین
• 30. مراحل پایپ‌لاین
• 31. بهینه‌سازی اندازه میکرو-بچ (Micro-batch Size)
• 32. مدیریت گلوگاه‌ها در پایپ‌لاین
• 33. موازی‌سازی پایپ‌لاین با موازی‌سازی داده
• 34. موازی‌سازی پایپ‌لاین با موازی‌سازی مدل
• 35. معماری‌های پیشرفته برای آموزش مقیاس‌پذیر
• 36. Zero Redundancy Optimizer (ZeRO)
• 37. ZeRO-1، ZeRO-2، ZeRO-3
• 38. پیاده‌سازی ZeRO
• 39. DeepSpeed و اجزای آن
• 40. Megatron-LM و رویکردهای آن
• 41. FairScale و ابزارهای آن
• 42. Frameworkهای آموزش توزیع‌شده
• 43. PyTorch Distributed
• 44. TensorFlow Distributed
• 45. Horovod
• 46. Petuum
• 47. ابزارهای کمکی و کتابخانه‌ها
• 48. NCCL (NVIDIA Collective Communications Library)
• 49. MPI (Message Passing Interface)
• 50. Gloo
• 51. تکنیک‌های بهینه‌سازی ارتباطات
• 52. فشرده‌سازی گرادیان (Gradient Compression)
• 53. کوانتیزاسیون (Quantization)
• 54. انتخاب الگوریتم ارتباطی مناسب
• 55. مدیریت حافظه در مقیاس بزرگ
• 56. Offloading حافظه
• 57. Offloading پارامترها
• 58. Offloading به CPU
• 59. Offloading به SSD
• 60. تکنیک‌های کاهش مصرف حافظه
• 61. Checkpointing و Fault Tolerance
• 62. ذخیره‌سازی و بازیابی نقاط بازرسی (Checkpoints)
• 63. مدیریت خطاها و بازیابی از خرابی
• 64. پیاده‌سازی Robust Checkpointing
• 65. استراتژی‌های آموزش توزیع‌شده
• 66. آموزش با نرخ یادگیری تطبیقی (Adaptive Learning Rate)
• 67. آموزش با زمان‌بندی نرخ یادگیری (Learning Rate Scheduling)
• 68. تنظیم دقیق (Fine-tuning) مدل‌های توزیع‌شده
• 69. آموزش از ابتدا (Pre-training) مدل‌های توزیع‌شده
• 70. استراتژی‌های توزیع داده برای LLMها
• 71. توزیع داده در طول زمان (Time-based Distribution)
• 72. توزیع داده در طول فضا (Space-based Distribution)
• 73. توزیع داده با رویکرد مبتنی بر نمونه (Sample-based Distribution)
• 74. مدیریت داده و پیش‌پردازش در مقیاس بزرگ
• 75. پایپ‌لاین‌های داده (Data Pipelines)
• 76. ذخیره‌سازی داده‌های حجیم
• 77. فرمت‌های داده بهینه برای آموزش توزیع‌شده
• 78. ارزیابی عملکرد سیستم‌های توزیع‌شده
• 79. معیارهای سنجش (Metrics)
• 80. ابزارهای پروفایلینگ (Profiling Tools)
• 81. تکنیک‌های اشکال‌زدایی (Debugging Techniques)
• 82. مقیاس‌پذیری و عملکرد
• 83. تحلیل گلوگاه‌ها
• 84. بهینه‌سازی برای سخت‌افزارهای مختلف
• 85. ملاحظات امنیتی در معماری‌های توزیع‌شده
• 86. امنیت داده‌ها
• 87. امنیت ارتباطات
• 88. مدیریت دسترسی
• 89. ملاحظات اخلاقی و پایداری
• 90. مصرف انرژی
• 91. مدیریت منابع
• 92. آموزش LLMهای کوچک‌تر و توزیع شده
• 93. تکنیک‌های Distillation برای مدل‌های توزیع‌شده
• 94. آموزش federated برای LLMها
• 95. مقدمه‌ای بر آموزش Federated
• 96. چالش‌های آموزش Federated برای LLMها
• 97. کاربردها و مطالعات موردی
• 98. آموزش مدل‌های زبان بزرگ در مقیاس پتابایت
• 99. نمونه‌های موفق پیاده‌سازی
• 100. آینده معماری‌های توزیع‌شده برای LLMها