, ,

کتاب معماری‌های توزیع‌شده برای آموزش مقیاس‌پذیر LLMها

تومان249,950

انتخاب پلن

torobpay
هر قسط با ترب‌پی: تومان62,488
۴ قسط ماهانه. بدون سود، چک و ضامن.

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .


ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب معماری‌های توزیع‌شده برای آموزش مقیاس‌پذیر LLMها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

  • 1. مقدمه و مبانی معماری‌های توزیع‌شده
  • 2. مفاهیم کلیدی در محاسبات توزیع‌شده
  • 3. چالش‌های آموزش مدل‌های زبان بزرگ (LLM)
  • 4. نیاز به آموزش مقیاس‌پذیر LLM
  • 5. مروری بر انواع معماری‌های توزیع‌شده
  • 6. معماری‌های خوشه‌بندی (Cluster Architectures)
  • 7. معماری‌های ابر (Cloud Architectures)
  • 8. معماری‌های هیبریدی (Hybrid Architectures)
  • 9. سخت‌افزار مورد نیاز برای آموزش LLMهای توزیع‌شده
  • 10. واحد پردازش گرافیکی (GPU) و نقش آن
  • 11. حافظه GPU و پهنای باند
  • 12. شبکه‌های پرسرعت (High-Speed Networks)
  • 13. اینترکانکت‌ها (InfiniBand, NVLink)
  • 14. ذخیره‌سازی توزیع‌شده (Distributed Storage)
  • 15. مفاهیم پایه‌ای در آموزش توزیع‌شده LLM
  • 16. موازی‌سازی داده (Data Parallelism)
  • 17. موازی‌سازی مدل (Model Parallelism)
  • 18. موازی‌سازی پایپ‌لاین (Pipeline Parallelism)
  • 19. ترکیب موازی‌سازی‌ها
  • 20. نکات کلیدی در موازی‌سازی داده
  • 21. پیاده‌سازی موازی‌سازی داده
  • 22. بهینه‌سازی ارتباطات در موازی‌سازی داده
  • 23. all-reduce و انواع آن
  • 24. حجم داده و اثر آن بر موازی‌سازی داده
  • 25. موازی‌سازی مدل: تقسیم لایه‌ها
  • 26. موازی‌سازی مدل: تقسیم ابعاد
  • 27. موازی‌سازی مدل: تقسیم تانسور
  • 28. چالش‌های موازی‌سازی مدل
  • 29. نکات کلیدی در موازی‌سازی پایپ‌لاین
  • 30. مراحل پایپ‌لاین
  • 31. بهینه‌سازی اندازه میکرو-بچ (Micro-batch Size)
  • 32. مدیریت گلوگاه‌ها در پایپ‌لاین
  • 33. موازی‌سازی پایپ‌لاین با موازی‌سازی داده
  • 34. موازی‌سازی پایپ‌لاین با موازی‌سازی مدل
  • 35. معماری‌های پیشرفته برای آموزش مقیاس‌پذیر
  • 36. Zero Redundancy Optimizer (ZeRO)
  • 37. ZeRO-1، ZeRO-2، ZeRO-3
  • 38. پیاده‌سازی ZeRO
  • 39. DeepSpeed و اجزای آن
  • 40. Megatron-LM و رویکردهای آن
  • 41. FairScale و ابزارهای آن
  • 42. Frameworkهای آموزش توزیع‌شده
  • 43. PyTorch Distributed
  • 44. TensorFlow Distributed
  • 45. Horovod
  • 46. Petuum
  • 47. ابزارهای کمکی و کتابخانه‌ها
  • 48. NCCL (NVIDIA Collective Communications Library)
  • 49. MPI (Message Passing Interface)
  • 50. Gloo
  • 51. تکنیک‌های بهینه‌سازی ارتباطات
  • 52. فشرده‌سازی گرادیان (Gradient Compression)
  • 53. کوانتیزاسیون (Quantization)
  • 54. انتخاب الگوریتم ارتباطی مناسب
  • 55. مدیریت حافظه در مقیاس بزرگ
  • 56. Offloading حافظه
  • 57. Offloading پارامترها
  • 58. Offloading به CPU
  • 59. Offloading به SSD
  • 60. تکنیک‌های کاهش مصرف حافظه
  • 61. Checkpointing و Fault Tolerance
  • 62. ذخیره‌سازی و بازیابی نقاط بازرسی (Checkpoints)
  • 63. مدیریت خطاها و بازیابی از خرابی
  • 64. پیاده‌سازی Robust Checkpointing
  • 65. استراتژی‌های آموزش توزیع‌شده
  • 66. آموزش با نرخ یادگیری تطبیقی (Adaptive Learning Rate)
  • 67. آموزش با زمان‌بندی نرخ یادگیری (Learning Rate Scheduling)
  • 68. تنظیم دقیق (Fine-tuning) مدل‌های توزیع‌شده
  • 69. آموزش از ابتدا (Pre-training) مدل‌های توزیع‌شده
  • 70. استراتژی‌های توزیع داده برای LLMها
  • 71. توزیع داده در طول زمان (Time-based Distribution)
  • 72. توزیع داده در طول فضا (Space-based Distribution)
  • 73. توزیع داده با رویکرد مبتنی بر نمونه (Sample-based Distribution)
  • 74. مدیریت داده و پیش‌پردازش در مقیاس بزرگ
  • 75. پایپ‌لاین‌های داده (Data Pipelines)
  • 76. ذخیره‌سازی داده‌های حجیم
  • 77. فرمت‌های داده بهینه برای آموزش توزیع‌شده
  • 78. ارزیابی عملکرد سیستم‌های توزیع‌شده
  • 79. معیارهای سنجش (Metrics)
  • 80. ابزارهای پروفایلینگ (Profiling Tools)
  • 81. تکنیک‌های اشکال‌زدایی (Debugging Techniques)
  • 82. مقیاس‌پذیری و عملکرد
  • 83. تحلیل گلوگاه‌ها
  • 84. بهینه‌سازی برای سخت‌افزارهای مختلف
  • 85. ملاحظات امنیتی در معماری‌های توزیع‌شده
  • 86. امنیت داده‌ها
  • 87. امنیت ارتباطات
  • 88. مدیریت دسترسی
  • 89. ملاحظات اخلاقی و پایداری
  • 90. مصرف انرژی
  • 91. مدیریت منابع
  • 92. آموزش LLMهای کوچک‌تر و توزیع شده
  • 93. تکنیک‌های Distillation برای مدل‌های توزیع‌شده
  • 94. آموزش federated برای LLMها
  • 95. مقدمه‌ای بر آموزش Federated
  • 96. چالش‌های آموزش Federated برای LLMها
  • 97. کاربردها و مطالعات موردی
  • 98. آموزش مدل‌های زبان بزرگ در مقیاس پتابایت
  • 99. نمونه‌های موفق پیاده‌سازی
  • 100. آینده معماری‌های توزیع‌شده برای LLMها

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .


ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “کتاب معماری‌های توزیع‌شده برای آموزش مقیاس‌پذیر LLMها”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

پیمایش به بالا