فلش‌کارت‌های آموزشی ساخت و استقرار مدل‌های یادگیری عمیق توزیع‌شده با PyTorch

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت و استقرار مدل‌های یادگیری عمیق توزیع‌شده با PyTorch

موضوع کلی: ارزیابی سیستم‌های هوش مصنوعی

موضوع میانی: PyTorch Ecosystem

📋 سرفصل‌های دوره

• 1. مقدمه به یادگیری عمیق توزیع‌شده
• 2. مبانی PyTorch
• 3. مفاهیم کلیدی PyTorch
• 4. تانسورها و عملیات روی آن‌ها
• 5. گرادیان‌ها و محاسبه خودکار
• 6. شبکه‌های عصبی در PyTorch
• 7. لایه‌های متداول شبکه‌های عصبی
• 8. توابع فعال‌سازی
• 9. بهینه‌سازها در PyTorch
• 10. توابع زیان
• 11. چرخه آموزش مدل
• 12. مدیریت داده‌ها با DataLoader
• 13. پیش‌پردازش داده‌ها
• 14. افزایش داده‌ها
• 15. مدل‌های ترتیبی
• 16. شبکه‌های عصبی کانولوشنی (CNN)
• 17. کاربرد CNN در بینایی کامپیوتر
• 18. شبکه‌های عصبی بازگشتی (RNN)
• 19. کاربرد RNN در پردازش زبان طبیعی
• 20. حافظه طولانی کوتاه مدت (LSTM)
• 21. واحدهای بازگشتی گیت‌دار (GRU)
• 22. مدل‌های ترنسفورمر
• 23. مکانیسم توجه
• 24. توضیح ترنسفورمرها
• 25. پیاده‌سازی ترنسفورمر با PyTorch
• 26. پیش‌نیازهای یادگیری توزیع‌شده
• 27. مفاهیم پایه‌ای پردازش موازی
• 28. مدل‌های موازی‌سازی
• 29. داده موازی‌سازی
• 30. موازی‌سازی مدل
• 31. موازی‌سازی تانسور
• 32. استراتژی‌های موازی‌سازی
• 33. انتخاب استراتژی مناسب
• 34. محدودیت‌های موازی‌سازی
• 35. مقیاس‌پذیری در یادگیری عمیق
• 36. توزیع بار محاسباتی
• 37. ارتباطات بین پردازنده‌ها
• 38. پهنای باند و تأخیر شبکه
• 39. بهینه‌سازی ارتباطات
• 40. کتابخانه‌های یادگیری توزیع‌شده
• 41. PyTorch DistributedDataParallel
• 42. PyTorch FullyShardedDataParallel
• 43. PyTorch RPC (Remote Procedure Call)
• 44. استفاده از DataParallel
• 45. استفاده از DistributedDataParallel
• 46. مقایسه DataParallel و DistributedDataParallel
• 47. آموزش توزیع‌شده با چندین GPU
• 48. آموزش توزیع‌شده با چندین گره (Node)
• 49. تنظیمات محیطی برای آموزش توزیع‌شده
• 50. استفاده از مفسر `torchrun`
• 51. متغیرهای محیطی برای تنظیمات
• 52. مدیریت Checkpoint در آموزش توزیع‌شده
• 53. ذخیره و بارگذاری مدل‌های توزیع‌شده
• 54. بازیابی وضعیت آموزش
• 55. اشکال‌زدایی مدل‌های توزیع‌شده
• 56. نظارت بر فرآیند آموزش توزیع‌شده
• 57. ابزارهای نظارتی
• 58. مقیاس‌پذیری سخت‌افزاری
• 59. معماری‌های سخت‌افزاری
• 60. GPUهای مدرن
• 61. FPGAها و ASICها
• 62. ملاحظات پهنای باند حافظه
• 63. بهینه‌سازی مصرف حافظه
• 64. کوانتیزاسیون مدل
• 65. تقطیر دانش (Knowledge Distillation)
• 66. آموزش با دقت ترکیبی (Mixed Precision Training)
• 67. استفاده از AMP (Automatic Mixed Precision)
• 68. تنظیمات AMP
• 69. مزایا و معایب AMP
• 70. مدیریت خطا در سیستم‌های توزیع‌شده
• 71. شکست گره (Node Failure)
• 72. بازیابی از شکست
• 73. تحمل پذیری خطا (Fault Tolerance)
• 74. طراحی مدل‌های مقاوم به خطا
• 75. استقرار مدل‌های توزیع‌شده
• 76. مبانی استقرار مدل
• 77. محیط‌های استقرار
• 78. Docker و کانتینرسازی
• 79. Kubernetes برای ارکستراسیون
• 80. پلتفرم‌های ابری (AWS, GCP, Azure)
• 81. ارزیابی عملکرد مدل در استقرار
• 82. بنچمارکینگ مدل‌های توزیع‌شده
• 83. زمان پاسخگویی (Latency)
• 84. توان عملیاتی (Throughput)
• 85. مصرف منابع
• 86. بهینه‌سازی برای استقرار
• 87. پایپ‌لاینینگ مدل
• 88. تکنیک‌های موازی‌سازی برای استقرار
• 89. موازنه بار (Load Balancing)
• 90. استقرار مدل‌های Real-time
• 91. ملاحظات امنیتی در استقرار
• 92. پروتکل‌های ارتباطی امن
• 93. رمزگذاری داده‌ها
• 94. مدیریت دسترسی
• 95. مقیاس‌پذیری افقی و عمودی
• 96. انتخاب معماری استقرار
• 97. مانیتورینگ مدل مستقر
• 98. لاگ‌گیری و ردیابی
• 99. تشخیص ناهنجاری (Anomaly Detection)
• 100. به‌روزرسانی مدل‌های مستقر