فلش‌کارت‌های آموزشی شتاب‌دهی به یادگیری ماشین: تکنیک‌های پردازش موازی برای مدل‌های بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره شتاب‌دهی به یادگیری ماشین: تکنیک‌های پردازش موازی برای مدل‌های بزرگ

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: مبانی و معماری‌های یادگیری ماشین

📋 سرفصل‌های دوره

• 1. در اینجا 100 سرفصل برای دوره آموزشی "شتاب‌دهی به یادگیری ماشین: تکنیک‌های پردازش موازی برای مدل‌های بزرگ" با الهام از کتاب "پردازش موازی در یادگیری ماشین" آورده شده است:
• 2. مقدمه‌ای بر هوش مصنوعی و یادگیری ماشین
• 3. مبانی یادگیری ماشین: نظارت شده، بدون نظارت، تقویتی
• 4. انواع مدل‌های یادگیری ماشین: رگرسیون، طبقه‌بندی، خوشه‌بندی
• 5. یادگیری عمیق: شبکه‌های عصبی و لایه‌های آن‌ها
• 6. مقدمه‌ای بر پردازش موازی
• 7. مزایای پردازش موازی در یادگیری ماشین
• 8. انواع معماری‌های پردازش موازی: SIMD، MIMD
• 9. مدل‌های موازی‌سازی: داده موازی، مدل موازی
• 10. چالش‌های پردازش موازی در یادگیری ماشین
• 11. معماری‌های سخت‌افزاری رایج برای یادگیری ماشین: CPU، GPU
• 12. معماری GPU: هسته‌ها، حافظه، پهنای باند
• 13. برنامه‌نویسی GPU: CUDA، OpenCL
• 14. مبانی الگوریتم‌های یادگیری ماشین قابل موازی‌سازی
• 15. موازی‌سازی الگوریتم‌های رگرسیون خطی
• 16. موازی‌سازی الگوریتم‌های رگرسیون لجستیک
• 17. موازی‌سازی الگوریتم‌های ماشین بردار پشتیبان (SVM)
• 18. موازی‌سازی الگوریتم‌های درخت تصمیم
• 19. موازی‌سازی الگوریتم‌های جنگل تصادفی
• 20. موازی‌سازی الگوریتم‌های K-نزدیکترین همسایه (KNN)
• 21. موازی‌سازی الگوریتم‌های K-میانگین (K-Means)
• 22. موازی‌سازی الگوریتم‌های تجزیه مولفه‌های اصلی (PCA)
• 23. مبانی شبکه‌های عصبی مصنوعی (ANN)
• 24. موازی‌سازی در لایه‌های ورودی شبکه‌های عصبی
• 25. موازی‌سازی در لایه‌های پنهان شبکه‌های عصبی
• 26. موازی‌سازی در لایه‌های خروجی شبکه‌های عصبی
• 27. موازی‌سازی الگوریتم انتشار رو به عقب (Backpropagation)
• 28. موازی‌سازی الگوریتم‌های گرادیان کاهشی دسته‌ای (Batch Gradient Descent)
• 29. موازی‌سازی الگوریتم‌های گرادیان کاهشی تصادفی (Stochastic Gradient Descent)
• 30. موازی‌سازی الگوریتم‌های بهینه‌سازهای پیشرفته: Adam، RMSprop
• 31. مبانی شبکه‌های عصبی کانولوشنی (CNN)
• 32. موازی‌سازی عملیات کانولوشن
• 33. موازی‌سازی عملیات Pooling
• 34. موازی‌سازی در لایه‌های Fully Connected در CNN
• 35. کاربرد CNN در پردازش تصویر و موازی‌سازی
• 36. مبانی شبکه‌های عصبی بازگشتی (RNN)
• 37. موازی‌سازی در واحدهای زمانی RNN
• 38. موازی‌سازی در لایه‌های پنهان RNN
• 39. موازی‌سازی در لایه‌های خروجی RNN
• 40. کاربرد RNN در پردازش زبان طبیعی و موازی‌سازی
• 41. مبانی شبکه‌های حافظه طولانی کوتاه مدت (LSTM)
• 42. موازی‌سازی در گیت‌های LSTM
• 43. کاربرد LSTM در پردازش دنباله‌های طولانی و موازی‌سازی
• 44. مبانی شبکه‌های حافظه کوتاه مدت (GRU)
• 45. موازی‌سازی در گیت‌های GRU
• 46. کاربرد GRU و مقایسه با LSTM در موازی‌سازی
• 47. مبانی شبکه‌های مولد تخاصمی (GAN)
• 48. موازی‌سازی در بخش تولیدکننده (Generator) GAN
• 49. موازی‌سازی در بخش تفکیک‌کننده (Discriminator) GAN
• 50. موازی‌سازی در فرآیند آموزش GAN
• 51. کاربرد GAN در تولید داده و موازی‌سازی
• 52. مبانی شبکه‌های ترنسفورمر
• 53. موازی‌سازی مکانیزم توجه (Attention Mechanism)
• 54. موازی‌سازی در لایه‌های Encoder و Decoder ترنسفورمر
• 55. کاربرد ترنسفورمر در پردازش زبان طبیعی و موازی‌سازی
• 56. موازی‌سازی در مدل‌های زبان بزرگ (LLM)
• 57. استراتژی‌های موازی‌سازی داده برای LLM
• 58. استراتژی‌های موازی‌سازی مدل برای LLM
• 59. استراتژی‌های موازی‌سازی پایپ‌لاین برای LLM
• 60. بهینه‌سازی ارتباطات در پردازش موازی یادگیری ماشین
• 61. تکنیک‌های کاهش سربار ارتباطی
• 62. استفاده از سخت‌افزارهای تخصصی: TPU، FPGA
• 63. معماری‌های تراشه‌ای برای یادگیری عمیق
• 64. فریم‌ورک‌های یادگیری ماشین موازی: TensorFlow، PyTorch
• 65. پیاده‌سازی موازی‌سازی با TensorFlow
• 66. پیاده‌سازی موازی‌سازی با PyTorch
• 67. ابزارهای پروفایلینگ و اشکال‌زدایی در یادگیری ماشین موازی
• 68. اندازه‌گیری عملکرد مدل‌های موازی
• 69. تحلیل گلوگاه‌های پردازشی
• 70. بهینه‌سازی مصرف حافظه در مدل‌های بزرگ
• 71. تکنیک‌های کوانتیزاسیون (Quantization) برای شتاب‌دهی
• 72. تکنیک‌های تقطیر دانش (Knowledge Distillation)
• 73. موازی‌سازی در یادگیری تقویتی عمیق (DRL)
• 74. موازی‌سازی الگوریتم‌های Policy Gradient
• 75. موازی‌سازی الگوریتم‌های Actor-Critic
• 76. موازی‌سازی در محیط‌های شبیه‌سازی شده برای DRL
• 77. کاربرد DRL در رباتیک و بازی‌ها و موازی‌سازی
• 78. موازی‌سازی در یادگیری نیمه نظارت شده (Semi-Supervised Learning)
• 79. موازی‌سازی در یادگیری خودنظارت شده (Self-Supervised Learning)
• 80. موازی‌سازی در یادگیری فدرال (Federated Learning)
• 81. چالش‌های امنیتی و حریم خصوصی در یادگیری ماشین موازی
• 82. ملاحظات اخلاقی در استفاده از مدل‌های بزرگ و موازی
• 83. آینده پردازش موازی در یادگیری ماشین
• 84. نوآوری‌های سخت‌افزاری آینده
• 85. پیشرفت‌های نرم‌افزاری و الگوریتمی
• 86. نقش هوش مصنوعی در طراحی سیستم‌های موازی
• 87. نتیجه‌گیری و جمع‌بندی دوره