فلش‌کارت‌های آموزشی تکنیک‌های پیشرفته در آموزش ترنسفورمرها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تکنیک‌های پیشرفته در آموزش ترنسفورمرها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر شبکه‌های عصبی ترنسفورمر
• 2. معماری پایه‌ ترنسفورمر: مکانیسم توجه
• 3. مکانیزم خود-توجه (Self-Attention)
• 4. توجه چند-سر (Multi-Head Attention)
• 5. لایه نرمال‌سازی (Layer Normalization)
• 6. اتصالات باقی‌مانده (Residual Connections)
• 7. کدگذار ترنسفورمر (Transformer Encoder)
• 8. رمزگشا ترنسفورمر (Transformer Decoder)
• 9. جایگذاری کلمات (Word Embeddings)
• 10. جایگذاری موقعیتی (Positional Embeddings)
• 11. آموزش ترنسفورمرها: بهینه‌سازی
• 12. تابع هزینه (Loss Function) در ترنسفورمرها
• 13. بهینه‌سازهای پیشرفته (Adam, AdamW)
• 14. یادگیری نرخ گام (Learning Rate Scheduling)
• 15. تنظیم فراپارامترها (Hyperparameter Tuning)
• 16. روش‌های منظم‌سازی (Regularization Techniques)
• 17. کاهش احتمال ریزش (Dropout)
• 18. تنظیم وزن (Weight Decay)
• 19. مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models)
• 20. BERT: مدل زبانی دوطرفه
• 21. GPT: مدل زبانی مولد
• 22. کاربردهای BERT: طبقه‌بندی متن
• 23. کاربردهای BERT: تشخیص موجودیت نام‌دار (NER)
• 24. کاربردهای GPT: تولید متن
• 25. کاربردهای GPT: خلاصه سازی متن
• 26. تنظیم دقیق مدل‌های زبانی (Fine-tuning)
• 27. تنظیم دقیق برای وظایف خاص
• 28. تنظیم دقیق با استفاده از داده‌های کم
• 29. آموزش ترنسفورمرها از ابتدا (Training from Scratch)
• 30. تکنیک‌های افزایش داده (Data Augmentation)
• 31. معماری‌های ترنسفورمر معکوس (Reversed Transformer Architectures)
• 32. ترنسفورمرهای کارآمد (Efficient Transformers)
• 33. Linear Transformers
• 34. Reformer
• 35. Performer
• 36. ترنسفورمرهای مبتنی بر مکانیسم رویداد (Event-based Transformers)
• 37. ترنسفورمرهای مبتنی بر حافظه (Memory-based Transformers)
• 38. ترنسفورمرهای گراف (Graph Transformers)
• 39. ترنسفورمرهای مبتنی بر توجه پراکنده (Sparse Attention Transformers)
• 40. ترنسفورمرهای مبتنی بر توجه محلی (Local Attention Transformers)
• 41. ترنسفورمرهای مبتنی بر توجه تکراری (Recurrent Attention Transformers)
• 42. ترنسفورمرهای مبتنی بر توجه ترکیبی (Hybrid Attention Transformers)
• 43. ترنسفورمرهای مبتنی بر توجه سلسله مراتبی (Hierarchical Attention Transformers)
• 44. ترنسفورمرهای برای پردازش زبان طبیعی (NLP)
• 45. ترنسفورمرها برای ترجمه ماشینی
• 46. ترنسفورمرها برای پاسخ به سوال
• 47. ترنسفورمرها برای تحلیل احساسات
• 48. ترنسفورمرها برای تولید دیالوگ
• 49. ترنسفورمرها برای خلاصه‌سازی خودکار
• 50. ترنسفورمرها برای تشخیص گفتار
• 51. ترنسفورمرها برای تولید گفتار
• 52. ترنسفورمرها برای پردازش تصویر (Vision Transformers - ViT)
• 53. کاربردهای ViT در طبقه‌بندی تصویر
• 54. کاربردهای ViT در تشخیص اشیاء
• 55. کاربردهای ViT در بخش‌بندی تصویر
• 56. ترنسفورمرها برای پردازش ویدئو
• 57. ترنسفورمرها برای پردازش سیگنال
• 58. ترنسفورمرها برای پیش‌بینی سری‌های زمانی
• 59. ترنسفورمرها برای پردازش داده‌های ساختاریافته
• 60. ترنسفورمرها برای یادگیری تقویتی
• 61. ترنسفورمرها برای سیستم‌های توصیه‌گر
• 62. ترنسفورمرها برای تحلیل شبکه‌های اجتماعی
• 63. ترنسفورمرها برای کشف دارو
• 64. ترنسفورمرها برای مدل‌سازی مولکولی
• 65. ترنسفورمرها برای پردازش زبان طبیعی در فارسی
• 66. آموزش مدل‌های زبانی بزرگ (LLMs)
• 67. معماری‌های LLM: GPT-3 و مدل‌های مشابه
• 68. تکنیک‌های پیشرفته در تنظیم دقیق LLM ها
• 69. Prompt Engineering برای LLM ها
• 70. آموزش LLM ها با داده‌های تخصصی
• 71. کاربردهای LLM ها در صنعت
• 72. کاربردهای LLM ها در آموزش
• 73. کاربردهای LLM ها در پژوهش
• 74. چالش‌های اخلاقی در استفاده از ترنسفورمرها
• 75. سوگیری در مدل‌های ترنسفورمر
• 76. تفسیرپذیری مدل‌های ترنسفورمر (Explainable AI)
• 77. ارزیابی عملکرد مدل‌های ترنسفورمر
• 78. معیارهای ارزیابی در NLP
• 79. معیارهای ارزیابی در بینایی ماشین
• 80. بهینه‌سازی مصرف منابع در ترنسفورمرها
• 81. کوچک‌سازی مدل‌های ترنسفورمر (Model Compression)
• 82. تقطیر دانش (Knowledge Distillation)
• 83. هرس کردن وزن‌ها (Weight Pruning)
• 84. کوانتیزاسیون مدل (Model Quantization)
• 85. استفاده از سخت‌افزارهای تخصصی (GPU, TPU)
• 86. موازی‌سازی آموزش ترنسفورمرها
• 87. آموزش توزیع‌شده ترنسفورمرها
• 88. مقایسه معماری‌های مختلف ترنسفورمر
• 89. مروری بر آخرین تحقیقات در حوزه ترنسفورمرها
• 90. آینده ترنسفورمرها و کاربردهای نوین
• 91. ترنسفورمرها در یادگیری فدرال (Federated Learning)
• 92. ترنسفورمرها برای پردازش داده‌های چندوجهی (Multimodal Data)
• 93. ترنسفورمرها در رباتیک
• 94. ترنسفورمرها در هوش مصنوعی مولد (Generative AI)
• 95. تولید تصویر با ترنسفورمرها
• 96. تولید موسیقی با ترنسفورمرها
• 97. تولید کد با ترنسفورمرها
• 98. ترنسفورمرها و مدل‌سازی علّی (Causal Modeling)
• 99. ترنسفورمرها و یادگیری بدون نظارت (Unsupervised Learning)
• 100. ترنسفورمرها و یادگیری نیمه‌نظارتی (Semi-supervised Learning)