اپلیکیشن اندرویدی فلش‌کارت آموزشی ترنسفورمرها: درک معماری و ساخت مدل‌های پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: درک معماری و ساخت مدل‌های پیشرفته

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر شبکه‌های عصبی و یادگیری عمیق
• 2. آشنایی با معماری ترنسفورمر
• 3. تاریخچه و تکامل مدل‌های ترنسفورمر
• 4. مولفه‌های اصلی ترنسفورمر: سلف-اتنشن
• 5. مکانیسم سلف-اتنشن: جزئیات پیاده‌سازی
• 6. کاربرد سلف-اتنشن در درک روابط بین کلمات
• 7. محاسبه وزن‌های اتنشن
• 8. نرمال‌سازی و خروجی سلف-اتنشن
• 9. مولفه‌های اصلی ترنسفورمر: لایه‌های Feed-Forward
• 10. ساختار و عملکرد لایه‌های Feed-Forward
• 11. تابع فعال‌سازی ReLU و انواع آن
• 12. پیمایش موقعیتی (Positional Encoding)
• 13. ضرورت پیمایش موقعیتی در مدل‌های ترنسفورمر
• 14. روش‌های پیاده‌سازی پیمایش موقعیتی
• 15. رمزگذار (Encoder) در معماری ترنسفورمر
• 16. ساختار لایه‌های رمزگذار
• 17. پشته‌های رمزگذار (Encoder Stacks)
• 18. رمزگشا (Decoder) در معماری ترنسفورمر
• 19. ساختار لایه‌های رمزگشا
• 20. پشته‌های رمزگشا (Decoder Stacks)
• 21. مکانیزم اتنشن در رمزگشا (Masked Self-Attention)
• 22. اتنشن متقاطع (Cross-Attention) بین رمزگذار و رمزگشا
• 23. تفاوت‌های کلیدی بین رمزگذار و رمزگشا
• 24. توابع فعال‌سازی و نرمال‌سازی در ترنسفورمر
• 25. لایه نرمال‌سازی (Layer Normalization)
• 26. توابع فعال‌سازی غیرخطی
• 27. بهینه‌سازی و تنظیم هایپرپارامترها
• 28. آموزش مدل ترنسفورمر
• 29. تابع هزینه (Loss Function) در ترنسفورمر
• 30. بهینه‌سازها (Optimizers): Adam, SGD
• 31. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 32. تنظیمات بچ (Batch Size) و تاثیر آن
• 33. اعتبارسنجی و تست مدل
• 34. معیارهای ارزیابی مدل‌های زبانی
• 35. دقت (Accuracy)، دقت و بازیابی (Precision & Recall)
• 36. امتیاز F1 و کاربرد آن
• 37. متریک BLEU برای ارزیابی ترجمه ماشینی
• 38. متریک ROUGE برای ارزیابی خلاصه‌سازی
• 39. تنظیمات ترنسفورمر برای وظایف مختلف
• 40. ترجمه ماشینی با ترنسفورمر
• 41. خلاصه‌سازی متن با ترنسفورمر
• 42. پاسخ به پرسش با ترنسفورمر
• 43. تولید متن با ترنسفورمر
• 44. طبقه‌بندی متن با ترنسفورمر
• 45. شناسایی موجودیت نام‌گذاری شده (NER) با ترنسفورمر
• 46. مدل‌های پیش‌آموزش‌دیده (Pre-trained Models)
• 47. مفهوم پیش‌آموزش‌دهی
• 48. معماری BERT
• 49. کاربرد BERT در درک مطلب
• 50. Fine-tuning مدل BERT
• 51. معماری GPT
• 52. کاربرد GPT در تولید متن
• 53. Fine-tuning مدل GPT
• 54. مدل‌های ترنسفورمر چندزبانه (Multilingual Transformers)
• 55. ترنسفورمرهای زبانی بزرگ (Large Language Models - LLMs)
• 56. ملاحظات اخلاقی در استفاده از LLMs
• 57. حفظ حریم خصوصی و امنیت داده‌ها
• 58. جلوگیری از سوگیری (Bias) در مدل‌ها
• 59. تفسیرپذیری (Interpretability) مدل‌های ترنسفورمر
• 60. روش‌های بصری‌سازی اتنشن
• 61. تکنیک‌های LIME و SHAP
• 62. کاربرد ترنسفورمرها در پردازش زبان طبیعی (NLP)
• 63. تشخیص احساسات (Sentiment Analysis)
• 64. مدل‌سازی موضوع (Topic Modeling)
• 65. تشخیص اسپم (Spam Detection)
• 66. سیستم‌های توصیه‌گر (Recommender Systems)
• 67. پردازش تصویر با ترنسفورمرها
• 68. معماری Vision Transformer (ViT)
• 69. کاربرد ViT در طبقه‌بندی تصاویر
• 70. مزایای ترنسفورمرها نسبت به RNN و LSTM
• 71. پیاده‌سازی ترنسفورمر با PyTorch
• 72. پیاده‌سازی ترنسفورمر با TensorFlow
• 73. استفاده از کتابخانه‌های Hugging Face Transformers
• 74. تنظیمات پیشرفته برای بهبود عملکرد
• 75. تکنیک‌های Regularization (Dropout, Weight Decay)
• 76. استفاده از تکنیک‌های Ensemble
• 77. پردازش موازی و توزیع‌شده آموزش
• 78. نکات و ترفندهای عملی برای کار با ترنسفورمرها
• 79. مدیریت حافظه در آموزش مدل‌های بزرگ
• 80. استفاده از GPU و TPU
• 81. عیب‌یابی رایج در آموزش ترنسفورمرها
• 82. توسعه مدل‌های سفارشی ترنسفورمر
• 83. آینده ترنسفورمرها و تحقیقات جدید
• 84. ترنسفورمرهای کارآمدتر (Efficient Transformers)
• 85. ترنسفورمرهای برای داده‌های سری زمانی
• 86. ترنسفورمرهای برای صدا و گفتار
• 87. ترنسفورمرهای در حوزه علوم سلامت
• 88. ترنسفورمرهای در حوزه مالی
• 89. ساختارهای داده‌ای مرتبط با ترنسفورمرها
• 90. اصول ساختمان داده برای پردازش توالی
• 91. کاربرد مفاهیم دانش‌بنیان در مدل‌سازی
• 92. اصول مهندسی نرم‌افزار برای پروژه‌های NLP
• 93. استانداردهای کدنویسی و مستندسازی
• 94. آشنایی با مفاهیم اولیه احتمالات و آمار
• 95. کاربرد آمار در تحلیل داده‌های زبانی
• 96. نظریه اطلاعات و کاربرد آن در NLP
• 97. اصول بهینه‌سازی در یادگیری ماشین
• 98. روش‌های جستجو و بهینه‌سازی هیوریستیک
• 99. مبانی شبکه‌های عصبی کانولوشنال (CNN)
• 100. مقایسه CNN با ترنسفورمرها