دوره ترنسفورمرها: ستون فقرات مدل‌های زبانی بزرگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: ستون فقرات مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر ترنسفورمرها و معماری آن‌ها
• 2. آشنایی با مکانیزم توجه (Attention Mechanism)
• 3. توجه خودی (Self-Attention) و نحوه عملکرد آن
• 4. کدگذاری موقعیتی (Positional Encoding) در ترنسفورمرها
• 5. معماری رمزگذار (Encoder) ترنسفورمر
• 6. معماری رمزگشا (Decoder) ترنسفورمر
• 7. مدل‌های زبانی بزرگ (LLMs) و نقش ترنسفورمرها
• 8. کاربرد ترنسفورمرها در پردازش زبان طبیعی (NLP)
• 9. تاریخچه مختصری از مدل‌های زبانی
• 10. مقایسه ترنسفورمرها با مدل‌های پیشین (RNN, LSTM)
• 11. پیاده‌سازی پایه‌ای ترنسفورمر با پایتون
• 12. مفاهیم کلیدی در آموزش ترنسفورمرها
• 13. تابع هزینه (Loss Function) در ترنسفورمرها
• 14. بهینه‌سازها (Optimizers) برای آموزش ترنسفورمرها
• 15. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 16. روش‌های منظم‌سازی (Regularization) در ترنسفورمرها
• 17. مدل‌های ترنسفورمر پیش‌آموزش‌دیده (Pre-trained Transformers)
• 18. مفهوم انتقال یادگیری (Transfer Learning)
• 19. مدل‌های BERT و کاربردهای آن
• 20. مدل‌های GPT و نحوه تولید متن
• 21. مدل‌های T5 و رویکرد Text-to-Text
• 22. تنظیم دقیق (Fine-tuning) مدل‌های ترنسفورمر
• 23. ارزیابی عملکرد مدل‌های زبانی
• 24. معیارهای ارزیابی مدل‌های زبانی (Perplexity, BLEU)
• 25. کاربرد ترنسفورمرها در ترجمه ماشینی
• 26. کاربرد ترنسفورمرها در خلاصه‌سازی متن
• 27. کاربرد ترنسفورمرها در پاسخگویی به سوال
• 28. کاربرد ترنسفورمرها در تحلیل احساسات
• 29. کاربرد ترنسفورمرها در تشخیص موجودیت نام‌گذاری شده (NER)
• 30. کاربرد ترنسفورمرها در تولید متن خلاقانه
• 31. کاربرد ترنسفورمرها در درک مطلب
• 32. کاربرد ترنسفورمرها در طبقه‌بندی متن
• 33. کاربرد ترنسفورمرها در مدل‌سازی موضوعی
• 34. کاربرد ترنسفورمرها در تشخیص کلام
• 35. کاربرد ترنسفورمرها در تولید کلام
• 36. ترنسفورمرهای چندوجهی (Multimodal Transformers)
• 37. مدل‌های ترنسفورمر برای پردازش تصویر
• 38. مدل‌های ترنسفورمر برای پردازش ویدئو
• 39. مدل‌های ترنسفورمر برای پردازش صدا
• 40. مدل‌های ترنسفورمر برای داده‌های ساختاریافته
• 41. تکنیک‌های پیشرفته در مکانیزم توجه
• 42. توجه موضعی (Local Attention)
• 43. توجه پراکنده (Sparse Attention)
• 44. توجه خطی (Linear Attention)
• 45. توجه سلسله‌مراتبی (Hierarchical Attention)
• 46. روش‌های فشرده‌سازی مدل‌های ترنسفورمر
• 47. تقطیر دانش (Knowledge Distillation)
• 48. هرس کردن (Pruning) مدل‌های ترنسفورمر
• 49. کوانتیزاسیون (Quantization) مدل‌های ترنسفورمر
• 50. معماری‌های ترنسفورمر پیشرفته (Reformer, Linformer)
• 51. مدل‌های ترنسفورمر برای وظایف خاص
• 52. ترنسفورمرهای مولد (Generative Transformers)
• 53. ترنسفورمرهای تمایزگرا (Discriminative Transformers)
• 54. ترنسفورمرهای خودرگرسیو (Autoregressive Transformers)
• 55. ترنسفورمرهای غیرخودرگرسیو (Non-autoregressive Transformers)
• 56. ترنسفورمرهای مبتنی بر گراف (Graph Transformers)
• 57. ترنسفورمرهای مبتنی بر یادگیری تقویتی (Reinforcement Learning Transformers)
• 58. ترنسفورمرها در علوم زیستی
• 59. ترنسفورمرها در شیمی
• 60. ترنسفورمرها در فیزیک
• 61. ترنسفورمرها در امور مالی (با رعایت چارچوب شرعی)
• 62. ترنسفورمرها در حوزه سلامت (با رعایت پروتکل‌های وزارت بهداشت)
• 63. ملاحظات اخلاقی در استفاده از مدل‌های زبانی بزرگ
• 64. سوگیری (Bias) در مدل‌های ترنسفورمر
• 65. شفافیت (Transparency) و قابلیت تفسیر (Interpretability)
• 66. امنیت مدل‌های ترنسفورمر
• 67. حریم خصوصی داده‌ها در مدل‌های ترنسفورمر
• 68. مقررات مربوط به محتوای دیجیتال در ایران
• 69. نقش شورای عالی انقلاب فرهنگی در تعیین سیاست‌های فرهنگی
• 70. حدود شرعی در تولید و انتشار محتوا
• 71. توصیه‌هایی برای استفاده مسئولانه از هوش مصنوعی
• 72. جایگزینی مفاهیم مغایر با چارچوب شرعی در محتوای آموزشی
• 73. تطبیق رویکردها با خانواده ایرانی-اسلامی
• 74. رعایت منافع ملی در تحلیل‌های تاریخی و سیاسی
• 75. پرهیز از ترویج الگوهای پوششی غیرشرعی
• 76. پرهیز از ترویج فرقه‌های انحرافی
• 77. پرهیز از آموزش هک کلاه‌سیاه و حملات سایبری مخرب
• 78. پرهیز از ترویج خشونت و ساخت سلاح
• 79. پرهیز از ترویج پولشویی و فرار مالیاتی
• 80. پرهیز از ترویج خودکشی و خودآزاری
• 81. پرهیز از محتوای ضد ایرانی و نژادپرستی
• 82. کاربرد ترنسفورمرها در آموزش زبان فارسی
• 83. کاربرد ترنسفورمرها در توسعه نرم‌افزارهای آموزشی
• 84. کاربرد ترنسفورمرها در شبیه‌سازی‌های علمی
• 85. ترنسفورمرها و آینده هوش مصنوعی
• 86. چالش‌های پیش رو در توسعه ترنسفورمرها
• 87. فرصت‌های جدید در معماری‌های نوظهور
• 88. یادگیری مداوم (Continual Learning) در ترنسفورمرها
• 89. ترنسفورمرهای کارآمدتر (Efficient Transformers)
• 90. ترنسفورمرها برای دستگاه‌های کم‌توان
• 91. آینده پژوهش در حوزه ترنسفورمرها