دوره بهینه‌سازی و تسریع آموزش پیش‌زمینه LLMها همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی و تسریع آموزش پیش‌زمینه LLMها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: آموزش پیش‌زمینه (Pre-training) LLMs

📋 سرفصل‌های دوره

• 1. مقدمات و مبانی یادگیری عمیق
• 2. شبکه‌های عصبی مصنوعی
• 3. توابع فعال‌سازی در شبکه‌های عصبی
• 4. روش‌های بهینه‌سازی مدل‌های یادگیری عمیق
• 5. شبکه‌های عصبی کانولوشنال (CNN)
• 6. شبکه‌های عصبی بازگشتی (RNN)
• 7. مفهوم Embeddings و کاربردهای آن
• 8. Word Embeddings: Word2Vec و GloVe
• 9. یادگیری نمایندگی کلمات در مدل‌های زبانی
• 10. مبانی پردازش زبان طبیعی (NLP)
• 11. مراحل پیش‌پردازش متن
• 12. توکنیزاسیون و نرمال‌سازی متن
• 13. حذف کلمات پرت (Stop Words)
• 14. ریشه‌یابی کلمات (Stemming) و بن‌واژه‌سازی (Lemmatization)
• 15. مدل‌های زبانی آماری
• 16. مبانی مدل‌های زبانی پیش‌بینی‌کننده
• 17. مفهوم احتمالات در مدل‌های زبانی
• 18. مدل‌های زبانی ان‌گرامی (N-gram)
• 19. ارزیابی مدل‌های زبانی
• 20. معیارهای ارزیابی مدل‌های زبانی: Perplexity
• 21. تاریخچه و تکامل مدل‌های زبانی
• 22. معرفی مدل‌های زبانی مبتنی بر ترنسفورمر
• 23. معماری ترنسفورمر: مکانیزم توجه (Attention)
• 24. خود-توجهی (Self-Attention)
• 25. مکانیزم توجه چند-سر (Multi-Head Attention)
• 26. رمزگذار-رمزگشا (Encoder-Decoder) در ترنسفورمر
• 27. مدل‌های زبانی بزرگ (LLMs)
• 28. مفهوم و اهمیت LLMs
• 29. کاربرد LLMs در حوزه‌های مختلف
• 30. مراحل آموزش LLMs
• 31. مجموعه‌داده‌های بزرگ برای آموزش LLMs
• 32. آموزش پیش‌زمینه (Pre-training) LLMs
• 33. مفاهیم کلیدی در آموزش پیش‌زمینه
• 34. هدف آموزش پیش‌زمینه: پیش‌بینی کلمه بعدی
• 35. مفاهیم Masked Language Modeling (MLM)
• 36. مفاهیم Next Sentence Prediction (NSP)
• 37. مدل‌های مبتنی بر MLM: BERT
• 38. آشنایی با معماری BERT
• 39. کاربردهای BERT در وظایف NLP
• 40. مدل‌های مبتنی بر پیش‌بینی کلمه بعدی: GPT
• 41. آشنایی با معماری GPT
• 42. کاربردهای GPT در تولید متن
• 43. تفاوت‌های BERT و GPT
• 44. روش‌های بهبود آموزش پیش‌زمینه
• 45. بهینه‌سازی فراپارامترها در آموزش پیش‌زمینه
• 46. تکنیک‌های تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 47. استفاده از Batch Normalization
• 48. مفهوم Regularization و انواع آن
• 49. روش‌های کاهش Overfitting
• 50. تکنیک‌های Data Augmentation برای متون
• 51. اهمیت کیفیت داده در آموزش LLMs
• 52. پاکسازی و پیش‌پردازش داده‌های بزرگ
• 53. شناسایی و حذف داده‌های نامرتبط
• 54. ملاحظات اخلاقی در استفاده از داده‌ها
• 55. تسریع فرایند آموزش LLMs
• 56. استفاده از سخت‌افزارهای تخصصی (GPU, TPU)
• 57. توزیع آموزش بر روی چندین دستگاه
• 58. موازی‌سازی داده (Data Parallelism)
• 59. موازی‌سازی مدل (Model Parallelism)
• 60. ترکیب موازی‌سازی داده و مدل
• 61. تکنیک‌های بهینه‌سازی حافظه
• 62. استفاده از Mixed Precision Training
• 63. فشرده‌سازی مدل‌های زبانی
• 64. Quantization و کاربردهای آن
• 65. Knowledge Distillation برای کوچک‌سازی مدل
• 66. Pruning مدل‌های زبانی
• 67. روش‌های ارزیابی مدل‌های آموزش‌دیده
• 68. ارزیابی در وظایف Downstream
• 69. معیارهای ارزیابی برای وظایف مختلف NLP
• 70. ارزیابی بلینک (Zero-shot) و چند-شات (Few-shot)
• 71. تنظیم دقیق (Fine-tuning) LLMs
• 72. مفهوم Fine-tuning و اهمیت آن
• 73. روش‌های Fine-tuning برای وظایف خاص
• 74. انتقال یادگیری (Transfer Learning) در NLP
• 75. کاربرد Transfer Learning در Fine-tuning
• 76. ملاحظات امنیتی در Fine-tuning
• 77. حفظ حریم خصوصی در Fine-tuning
• 78. جلوگیری از تولید محتوای نامناسب
• 79. روش‌های مقابله با Bias در LLMs
• 80. شناسایی و کاهش Bias در داده‌ها و مدل‌ها
• 81. اصول اخلاقی در توسعه LLMs
• 82. چارچوب‌های قانونی و شرعی در تولید محتوا
• 83. استانداردهای اسلامی در تولید محتوای آموزشی
• 84. تطابق محتوا با موازین نظام جمهوری اسلامی ایران
• 85. مدیریت دانش و مستندسازی در پروژه‌های LLM
• 86. مستندسازی معماری و فرایندهای آموزش
• 87. نکات کلیدی برای توسعه موفق LLMs
• 88. روندهای آینده در آموزش و تسریع LLMs
• 89. تحقیقات پیشرو در حوزه LLMs
• 90. چالش‌های پیش رو در توسعه LLMs
• 91. جمع‌بندی مباحث و جمع‌بندی کلی