دوره از ترنسفورمرها تا مدل‌های تولید متن: راهنمای جامع ساخت LLM همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب از ترنسفورمرها تا مدل‌های تولید متن: راهنمای جامع ساخت LLM

موضوع کلی: ساخت مدل‌های زبان بزرگ

موضوع میانی: معماری، پیاده‌سازی و آموزش مدل‌های زبان بزرگ

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر مدل‌های زبان بزرگ (LLM)
• 2. تاریخچه مختصری از پردازش زبان طبیعی (NLP)
• 3. چالش‌های مدل‌های سنتی NLP
• 4. معرفی معماری ترنسفورمر
• 5. اجزای اصلی ترنسفورمر: مکانیسم توجه
• 6. اجزای اصلی ترنسفورمر: لایه‌های انکودر
• 7. اجزای اصلی ترنسفورمر: لایه‌های دیکودر
• 8. ترنسفورمر در مقابل RNN و LSTM
• 9. مزایای ترنسفورمرها
• 10. کاربردهای اولیه ترنسفورمرها
• 11. مفهوم مدل‌های تولید متن
• 12. تفاوت بین مدل‌های تفسیری و مولد
• 13. معماری‌های اولیه مدل‌های تولید متن
• 14. مدل‌های زبانی آماری
• 15. مدل‌های مبتنی بر قواعد
• 16. معرفی مدل‌های تولید متن مبتنی بر یادگیری عمیق
• 17. مفهوم جاسازی کلمات (Word Embeddings)
• 18. Word2Vec و GloVe
• 19. ترنسفورمر به عنوان یک مدل پایه برای LLM
• 20. مفهوم پیش‌آموزش (Pre-training)
• 21. مجموعه داده‌های عظیم برای پیش‌آموزش
• 22. وظایف پیش‌آموزش: پیش‌بینی کلمه بعدی (Next Token Prediction)
• 23. وظایف پیش‌آموزش: پر کردن جای خالی (Masked Language Modeling)
• 24. وظایف پیش‌آموزش: پیش‌بینی جمله بعدی (Next Sentence Prediction)
• 25. مفهوم تنظیم دقیق (Fine-tuning)
• 26. تنظیم دقیق برای وظایف خاص NLP
• 27. انواع تنظیم دقیق
• 28. تنظیم دقیق در برابر پیش‌آموزش
• 29. معماری‌های LLM مبتنی بر ترنسفورمر
• 30. GPT (Generative Pre-trained Transformer)
• 31. BERT (Bidirectional Encoder Representations from Transformers)
• 32. T5 (Text-to-Text Transfer Transformer)
• 33. RoBERTa (A Robustly Optimized BERT Pretraining Approach)
• 34. XLNet (Generalized Autoregressive Pretraining for Language Understanding)
• 35. ALBERTa (A Lite BERT)
• 36. مفهوم پارامترهای مدل
• 37. اندازه مدل و عملکرد
• 38. تاثیر اندازه مدل بر توانایی‌های LLM
• 39. مدیریت و آموزش مدل‌های بزرگ
• 40. سخت‌افزار مورد نیاز برای آموزش LLM
• 41. پردازنده‌های گرافیکی (GPU) و تنسور (TPU)
• 42. توزیع آموزش (Distributed Training)
• 43. موازی‌سازی داده (Data Parallelism)
• 44. موازی‌سازی مدل (Model Parallelism)
• 45. موازی‌سازی خط لوله (Pipeline Parallelism)
• 46. بهینه‌سازها (Optimizers) برای آموزش LLM
• 47. Adam, AdamW
• 48. نرخ یادگیری (Learning Rate) و زمان‌بندی آن
• 49. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 50. نظارت بر فرآیند آموزش
• 51. متریک‌های ارزیابی برای LLM
• 52. Perplexity
• 53. BLEU, ROUGE, METEOR
• 54. مفهوم ارزیابی انسانی
• 55. چالش‌های ارزیابی LLM
• 56. مجموعه داده‌های بنچمارک (Benchmark Datasets)
• 57. SuperGLUE, GLUE
• 58. مفهوم Prompt Engineering
• 59. طراحی پرامپت‌های موثر
• 60. انواع پرامپت‌ها
• 61. Few-shot learning with prompts
• 62. Zero-shot learning with prompts
• 63. تولید متن خلاقانه
• 64. تولید شعر، داستان، دیالوگ
• 65. تولید کد
• 66. ترجمه ماشینی با LLM
• 67. خلاصه‌سازی متن با LLM
• 68. پاسخ به سوالات (Question Answering)
• 69. تحلیل احساسات (Sentiment Analysis)
• 70. دسته‌بندی متن (Text Classification)
• 71. شناسایی موجودیت‌های نام‌دار (Named Entity Recognition - NER)
• 72. بررسی و تصحیح گرامری
• 73. برنامه‌های کاربردی LLM در دنیای واقعی
• 74. چت‌بات‌ها و دستیارهای مجازی
• 75. جستجوی هوشمند
• 76. تولید محتوا برای بازاریابی
• 77. پشتیبانی مشتری
• 78. آموزش و یادگیری
• 79. کاربردهای پزشکی و حقوقی
• 80. ملاحظات اخلاقی در LLM
• 81. سوگیری (Bias) در داده‌ها و مدل‌ها
• 82. شفافیت و قابلیت توضیح‌پذیری
• 83. امنیت و حریم خصوصی
• 84. تاثیر LLM بر بازار کار
• 85. آینده LLM
• 86. مدل‌های کوچک‌تر و کارآمدتر
• 87. مدل‌های چند وجهی (Multimodal LLMs)
• 88. LLMهای خودآموز (Self-improving LLMs)
• 89. LLMهای تخصصی برای حوزه‌های خاص
• 90. تکنیک‌های پیشرفته تولید متن
• 91. Sampling strategies (Greedy, Beam Search, Top-k, Nucleus Sampling)
• 92. Temperature parameter
• 93. Repetition penalty
• 94. معماری‌های جدیدتر (مانند Transformer-XL, Reformer)
• 95. مفاهیم مرتبط با LLM
• 96. Tokenization
• 97. Attention Mask
• 98. Positional Encoding
• 99. Layer Normalization
• 100. Feed-Forward Networks