فلش‌کارت‌های آموزشی درک مکانیزم‌های درونی LLMها

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب درک مکانیزم‌های درونی LLMها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی بزرگ (LLMs) - مفاهیم و اصول**

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر مدل های زبان بزرگ (LLM)
• 2. تاریخچه و تکامل LLMها
• 3. معماری ترانسفورمر
• 4. مکانیسم توجه (Attention Mechanism)
• 5. خود-توجهی (Self-Attention)
• 6. توجه چند-سری (Multi-Head Attention)
• 7. انکودر و دیکودر در ترانسفورمر
• 8. جایگذاری کلمات (Word Embeddings)
• 9. جایگذاری های مبتنی بر توکن (Token Embeddings)
• 10. جایگذاری های موقعیتی (Positional Embeddings)
• 11. جایگذاری های سگمنتی (Segment Embeddings)
• 12. نحوه آموزش LLMها
• 13. مجموعه داده های عظیم و پیش-آموزش
• 14. توابع هزینه (Loss Functions) در LLMها
• 15. بهینه سازی (Optimization) در آموزش LLMها
• 16. گرادیان کاهشی تصادفی (SGD) و انواع آن
• 17. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 18. تنظیم دسته ای (Batch Normalization)
• 19. تنظیم لایه ای (Layer Normalization)
• 20. تنظیمات پیشرفته در آموزش
• 21. تنظیم هایپرپارامترها (Hyperparameter Tuning)
• 22. استراتژی های پیش-آموزش (Pre-training Strategies)
• 23. آموزش پیشین (Masked Language Modeling - MLM)
• 24. پیش بینی جمله بعدی (Next Sentence Prediction - NSP)
• 25. پیش بینی کلمه بعدی (Causal Language Modeling - CLM)
• 26. سایر اهداف پیش-آموزش
• 27. مفهوم Fine-tuning (تنظیم دقیق)
• 28. انواع Fine-tuning
• 29. Fine-tuning تمام پارامترها
• 30. Fine-tuning پارامترهای انتخابی
• 31. Fine-tuning پارامترهای کم (Parameter-Efficient Fine-Tuning - PEFT)
• 32. LoRA (Low-Rank Adaptation)
• 33. Prefix Tuning
• 34. Prompt Tuning
• 35. Adapter Tuning
• 36. استراتژی های Fine-tuning برای وظایف خاص
• 37. Fine-tuning برای تولید متن (Text Generation)
• 38. Fine-tuning برای پاسخ به پرسش (Question Answering)
• 39. Fine-tuning برای خلاصه سازی (Summarization)
• 40. Fine-tuning برای ترجمه ماشینی (Machine Translation)
• 41. Fine-tuning برای تحلیل احساسات (Sentiment Analysis)
• 42. Fine-tuning برای طبقه بندی متن (Text Classification)
• 43. Fine-tuning برای استخراج اطلاعات (Information Extraction)
• 44. Fine-tuning برای تکمیل کد (Code Completion)
• 45. Fine-tuning برای دیالوگ (Dialogue Generation)
• 46. ارزیابی LLMها
• 47. معیارهای ارزیابی تولید متن
• 48. BLEU, ROUGE, METEOR
• 49. Perplexity
• 50. معیارهای ارزیابی وظایف خاص
• 51. F1-score, Accuracy, Precision, Recall
• 52. معیارهای ارزیابی انسجام و صحت
• 53. معیارهای ارزیابی خلاقیت و تنوع
• 54. مجموعه داده های ارزیابی (Evaluation Datasets)
• 55. چالش های ارزیابی LLMها
• 56. مفهوم Prompting (دستوردهی)
• 57. انواع Prompting
• 58. Zero-shot Prompting
• 59. Few-shot Prompting
• 60. Chain-of-Thought Prompting (CoT)
• 61. Tree-of-Thought Prompting (ToT)
• 62. Self-Consistency Prompting
• 63. Generated Knowledge Prompting
• 64. Reverse Prompting
• 65. Prompt Engineering (مهندسی دستور)
• 66. اصول طراحی Prompt موثر
• 67. تکنیک های بهینه سازی Prompt
• 68. استفاده از مثال ها در Prompt
• 69. استفاده از شخصیت در Prompt
• 70. استفاده از محدودیت ها در Prompt
• 71. استفاده از دستورات شفاف
• 72. مفاهیم پیشرفته در Prompting
• 73. Prompting برای استدلال (Reasoning)
• 74. Prompting برای حل مسئله (Problem Solving)
• 75. Prompting برای خلاقیت
• 76. Prompting برای کنترل خروجی
• 77. Prompting برای جلوگیری از سوگیری
• 78. Prompting برای وظایف پیچیده
• 79. تفسیرپذیری (Interpretability) در LLMها
• 80. چرا تفسیرپذیری مهم است؟
• 81. روش های تفسیرپذیری
• 82. تحلیل توجه (Attention Analysis)
• 83. نقشه های اهمیت (Saliency Maps)
• 84. تکنیک های مبتنی بر Perturbation
• 85. تکنیک های مبتنی بر LIME و SHAP
• 86. تجزیه و تحلیل لایه به لایه
• 87. تجزیه و تحلیل نورون ها (Neuron Activation Analysis)
• 88. تجزیه و تحلیل جایگذاری ها (Embedding Analysis)
• 89. تفسیرپذیری در ترانسفورمرها
• 90. چالش های تفسیرپذیری LLMها
• 91. سوگیری (Bias) در LLMها
• 92. انواع سوگیری در LLMها
• 93. سوگیری جنسیتی، نژادی، فرهنگی
• 94. سوگیری در داده های آموزشی
• 95. سوگیری در خروجی مدل
• 96. تشخیص سوگیری در LLMها
• 97. روش های کاهش سوگیری
• 98. تکنیک های Fair Fine-tuning
• 99. استفاده از داده های متعادل
• 100. استفاده از قوانین و محدودیت ها