فلش‌کارت‌های آموزشی مدل‌های زبانی آماری: زبان به مثابه الگوی آماری

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب مدل‌های زبانی آماری: زبان به مثابه الگوی آماری

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی آماری

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر مدل های زبانی آماری
• 2. تعریف زبان به مثابه الگوی آماری
• 3. تاریخچه مدل های زبانی
• 4. کاربردها و اهمیت مدل های زبانی آماری
• 5. انواع مدل های زبانی آماری
• 6. مدل های زبانی مبتنی بر شمارش (N-gram)
• 7. مفهوم N-gram
• 8. uni-gram، bi-gram، tri-gram و بالاتر
• 9. تکنیک های شمارش N-gram
• 10. مشکل داده های کم (Sparsity) در N-gram
• 11. راه حل های مشکل داده های کم
• 12. هموارسازی (Smoothing) در N-gram
• 13. انواع روش های هموارسازی (Add-one, Laplace, Good-Turing)
• 14. ارزیابی مدل های N-gram
• 15. معیارهای ارزیابی (Perplexity, Bits-per-character)
• 16. پیچیدگی محاسباتی N-gram
• 17. کاربرد N-gram در پردازش زبان طبیعی (NLP)
• 18. پیش بینی کلمه بعدی
• 19. تشخیص گفتار
• 20. شناسایی زبان
• 21. ترجمه ماشینی آماری
• 22. مدل های زبانی مبتنی بر شبکه عصبی
• 23. مقدمه ای بر شبکه های عصبی
• 24. نورون ها و لایه ها
• 25. توابع فعال سازی
• 26. پس انتشار خطا (Backpropagation)
• 27. مدل های زبانی مبتنی بر بازگشت (Recurrent Neural Networks - RNNs)
• 28. ساختار RNN
• 29. حافظه کوتاه مدت در RNN
• 30. مشکل محو شدگی گرادیان (Vanishing Gradient)
• 31. مدل های زبانی مبتنی بر حافظه طولانی کوتاه مدت (Long Short-Term Memory - LSTM)
• 32. ساختار LSTM
• 33. گیت های ورودی، خروجی و فراموشی در LSTM
• 34. کاربرد LSTM در مدل های زبانی
• 35. مدل های زبانی مبتنی بر واحد بازگشتی بسته (Gated Recurrent Unit - GRU)
• 36. ساختار GRU
• 37. مقایسه LSTM و GRU
• 38. مدل های زبانی مبتنی بر مکانیزم توجه (Attention Mechanism)
• 39. مفهوم توجه
• 40. انواع مکانیزم توجه (Global, Local)
• 41. کاربرد توجه در مدل های زبانی
• 42. مدل های زبانی مبتنی بر ترانسفورمر (Transformer Models)
• 43. معماری ترانسفورمر
• 44. مکانیزم خود-توجهی (Self-Attention)
• 45. کدهای انکودر و دیکودر در ترانسفورمر
• 46. مدل های زبانی مبتنی بر ترانسفورمر (مانند BERT, GPT)
• 47. پیش آموزش (Pre-training) مدل های زبانی
• 48. مفهوم پیش آموزش
• 49. اهداف پیش آموزش
• 50. وظایف پیش آموزش (Masked Language Modeling, Next Sentence Prediction)
• 51. تنظیم دقیق (Fine-tuning) مدل های زبانی
• 52. مفهوم تنظیم دقیق
• 53. فرایند تنظیم دقیق
• 54. کاربرد تنظیم دقیق در وظایف NLP
• 55. مدل های زبانی با قابلیت تولید متن (Generative Language Models)
• 56. مفهوم تولید متن
• 57. روش های نمونه برداری (Sampling) در تولید متن
• 58. greedy search, beam search
• 59. Sampling از توزیع احتمالات
• 60. کاربرد مدل های تولید متن
• 61. نوشتن خلاقانه
• 62. تولید کد
• 63. پاسخ به سوالات
• 64. مدل های زبانی با قابلیت درک متن (Discriminative Language Models)
• 65. مفهوم درک متن
• 66. وظایف درک متن (طبقه بندی متن، تشخیص موجودیت نامدار)
• 67. ارتباط مدل های زبانی با آمار
• 68. احتمالات شرطی
• 69. قانون بیز
• 70. قانون زنجیره ای
• 71. قاعده ضرب احتمالات
• 72. فرضیه های مدل های زبانی آماری
• 73. استقلال کلمات
• 74. فرضیه مارکوف
• 75. پیاده سازی مدل های زبانی
• 76. ابزارها و کتابخانه ها (NLTK, SpaCy, Hugging Face Transformers)
• 77. ساخت واژگان (Vocabulary)
• 78. توکن سازی (Tokenization)
• 79. بردار سازی (Vectorization)
• 80. آموزش مدل ها
• 81. ارزیابی مدل ها
• 82. مدل های زبانی در زبان فارسی
• 83. چالش های پردازش زبان فارسی
• 84. وجود حروف ربط و پیشوندها
• 85. تغییر شکل کلمات (Inflection)
• 86. مقایسه با مدل های زبان های دیگر
• 87. کاربرد مدل های زبانی آماری در ایران
• 88. توسعه مدل های زبانی فارسی
• 89. تکنیک های پیشرفته در مدل های زبانی
• 90. مدل های زبانی ترتیبی (Sequential Language Models)
• 91. مدل های زبانی مبتنی بر گراف (Graph-based Language Models)
• 92. مدل های زبانی مبتنی بر دانش (Knowledge-based Language Models)
• 93. مدل های زبانی چندزبانه (Multilingual Language Models)
• 94. مدل های زبانی کم منبع (Low-resource Language Models)
• 95. ارزیابی عمیق تر مدل های زبانی
• 96. سوگیری (Bias) در مدل های زبانی
• 97. اخلاق در مدل های زبانی
• 98. آینده مدل های زبانی آماری
• 99. روندهای تحقیقاتی
• 100. مدل های زبانی تعاملی (Interactive Language Models)