دوره مبانی Perplexity: از نظریه اطلاعات تا ارزیابی عملی مدل‌های زبانی همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی Perplexity: از نظریه اطلاعات تا ارزیابی عملی مدل‌های زبانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: معیارهای ارزیابی (Perplexity, BLEU, ROUGE)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر نظریه اطلاعات و مفاهیم پایه
• 2. آنتروپی شانون و کاربردهای آن
• 3. اطلاعات متقابل و اندازه‌گیری وابستگی
• 4. آنتروپی شرطی و وابستگی متغیرها
• 5. آنتروپی متقابل اطلاعات
• 6. حالت‌های پایه در مدل‌های زبانی
• 7. مدل‌های زبانی آماری
• 8. مدل‌های زبانی زنجیره مارکوف
• 9. مدل‌های زبانی N-gram
• 10. تخمین پارامترها در مدل‌های N-gram
• 11. روش‌های نرمال‌سازی و تصحیح در مدل‌های N-gram
• 12. معایب مدل‌های N-gram
• 13. مبانی شبکه‌های عصبی برای پردازش زبان طبیعی
• 14. شبکه‌های عصبی پیش‌خور
• 15. توابع فعال‌سازی در شبکه‌های عصبی
• 16. پس‌انتشار خطا
• 17. شبکه‌های عصبی بازگشتی (RNN)
• 18. حافظه کوتاه‌مدت طولانی (LSTM)
• 19. شبکه‌های حافظه کوتاه‌مدت (GRU)
• 20. مدل‌های زبانی مبتنی بر شبکه‌های عصبی
• 21. نشانه‌گذاری کلمات (Word Embeddings)
• 22. Word2Vec و مدل‌های CBOW و Skip-gram
• 23. GloVe و نحوه آموزش آن
• 24. FastText و شناسایی زیرکلمات
• 25. مبانی Perplexity در مدل‌های زبانی
• 26. تعریف Perplexity به عنوان شاخص ارزیابی
• 27. محاسبه Perplexity برای مدل‌های N-gram
• 28. محاسبه Perplexity برای مدل‌های شبکه‌های عصبی
• 29. ارتباط Perplexity با احتمال
• 30. محدودیت‌های Perplexity به عنوان شاخص
• 31. Perplexity در مقابل سایر معیارهای ارزیابی
• 32. Perplexity و اندازه‌گیری پیچیدگی زبان
• 33. Perplexity و پیش‌بینی کلمه بعدی
• 34. Perplexity و کیفیت مدل زبانی
• 35. Perplexity و داده‌های آزمون
• 36. Perplexity و داده‌های آموزشی
• 37. Perplexity و اندازه مجموعه داده
• 38. Perplexity و معماری مدل
• 39. Perplexity و فرآیند آموزش
• 40. Perplexity و بیش‌برازش (Overfitting)
• 41. Perplexity و کم‌برازش (Underfitting)
• 42. Perplexity و تنظیم ابرپارامترها
• 43. Perplexity و مقایسه مدل‌ها
• 44. Perplexity و انتخاب بهترین مدل
• 45. Perplexity و تحلیل خطاها
• 46. Perplexity در پردازش زبان طبیعی پیشرفته
• 47. مدل‌های زبانی مبتنی بر ترنسفورمر
• 48. معماری ترنسفورمر و مکانیسم توجه
• 49. مکانیزم توجه خودی (Self-Attention)
• 50. مدل‌های زبانی بزرگ (LLMs)
• 51. GPT و خانواده آن
• 52. BERT و خانواده آن
• 53. تفاوت‌های اصلی بین مدل‌های زبانی
• 54. کاربردهای مدل‌های زبانی پیشرفته
• 55. خلاصه‌سازی متن با مدل‌های زبانی
• 56. ترجمه ماشینی با مدل‌های زبانی
• 57. پاسخ به پرسش با مدل‌های زبانی
• 58. تولید متن خلاقانه
• 59. تحلیل احساسات با مدل‌های زبانی
• 60. شناسایی موجودیت نام‌گذاری شده (NER)
• 61. تحلیل نحوی با مدل‌های زبانی
• 62. درک مطلب با مدل‌های زبانی
• 63. کشف دانش با مدل‌های زبانی
• 64. کاربرد Perplexity در ارزیابی LLMs
• 65. Perplexity در تولید متن
• 66. Perplexity در ترجمه ماشینی
• 67. Perplexity در پاسخ به پرسش
• 68. Perplexity در خلاصه‌سازی متن
• 69. Perplexity و چالش‌های ارزیابی LLMs
• 70. Perplexity و ارزیابی جنبه‌های کیفی
• 71. Perplexity و سوگیری در مدل‌های زبانی
• 72. Perplexity و مسئولیت‌پذیری در هوش مصنوعی
• 73. Perplexity و آینده مدل‌های زبانی
• 74. روش‌های عملی محاسبه Perplexity
• 75. پیاده‌سازی Perplexity با کتابخانه‌های پایتون
• 76. مثال‌های عملی محاسبه Perplexity
• 77. تفسیر نتایج Perplexity در سناریوهای مختلف
• 78. Perplexity و تأثیر داده‌های نویزدار
• 79. Perplexity و پیش‌پردازش متن
• 80. Perplexity و نرمال‌سازی متن
• 81. Perplexity و حذف کلمات توقف
• 82. Perplexity و ریشه‌یابی کلمات
• 83. Perplexity و کاربرد در پروژه‌های واقعی
• 84. Perplexity و نقش آن در چرخه توسعه مدل
• 85. Perplexity و ارتباط با معیارهای دیگر مانند BLEU و ROUGE
• 86. Perplexity و محدودیت‌های آن در ارزیابی معنایی
• 87. Perplexity و نیاز به معیارهای مکمل
• 88. Perplexity به عنوان نقطه شروع ارزیابی
• 89. Perplexity و اهمیت درک عمیق مفاهیم
• 90. Perplexity در چارچوب علم داده و یادگیری ماشین
• 91. Perplexity و کاربرد آن در تحلیل داده‌های متنی
• 92. Perplexity و نقش در بهینه‌سازی مدل‌ها
• 93. Perplexity و مباحث پیشرفته در ارزیابی مدل‌های زبانی