فلش‌کارت‌های آموزشی Perplexity, BLEU, ROUGE: یک نمای کلی

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب Perplexity, BLEU, ROUGE: یک نمای کلی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: معیارهای ارزیابی (Perplexity, BLEU, ROUGE)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به ارزیابی مدل‌های زبانی
• 2. اهمیت معیارهای ارزیابی
• 3. چالش‌های ارزیابی زبان طبیعی
• 4. معیارهای سنتی ارزیابی
• 5. محدودیت‌های معیارهای سنتی
• 6. معرفی Perplexity
• 7. مفهوم Perplexity
• 8. محاسبه Perplexity
• 9. تفسیر Perplexity
• 10. کاربرد Perplexity در مدل‌های زبانی
• 11. مزایای Perplexity
• 12. معایب Perplexity
• 13. معرفی BLEU
• 14. مفهوم BLEU
• 15. نحوه محاسبه BLEU
• 16. n-gram ها در BLEU
• 17. Precision در BLEU
• 18. Brevity Penalty در BLEU
• 19. کاربرد BLEU در ترجمه ماشینی
• 20. مزایای BLEU
• 21. معایب BLEU
• 22. معرفی ROUGE
• 23. مفهوم ROUGE
• 24. انواع ROUGE (ROUGE-N, ROUGE-L, ROUGE-W, ROUGE-S)
• 25. محاسبه ROUGE-N
• 26. محاسبه ROUGE-L
• 27. محاسبه ROUGE-W
• 28. محاسبه ROUGE-S
• 29. کاربرد ROUGE در خلاصه‌سازی متن
• 30. مزایای ROUGE
• 31. معایب ROUGE
• 32. مقایسه Perplexity، BLEU و ROUGE
• 33. شباهت‌های Perplexity، BLEU و ROUGE
• 34. تفاوت‌های Perplexity، BLEU و ROUGE
• 35. انتخاب معیار مناسب
• 36. زمانی که Perplexity مناسب است
• 37. زمانی که BLEU مناسب است
• 38. زمانی که ROUGE مناسب است
• 39. ترکیب معیارها
• 40. ارزیابی مدل‌های تولید متن
• 41. ارزیابی مدل‌های ترجمه ماشینی
• 42. ارزیابی مدل‌های خلاصه‌سازی متن
• 43. ارزیابی مدل‌های تولید پاسخ
• 44. معیارهای مبتنی بر معنا
• 45. معیارهای مبتنی بر انسان
• 46. نقش ارزیابی در چرخه توسعه مدل
• 47. بهبود مدل با استفاده از معیارها
• 48. مثال‌های عملی Perplexity
• 49. مثال‌های عملی BLEU
• 50. مثال‌های عملی ROUGE
• 51. نکات مهم در استفاده از Perplexity
• 52. نکات مهم در استفاده از BLEU
• 53. نکات مهم در استفاده از ROUGE
• 54. اشتباهات رایج در ارزیابی
• 55. آینده معیارهای ارزیابی
• 56. معیارهای جدید و نوظهور
• 57. چالش‌های ارزیابی زبان‌های مختلف
• 58. ارزیابی در زبان فارسی
• 59. اهمیت داده‌های مرجع (Reference Data)
• 60. کیفیت داده‌های مرجع
• 61. تأثیر تعداد داده‌های مرجع
• 62. محدودیت‌های معیارهای خودکار
• 63. نیاز به ارزیابی انسانی
• 64. همبستگی معیارهای خودکار با ارزیابی انسانی
• 65. معیارهای مبتنی بر embedding
• 66. معیارهای مبتنی بر مدل‌های زبانی بزرگ (LLMs)
• 67. ارزیابی دقت و صحت
• 68. ارزیابی روانی و طبیعی بودن
• 69. ارزیابی اطلاعاتی
• 70. ارزیابی خلاقیت
• 71. ارزیابی تنوع
• 72. Perplexity در مدل‌های زبانی آماری
• 73. Perplexity در مدل‌های زبانی عصبی
• 74. BLEU برای ارزیابی تولید متن عمومی
• 75. ROUGE برای ارزیابی خلاصه‌سازی آماری
• 76. ROUGE برای ارزیابی خلاصه‌سازی عصبی
• 77. Perplexity به عنوان معیار سنجش مدل‌سازی احتمال
• 78. BLEU به عنوان معیار سنجش شباهت n-gram
• 79. ROUGE به عنوان معیار سنجش شباهت محتوا
• 80. ملاحظات اخلاقی در ارزیابی
• 81. سوگیری در معیارهای ارزیابی
• 82. شفافیت در ارزیابی
• 83. قابلیت تکرار نتایج ارزیابی
• 84. استانداردسازی معیارها
• 85. کارگاه آموزشی: پیاده‌سازی Perplexity
• 86. کارگاه آموزشی: پیاده‌سازی BLEU
• 87. کارگاه آموزشی: پیاده‌سازی ROUGE
• 88. تمرین: انتخاب معیار برای یک سناریوی خاص
• 89. تمرین: تفسیر نتایج ارزیابی
• 90. تمرین: شناسایی نقاط ضعف مدل بر اساس معیارها
• 91. جمع‌بندی و نتیجه‌گیری