فلش‌کارت‌های آموزشی اصول استخراج و پردازش مجموعه داده‌های زبانی

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب اصول استخراج و پردازش مجموعه داده‌های زبانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مجموعه داده‌های زبانی (Corpora)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به مجموعه‌ داده‌های زبانی
• 2. تعریف مجموعه‌ داده زبانی
• 3. اهمیت مجموعه‌ داده‌های زبانی
• 4. کاربرد مجموعه‌ داده‌های زبانی
• 5. انواع مجموعه‌ داده‌های زبانی
• 6. منابع اصلی مجموعه‌ داده‌های زبانی
• 7. ملاحظات اخلاقی در مجموعه‌ داده‌های زبانی
• 8. حقوق مالکیت معنوی و مجموعه‌ داده‌ها
• 9. حریم خصوصی و حفاظت از داده‌ها
• 10. تعریف استخراج داده
• 11. مراحل کلی استخراج داده
• 12. تفاوت استخراج داده و جمع‌آوری داده
• 13. استخراج داده از منابع متنی
• 14. استخراج داده از وب (Web Scraping)
• 15. ابزارهای استخراج داده از وب
• 16. قوانین و ملاحظات اخلاقی در Web Scraping
• 17. استخراج داده از پایگاه‌های داده
• 18. استخراج داده از فایل‌های ساختاریافته (CSV, JSON, XML)
• 19. استخراج داده از فایل‌های غیرساختاریافته
• 20. استخراج داده از رسانه‌های اجتماعی
• 21. استخراج داده از اسناد (PDF, DOC)
• 22. استخراج داده از گفتار (Speech Data)
• 23. استخراج داده از تصاویر (OCR)
• 24. شناسایی موجودیت‌های نام‌دار (Named Entity Recognition - NER)
• 25. دسته‌بندی موجودیت‌ها (شخص، مکان، سازمان)
• 26. استخراج روابط بین موجودیت‌ها
• 27. استخراج اطلاعات کلیدی (Key Information Extraction)
• 28. استخراج سه‌تایی‌های دانش (Knowledge Triples)
• 29. استخراج احساسات (Sentiment Analysis)
• 30. استخراج دیدگاه (Aspect-Based Sentiment Analysis)
• 31. شناسایی موضوع (Topic Modeling)
• 32. استخراج کلمات کلیدی (Keyword Extraction)
• 33. استخراج خلاصه‌سازی (Summarization)
• 34. استخراج تعاریف (Definition Extraction)
• 35. استخراج رویدادها (Event Extraction)
• 36. استخراج زمان و مکان (Temporal and Spatial Extraction)
• 37. استخراج اطلاعات ساختاری از متن
• 38. استخراج پرسش و پاسخ (Question Answering Data Extraction)
• 39. استخراج داده‌های ترجمه ماشینی (Machine Translation Data)
• 40. استخراج داده‌های گفتگومحور (Dialogue Data Extraction)
• 41. استخراج داده‌های آموزشی (Training Data Extraction)
• 42. استخراج داده‌های ارزیابی (Evaluation Data Extraction)
• 43. استخراج داده‌های برچسب‌گذاری شده (Labeled Data Extraction)
• 44. استخراج داده‌های بدون برچسب (Unlabeled Data Extraction)
• 45. تعریف پردازش مجموعه داده زبانی
• 46. اهمیت پردازش مجموعه داده
• 47. مراحل کلی پردازش مجموعه داده
• 48. پاکسازی داده (Data Cleaning)
• 49. حذف نویز (Noise Removal)
• 50. حذف داده‌های تکراری (Duplicate Removal)
• 51. مدیریت مقادیر گمشده (Handling Missing Values)
• 52. تصحیح غلط‌های املایی و نگارشی
• 53. استانداردسازی متن (Text Standardization)
• 54. تبدیل به حروف کوچک (Lowercasing)
• 55. حذف علائم نگارشی (Punctuation Removal)
• 56. حذف اعداد (Number Removal)
• 57. حذف کلمات توقف (Stop Word Removal)
• 58. ریشه‌یابی کلمات (Stemming)
• 59. لمسازی کلمات (Lemmatization)
• 60. توکن‌سازی (Tokenization)
• 61. توکن‌سازی مبتنی بر کلمه
• 62. توکن‌سازی مبتنی بر جمله
• 63. توکن‌سازی مبتنی بر زیرکلمه (Subword Tokenization)
• 64. بازسازی متن (Text Reconstruction)
• 65. فیلتر کردن (Filtering)
• 66. نمونه‌برداری (Sampling)
• 67. تقسیم مجموعه داده (Data Splitting)
• 68. تقسیم به داده‌های آموزشی، اعتبارسنجی و تست
• 69. تقسیم متناسب (Stratified Splitting)
• 70. تقسیم مبتنی بر زمان (Time-Based Splitting)
• 71. افزایش داده (Data Augmentation)
• 72. تکنیک‌های افزایش داده برای متن
• 73. جایگزینی مترادف‌ها
• 74. حذف تصادفی کلمات
• 75. جابجایی تصادفی کلمات
• 76. درج تصادفی کلمات
• 77. تولید متن مصنوعی (Synthetic Text Generation)
• 78. برچسب‌گذاری داده (Data Labeling)
• 79. روش‌های برچسب‌گذاری دستی
• 80. برچسب‌گذاری نیمه‌خودکار
• 81. برچسب‌گذاری خودکار
• 82. ابزارهای برچسب‌گذاری داده
• 83. کیفیت برچسب‌گذاری
• 84. ارزیابی کیفیت داده
• 85. متریک‌های ارزیابی مجموعه داده
• 86. اعتبار مجموعه داده
• 87. قابلیت اطمینان مجموعه داده
• 88. یکنواختی مجموعه داده
• 89. جامعیت مجموعه داده
• 90. نمایندگی مجموعه داده
• 91. ملاحظات مربوط به سوگیری (Bias) در مجموعه داده
• 92. شناسایی و کاهش سوگیری
• 93. انواع سوگیری (جنسیتی، نژادی، اجتماعی)
• 94. تاثیر سوگیری بر مدل‌های زبانی
• 95. امنیت مجموعه داده
• 96. پشتیبان‌گیری و بازیابی داده
• 97. مدیریت نسخه مجموعه داده
• 98. مستندسازی مجموعه داده (Data Documentation)
• 99. ملاحظات مربوط به مقیاس‌پذیری (Scalability)
• 100. ابزارها و چارچوب‌های پردازش داده