فلش‌کارت‌های آموزشی بهینه‌سازی استنتاج مدل‌های زبان بزرگ (LLM) برای کاربردهای عملی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی استنتاج مدل‌های زبان بزرگ (LLM) برای کاربردهای عملی

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: بهینه‌سازی مدل‌های زبان بزرگ

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبان بزرگ (LLM)
• 2. معماری ترنسفورمر: مبانی
• 3. توکن‌سازی و جاسازی کلمات
• 4. روش‌های پیش‌پردازش متن برای LLM
• 5. مبانی استنتاج مدل‌های زبان بزرگ
• 6. کارایی استنتاج: چالش‌ها و فرصت‌ها
• 7. فشرده‌سازی مدل: کوانتیزاسیون
• 8. کوانتیزاسیون ۸ بیتی و ۴ بیتی
• 9. تکنیک‌های تقطیر دانش (Knowledge Distillation)
• 10. تعدیل پارامترها (Parameter-Efficient Fine-Tuning)
• 11. LoRA و QLoRA
• 12. تکنیک‌های تعبیه (Embedding) بهینه
• 13. روش‌های پیش‌بینی توکن بعدی
• 14. مدیریت حافظه در استنتاج LLM
• 15. حافظه پنهان کلید-مقدار (KV Cache)
• 16. بهینه‌سازی KV Cache
• 17. تکنیک‌های پردازش موازی
• 18. موازی‌سازی تانسور (Tensor Parallelism)
• 19. موازی‌سازی خطی (Pipeline Parallelism)
• 20. موازی‌سازی داده (Data Parallelism)
• 21. ترکیب روش‌های موازی‌سازی
• 22. بهینه‌سازی سخت‌افزاری برای LLM
• 23. استفاده از GPU برای استنتاج
• 24. استفاده از TPU برای استنتاج
• 25. شتاب‌دهنده‌های سخت‌افزاری اختصاصی
• 26. مدیریت منابع در محیط‌های ابری
• 27. بهینه‌سازی در سطح سیستم‌عامل
• 28. سیستم‌های عامل و بهینه‌سازی LLM
• 29. تکنیک‌های زمان‌بندی (Scheduling)
• 30. بهینه‌سازی I/O برای LLM
• 31. فشرده‌سازی مدل با حذف پارامتر
• 32. هرس مدل (Pruning)
• 33. تکنیک‌های هرس ساختاریافته
• 34. تکنیک‌های هرس غیرساختاریافته
• 35. ارزیابی مدل‌های فشرده
• 36. معیارهای ارزیابی کارایی استنتاج
• 37. نرخ عبور (Throughput) و تأخیر (Latency)
• 38. مصرف حافظه و توان پردازشی
• 39. مقایسه رویکردهای مختلف بهینه‌سازی
• 40. مدل‌های زبان بزرگ در کاربردهای فارسی
• 41. چالش‌های پردازش زبان فارسی در LLM
• 42. بهینه‌سازی LLM برای زبان فارسی
• 43. کاربرد LLM در تولید محتوا
• 44. کاربرد LLM در خلاصه‌سازی متون
• 45. کاربرد LLM در ترجمه ماشینی
• 46. کاربرد LLM در سیستم‌های پرسش و پاسخ
• 47. کاربرد LLM در تحلیل احساسات
• 48. کاربرد LLM در چت‌بات‌ها
• 49. ملاحظات اخلاقی در استفاده از LLM
• 50. سوگیری در مدل‌های زبان بزرگ
• 51. شفافیت و قابلیت تفسیر LLM
• 52. مسئولیت‌پذیری در توسعه LLM
• 53. امنیت در استنتاج LLM
• 54. حفاظت از داده‌های حساس
• 55. جلوگیری از تولید محتوای نامناسب
• 56. روش‌های اعتبارسنجی خروجی LLM
• 57. روش‌های مقابله با حملات مخرب به LLM
• 58. بهینه‌سازی مصرف انرژی در LLM
• 59. اثرات زیست‌محیطی LLM
• 60. روش‌های کاهش مصرف انرژی
• 61. تکنیک‌های یادگیری تقویتی برای بهینه‌سازی
• 62. یادگیری تقویتی مبتنی بر عامل
• 63. استفاده از یادگیری تقویتی در فشرده‌سازی
• 64. استفاده از یادگیری تقویتی در زمان‌بندی
• 65. بهینه‌سازی مدل‌های اسپارس (Sparse Models)
• 66. تکنیک‌های تولید مدل‌های اسپارس
• 67. استنتاج مدل‌های اسپارس
• 68. مدیریت مدل‌های چندوظیفه‌ای (Multi-task Models)
• 69. بهینه‌سازی استنتاج مدل‌های چندوظیفه‌ای
• 70. انتخاب مدل مناسب برای کاربرد
• 71. تنظیم دقیق (Fine-tuning) مدل‌های بزرگ
• 72. روش‌های تنظیم دقیق کارآمد
• 73. ارزیابی و اعتبارسنجی مدل‌های تنظیم شده
• 74. مقدمه‌ای بر یادگیری عمیق در پردازش زبان
• 75. شبکه‌های عصبی بازگشتی (RNN)
• 76. شبکه‌های حافظه طولانی کوتاه مدت (LSTM)
• 77. واحدهای بازگشتی گیت‌دار (GRU)
• 78. مکانیزم توجه (Attention Mechanism)
• 79. ترنسفورمرهای اولیه
• 80. مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models)
• 81. BERT و مشتقات آن
• 82. GPT و مشتقات آن
• 83. تکامل معماری‌های LLM
• 84. بهینه‌سازی معماری برای استنتاج
• 85. کاربرد LLM در پردازش زبان طبیعی (NLP)
• 86. تکنیک‌های تولید متن خلاقانه
• 87. مدل‌های تولیدکننده (Generative Models)
• 88. ملاحظات حقوقی در انتشار محتوا
• 89. چارچوب‌های قانونی در ایران
• 90. رعایت حدود شرعی در محتوا
• 91. روش‌های ارزیابی جامع LLM
• 92. مدیریت چرخه عمر مدل LLM
• 93. آینده بهینه‌سازی استنتاج LLM