کتاب صوتی کالبدشکافی سخت‌افزار: GPUها و TPUها، موتور محرکه LLMs

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کالبدشکافی سخت‌افزار: GPUها و TPUها، موتور محرکه LLMs

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: سخت‌افزار مورد نیاز برای آموزش LLMs (GPU, TPU)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری پردازنده‌های گرافیکی (GPU)
• 2. آشنایی با واحد پردازش تنسور (TPU)
• 3. نقش GPUها در محاسبات موازی
• 4. ساختار داخلی GPU: هسته‌ها، حافظه و پهنای باند
• 5. معماری حافظه در GPUها: GDDR و HBM
• 6. مبانی برنامه‌نویسی GPU: CUDA و OpenCL
• 7. مقدمه‌ای بر یادگیری عمیق و شبکه‌های عصبی
• 8. شبکه‌های عصبی کانولوشنی (CNN) و کاربردهایشان
• 9. شبکه‌های عصبی بازگشتی (RNN) و کاربردهایشان
• 10. ترانسفورمرها: معماری نوین در پردازش زبان طبیعی
• 11. مفهوم مدل‌های زبانی بزرگ (LLMs)
• 12. چالش‌های آموزش LLMs
• 13. نقش GPUها در آموزش LLMs
• 14. تکنیک‌های موازی‌سازی در آموزش LLMs
• 15. استفاده از چندین GPU برای آموزش
• 16. موازی‌سازی داده (Data Parallelism)
• 17. موازی‌سازی مدل (Model Parallelism)
• 18. موازی‌سازی تانسور (Tensor Parallelism)
• 19. موازی‌سازی پایپ‌لاین (Pipeline Parallelism)
• 20. بهینه‌سازی مصرف حافظه در GPUها
• 21. فشرده‌سازی مدل‌ها و کوانتیزاسیون
• 22. استفاده از دقت پایین‌تر (Mixed Precision)
• 23. تکنیک‌های کاهش بار محاسباتی
• 24. موازنه بار بین GPUها
• 25. مدیریت حافظه و تخصیص منابع GPU
• 26. پایش عملکرد GPU در حین آموزش
• 27. ابزارهای مانیتورینگ GPU: NVIDIA-SMI
• 28. تحلیل گلوگاه‌های عملکردی GPU
• 29. بهینه‌سازی کد CUDA برای حداکثر کارایی
• 30. استفاده از هسته‌های تخصصی GPU (Tensor Cores)
• 31. مقدمه‌ای بر TPUها و مزایای آن‌ها
• 32. معماری TPU: واحدهای محاسباتی و حافظه
• 33. مقایسه معماری GPU و TPU
• 34. کاربرد TPUها در شتاب‌دهی یادگیری عمیق
• 35. TPUها و آموزش مدل‌های زبانی بزرگ
• 36. بهینه‌سازی مدل‌های LLM برای TPUها
• 37. تکنیک‌های آموزش توزیع‌شده با TPU
• 38. ملاحظات سخت‌افزاری برای استقرار LLMs
• 39. انتخاب سخت‌افزار مناسب برای نیازهای LLM
• 40. تحلیل هزینه-کارایی GPU و TPU
• 41. پایداری سخت‌افزاری و مدیریت خطا
• 42. نگهداری و عیب‌یابی سیستم‌های GPU/TPU
• 43. امنیت سخت‌افزاری در مراکز داده
• 44. ملاحظات زیست‌محیطی در استفاده از سخت‌افزار
• 45. مصرف انرژی و خنک‌سازی سیستم‌های محاسباتی
• 46. آیندهٔ معماری پردازنده‌های شتاب‌دهنده
• 47. پردازنده‌های گرافیکی نسل آینده
• 48. توسعهٔ معماری‌های جدید TPU
• 49. نقش هوش مصنوعی در طراحی سخت‌افزار
• 50. مفاهیم پیشرفته در شبکه‌های عصبی
• 51. یادگیری تقویتی و کاربردهای آن
• 52. شبکه‌های مولد تخاصمی (GANs)
• 53. پردازش زبان طبیعی پیشرفته
• 54. تولید متن با LLMs
• 55. ترجمه ماشینی با LLMs
• 56. خلاصه‌سازی متن با LLMs
• 57. سیستم‌های پرسش و پاسخ با LLMs
• 58. تحلیل احساسات با LLMs
• 59. ربات‌های گفتگو (Chatbots) و LLMs
• 60. اخلاق در هوش مصنوعی و LLMs
• 61. مسئولیت‌پذیری در توسعه LLMs
• 62. حریم خصوصی داده‌ها در LLMs
• 63. سوگیری در مدل‌های LLM
• 64. روش‌های کاهش سوگیری در LLMs
• 65. مبانی اقتصاد محاسباتی
• 66. مدل‌سازی اقتصادی با LLMs
• 67. پیش‌بینی روند بازار با LLMs
• 68. تحلیل ریسک با LLMs
• 69. کاربرد LLMs در بهینه‌سازی فرآیندها
• 70. اتوماسیون وظایف با LLMs
• 71. توسعهٔ سیستم‌های هوشمند مبتنی بر LLMs
• 72. ارزیابی و اعتبارسنجی مدل‌های LLM
• 73. معیارهای ارزیابی LLMs
• 74. تست‌های استاندارد برای LLMs
• 75. روش‌های Fine-tuning LLMs
• 76. تنظیم دقیق مدل برای وظایف خاص
• 77. یادگیری انتقالی (Transfer Learning) در LLMs
• 78. مقدمه‌ای بر نرم‌افزارهای شبیه‌سازی سخت‌افزار
• 79. شبیه‌سازی بار کاری LLMs بر روی GPU
• 80. تحلیل عملکرد در سطح تراشه
• 81. بهینه‌سازی معماری سخت‌افزار برای LLMs
• 82. مطالعات موردی: استقرار LLMs در صنایع مختلف
• 83. LLMs در حوزهٔ سلامت
• 84. LLMs در حوزهٔ آموزش
• 85. LLMs در حوزهٔ مالی
• 86. LLMs در حوزهٔ تولید
• 87. تحلیل چالش‌های قانونی و نظارتی در استفاده از LLMs
• 88. ملاحظات فنی برای پیاده‌سازی LLMs
• 89. مستندسازی فنی پروژه‌های LLM
• 90. مدیریت چرخهٔ عمر مدل‌های LLM
• 91. دسترسی‌پذیری و فراگیری در LLMs
• 92. آیندهٔ LLMs و پردازنده‌های شتاب‌دهنده