دوره مدل‌سازی پیش‌بینی با مقیاس بزرگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب مدل‌سازی پیش‌بینی با مقیاس بزرگ

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر برنامه‌نویسی برای محاسبات علمی
• 2. ساختارهای داده و الگوریتم‌های پایه
• 3. مرور مفاهیم سیستم‌عامل و شبکه برای مهندسین
• 4. مبانی جبر خطی و بهینه‌سازی برای مدل‌سازی
• 5. کار با پایتون و کتابخانه‌های علمی (NumPy, SciPy)
• 6. آشنایی با مدیریت حافظه و ساختارهای داده در پایتون
• 7. مقدمه‌ای بر پیچیدگی محاسباتی و تحلیل کارایی الگوریتم‌ها
• 8. روش‌های عددی برای حل معادلات و بهینه‌سازی
• 9. اصول برنامه‌نویسی شی‌گرا و ماژولار در پایتون
• 10. ابزارهای توسعه و اشکال‌زدایی (IDEs, debuggers)
• 11. مفهوم محاسبات سطح بالا (HPC) و کاربردهای آن
• 12. ضرورت HPC در مدل‌سازی پیش‌بینی با مقیاس بزرگ
• 13. انواع موازی‌سازی: داده، وظیفه و دستورالعمل
• 14. معماری‌های کامپیوتری مدرن: CPU، حافظه و سلسله مراتب آن
• 15. سیستم‌های حافظه مشترک و توزیع‌شده
• 16. معرفی خوشه‌های محاسباتی و ابررایانه‌ها
• 17. معیارهای ارزیابی کارایی HPC: سرعت‌دهی، کارایی و مقیاس‌پذیری
• 18. قوانین آمدال و گوستاوسن: محدودیت‌ها و فرصت‌های موازی‌سازی
• 19. آشنایی با سیستم‌های فایل موازی و توزیع‌شده
• 20. ابزارهای مدیریت منابع و زمان‌بندی در خوشه‌های HPC (مانند Slurm)
• 21. مقدمه‌ای بر برنامه‌نویسی موازی با OpenMP
• 22. مناطق موازی و ایجاد نخ‌ها (Threads)
• 23. موازی‌سازی حلقه‌ها و بخش‌ها (for, sections)
• 24. مدیریت داده‌ها: متغیرهای مشترک و خصوصی
• 25. همگام‌سازی نخ‌ها: قفل‌ها، موانع و عملیات اتمی
• 26. کاهش‌ها (Reductions) و تجمیع نتایج
• 27. موازی‌سازی وظایف و صف‌های وظایف (Tasks)
• 28. بهینه‌سازی کارایی برنامه‌های OpenMP
• 29. اشکال‌زدایی و تحلیل کارایی برنامه‌های OpenMP
• 30. مقدمه‌ای بر رابط ارسال پیام (MPI) و معماری آن
• 31. ارسال و دریافت پیام‌های نقطه به نقطه (Send/Recv)
• 32. عملیات ارتباطی جمعی: Broadcast، Scatter، Gather
• 33. عملیات کاهش جمعی: Reduce، Allreduce
• 34. گروه‌ها و توپولوژی‌های ارتباطی
• 35. ارتباطات غیرهم‌زمان و پوششی
• 36. برنامه‌نویسی MPI پیشرفته: انواع داده و MPI-IO
• 37. طراحی الگوریتم‌های موازی برای MPI
• 38. بهینه‌سازی ارتباطات و تعادل بار در MPI
• 39. اشکال‌زدایی و تحلیل کارایی برنامه‌های MPI
• 40. مقدمه‌ای بر معماری پردازنده‌های گرافیکی (GPUs)
• 41. مدل برنامه‌نویسی CUDA: Kernel، Threads، Blocks، Grid
• 42. مدیریت حافظه در CUDA: Global، Shared، Constant، Texture
• 43. اصول طراحی Kernel و بهینه‌سازی دسترسی به حافظه
• 44. Streamها و Eventها برای هم‌پوشانی محاسبات و انتقال داده
• 45. همگام‌سازی نخ‌ها و مدیریت خطا در CUDA
• 46. کتابخانه‌های CUDA برای محاسبات علمی (CUBLAS, CUSPARSE)
• 47. انتقال داده بهینه بین CPU و GPU
• 48. بهینه‌سازی کارایی برنامه‌های CUDA
• 49. اشکال‌زدایی و تحلیل کارایی برنامه‌های CUDA
• 50. ترکیب OpenMP و MPI برای سیستم‌های هیبریدی
• 51. ترکیب MPI و CUDA برای خوشه‌های GPU
• 52. استراتژی‌های تعادل بار پویا و استاتیک
• 53. بهینه‌سازی استفاده از حافظه کش و سلسله مراتب حافظه
• 54. ابزارهای پروفایلینگ و ردیابی کارایی (Intel VTune, PAPI, nvprof)
• 55. تکنیک‌های اشکال‌زدایی پیشرفته در برنامه‌های موازی
• 56. بهینه‌سازی ورودی/خروجی (I/O) در مقیاس بزرگ
• 57. تحلیل سربار موازی‌سازی و انتخاب بهترین استراتژی
• 58. طراحی الگوریتم‌های آگاه از معماری برای حداکثر کارایی
• 59. توسعه نرم‌افزار قابل اطمینان و مقاوم در برابر خطا در HPC
• 60. مقدمه‌ای بر یادگیری ماشین و مدل‌سازی پیش‌بینی
• 61. انواع یادگیری: نظارت‌شده، بدون نظارت، تقویتی
• 62. رگرسیون خطی و چندجمله‌ای
• 63. طبقه‌بندی: رگرسیون لجستیک، ماشین‌های بردار پشتیبان (SVM)
• 64. درختان تصمیم و جنگل‌های تصادفی
• 65. خوشه‌بندی: K-Means، خوشه‌بندی سلسله‌مراتبی
• 66. ارزیابی مدل‌ها: معیارهای دقت، یادآوری، F1، RMSE
• 67. پیش‌پردازش داده‌ها و مهندسی ویژگی
• 68. اعتبارسنجی متقابل و انتخاب مدل
• 69. کاهش ابعاد: PCA و t-SNE
• 70. چالش‌های داده‌های بزرگ (Big Data) در مدل‌سازی پیش‌بینی
• 71. اصول سیستم‌های فایل توزیع‌شده (مانند HDFS به صورت مفهومی)
• 72. پارتیشن‌بندی و توزیع داده‌ها برای محاسبات موازی
• 73. مقدمه‌ای بر چارچوب Apache Spark برای پردازش داده
• 74. کار با RDDs و DataFrames در Spark
• 75. Spark MLlib: الگوریتم‌های یادگیری ماشین موازی
• 76. بهینه‌سازی برنامه‌های Spark برای HPC
• 77. مدیریت داده‌های سری زمانی در مقیاس بزرگ
• 78. استفاده از پایگاه‌های داده NoSQL برای داده‌های حجیم
• 79. امنیت و حریم خصوصی داده‌ها در مدل‌سازی پیش‌بینی
• 80. مقدمه‌ای بر شبکه‌های عصبی عمیق (Deep Neural Networks)
• 81. لایه‌های پایه در شبکه‌های عصبی (Dense, Activation, Batch Normalization)
• 82. شبکه‌های عصبی پیچشی (CNN) برای پردازش تصویر
• 83. شبکه‌های عصبی بازگشتی (RNN, LSTM, GRU) برای داده‌های توالی
• 84. مفهوم Transformer و مکانیسم Attention
• 85. آموزش توزیع‌شده شبکه‌های عصبی: داده موازی‌سازی (Data Parallelism)
• 86. آموزش توزیع‌شده شبکه‌های عصبی: مدل موازی‌سازی (Model Parallelism)
• 87. تکنیک‌های موازی‌سازی هیبریدی برای مدل‌های بزرگ
• 88. چارچوب‌های آموزش توزیع‌شده در TensorFlow و PyTorch
• 89. بهینه‌سازی هایپرپارامترها با استفاده از HPC
• 90. استراتژی‌های مقیاس‌بندی آموزش مدل‌های عمیق
• 91. مدیریت مدل‌های عمیق و استقرار آنها در HPC
• 92. یادگیری تقویتی در مقیاس بزرگ
• 93. محاسبات ابری (Cloud HPC) برای مدل‌سازی پیش‌بینی
• 94. کانتینرسازی (Docker, Singularity) برای پایداری و تکرارپذیری
• 95. ارکستراسیون و مدیریت گردش کار (Workflow Management) در ML Ops با HPC
• 96. مدل‌سازی پیش‌بینی در فیزیک، مهندسی و علوم زیستی
• 97. مدل‌سازی پیش‌بینی در مالی و اقتصاد
• 98. ملاحظات اخلاقی و مسئولیت‌پذیری در هوش مصنوعی مقیاس بزرگ
• 99. روندهای آینده در HPC و هوش مصنوعی
• 100. پروژه‌ نهایی: پیاده‌سازی یک مدل پیش‌بینی مقیاس بزرگ