دوره تسلط بر برنامه‌نویسی موازی: دستیابی به حداکثر کارایی در سیستم‌های HPC مدرن همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب تسلط بر برنامه‌نویسی موازی: دستیابی به حداکثر کارایی در سیستم‌های HPC مدرن

موضوع کلی: محاسبات با کارایی بالا (HPC)

موضوع میانی: برنامه‌نویسی موازی و بهینه‌سازی عملکرد

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر محاسبات با کارایی بالا (HPC)
• 2. چرا به HPC نیاز داریم؟ موارد استفاده و کاربردها
• 3. تاریخچه و تکامل ابرکامپیوترها
• 4. مفاهیم کلیدی: موازی‌سازی، همزمانی، و پردازش توزیع‌شده
• 5. معماری کامپیوتر فون نویمان و تنگناهای آن
• 6. سلسله‌مراتب حافظه: از رجیستر تا حافظه دائمی
• 7. طبقه‌بندی فلین (SISD, SIMD, MISD, MIMD)
• 8. قوانین امدال و گوستافسون: محدودیت‌ها و پتانسیل‌های افزایش سرعت
• 9. معیارهای سنجش عملکرد: Speedup، Efficiency و Scalability
• 10. مروری بر مدل‌های برنامه‌نویسی موازی
• 11. چالش‌های بنیادین در برنامه‌نویسی موازی
• 12. معماری پردازنده‌های چندهسته‌ای مدرن
• 13. موازی‌سازی در سطح دستورالعمل (ILP) و پردازش برداری (Vector Processing)
• 14. دستورالعمل‌های SIMD: SSE, AVX, و NEON
• 15. حافظه نهان (Cache) و اصول عملکرد آن
• 16. چالش انسجام کش (Cache Coherency) در سیستم‌های چندهسته‌ای
• 17. پروتکل‌های انسجام کش (Snooping vs. Directory-based)
• 18. معماری‌های دسترسی غیریکنواخت به حافظه (NUMA)
• 19. شبکه‌های اتصال داخلی (Interconnects): توپولوژی‌ها
• 20. معیارهای شبکه‌های اتصال داخلی: پهنای باند و تأخیر
• 21. آشنایی با شتاب‌دهنده‌ها: GPU و FPGA
• 22. معماری GPU: تفاوت با CPU
• 23. سیستم‌های فایل موازی (Lustre, GPFS)
• 24. بهینه‌سازی ورودی/خروجی (I/O) در سطح سخت‌افزار
• 25. مدل حافظه اشتراکی: مفاهیم و چالش‌ها
• 26. نخ‌ها (Threads) در مقابل فرآیندها (Processes)
• 27. مقدمه‌ای بر OpenMP: یک مدل استاندارد برای حافظه اشتراکی
• 28. ساختار اصلی یک برنامه OpenMP: دایرکتیوها و توابع کتابخانه‌ای
• 29. ساختارهای موازی‌سازی کار (Work-sharing Constructs): for, sections
• 30. مدیریت حوزه داده‌ها (Data Scoping): private, shared, firstprivate
• 31. همگام‌سازی در OpenMP: critical, atomic, barrier
• 32. کاهش (Reduction) داده‌ها در حلقه‌های موازی
• 33. زمان‌بندی حلقه‌ها در OpenMP (static, dynamic, guided)
• 34. موازی‌سازی وظیفه‌ای (Task Parallelism) با OpenMP
• 35. موازی‌سازی برداری (SIMD) با استفاده از دایرکتیوهای OpenMP
• 36. مدل حافظه و سازگاری در OpenMP
• 37. اشکال‌زدایی و تحلیل عملکرد برنامه‌های OpenMP
• 38. تداخل کاذب (False Sharing) و راه‌های مقابله با آن
• 39. الگوهای رایج در برنامه‌نویسی حافظه اشتراکی
• 40. مدل حافظه توزیع‌شده و تبادل پیام (Message Passing)
• 41. آشنایی با استاندارد MPI (Message Passing Interface)
• 42. راه‌اندازی محیط MPI: کامپایل و اجرای اولین برنامه
• 43. مفاهیم پایه MPI: Communicators, Rank, Size
• 44. ارتباط نقطه به نقطه (Point-to-Point): ارسال و دریافت مسدودکننده
• 45. ارتباط نقطه به نقطه غیرمسدودکننده (Non-blocking) و مزایای آن
• 46. مدهای ارتباطی و تگ‌ها در MPI
• 47. ارتباطات جمعی (Collective): پخش داده‌ها (Broadcast, Scatter)
• 48. ارتباطات جمعی: جمع‌آوری داده‌ها (Gather, Reduce)
• 49. عملیات پیشرفته کاهش (Allreduce, Scan) در MPI
• 50. انواع داده مشتق‌شده (Derived Datatypes) برای ساختارهای پیچیده
• 51. گروه‌ها و ارتباط‌دهنده‌ها (Groups and Communicators)
• 52. توپولوژی‌های مجازی در MPI: کارتزین و گراف
• 53. ارتباط یک‌طرفه (One-Sided Communication - RMA)
• 54. ورودی/خروجی موازی با MPI-IO
• 55. بن‌بست (Deadlock) در MPI و روش‌های پیشگیری و تشخیص
• 56. پروفایلینگ و تحلیل عملکرد برنامه‌های MPI
• 57. برنامه‌نویسی ترکیبی (Hybrid): MPI + OpenMP
• 58. مزایا و چالش‌های مدل برنامه‌نویسی ترکیبی
• 59. الگوهای طراحی الگوریتم با MPI
• 60. مقدمه‌ای بر محاسبات عمومی روی پردازنده‌های گرافیکی (GPGPU)
• 61. معماری و مدل برنامه‌نویسی CUDA
• 62. نوشتن و اجرای اولین Kernel در CUDA
• 63. مدیریت سلسله‌مراتب نخ‌ها: گریدها، بلاک‌ها و نخ‌ها
• 64. مدل حافظه CUDA: Global, Shared, Local, Constant
• 65. بهینه‌سازی استفاده از حافظه اشتراکی (Shared Memory) و Bank Conflict
• 66. انتقال داده بین میزبان و دستگاه (Host-Device Data Transfer)
• 67. جریان‌ها (Streams) برای همپوشانی محاسبات و ارتباطات
• 68. عملیات اتمی (Atomic Operations) در CUDA
• 69. کتابخانه‌های CUDA برای محاسبات علمی (cuBLAS, cuFFT, Thrust)
• 70. اشکال‌زدایی و پروفایلینگ برنامه‌های CUDA با Nsight
• 71. برنامه‌نویسی مبتنی بر دایرکتیو برای شتاب‌دهنده‌ها با OpenACC
• 72. مدیریت داده و حلقه‌های موازی در OpenACC
• 73. مقایسه CUDA و OpenACC: انتخاب ابزار مناسب
• 74. مقدمه‌ای بر استانداردهای باز: OpenCL و SYCL
• 75. اصول تحلیل و مدل‌سازی عملکرد برنامه‌های موازی
• 76. ابزارهای پروفایلینگ مبتنی بر نمونه‌برداری (gprof, Perf)
• 77. ابزارهای پیشرفته تحلیل عملکرد مبتنی بر ردیابی (VTune, Score-P)
• 78. شناسایی نقاط داغ (Hotspots) در کد
• 79. تحلیل تنگناهای حافظه: Cache Misses و پهنای باند
• 80. تحلیل تنگناهای ارتباطی و ورودی/خروجی
• 81. استراتژی‌های توازن بار ایستا و پویا (Static and Dynamic Load Balancing)
• 82. تکنیک‌های بهینه‌سازی کامپایلر (-O3, -Ofast, PGO)
• 83. کتابخانه‌های ورودی/خروجی سطح بالا: HDF5 و NetCDF
• 84. بصری‌سازی داده‌های عملکرد (Vampir, ParaView)
• 85. الگوهای طراحی الگوریتم‌های موازی (Data Parallelism, Task Parallelism)
• 86. الگوی Master/Worker و Pipeline
• 87. الگوریتم‌های موازی برای مرتب‌سازی و جستجو
• 88. عملیات ماتریسی موازی (ضرب ماتریس)
• 89. حل دستگاه معادلات خطی به صورت موازی
• 90. تبدیل فوریه سریع (FFT) موازی
• 91. تحمل‌پذیری خطا (Fault Tolerance) در سیستم‌های HPC
• 92. تکنیک‌های Checkpoint/Restart برای بازیابی از خطا
• 93. محاسبات سبز: بهره‌وری انرژی در HPC
• 94. HPC در ابر (Cloud): مزایا، معایب و چالش‌ها
• 95. کانتینرسازی در HPC: Docker و Singularity
• 96. همگرایی HPC و تحلیل داده‌های بزرگ (Big Data)
• 97. استفاده از Spark و Dask در اکوسیستم HPC
• 98. کاربرد یادگیری ماشین و هوش مصنوعی در HPC
• 99. مقدمه‌ای بر محاسبات کوانتومی و تفاوت آن با HPC
• 100. چالش‌های محاسبات در مقیاس اگزافلاپس (Exascale)