کتاب تحلیل داده‌های بزرگ با Apache Spark و Hadoop
, ,

کتاب تحلیل داده‌های بزرگ با Apache Spark و Hadoop

تومان249,950

انتخاب پلن

torobpay
هر قسط با ترب‌پی: تومان62,488
۴ قسط ماهانه. بدون سود، چک و ضامن.
شناسه محصول: SuperCourse-0000013786 دسته: , , برچسب: , , , , , , , , , , , , , ,

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب تحلیل داده‌های بزرگ با Apache Spark و Hadoop

موضوع کلی: برنامه نویسی

موضوع میانی: حوزه‌های تخصصی**

📋 سرفصل‌های کتاب (100 موضوع)

  • 1. مقدمه‌ای بر کلان داده (Big Data) و چالش‌های آن
  • 2. ویژگی‌های کلان داده: حجم، سرعت، تنوع (3V's) و فراتر از آن
  • 3. تاریخچه و معرفی اکوسیستم Hadoop
  • 4. معرفی Apache Spark: قدرت پردازش در حافظه
  • 5. مقایسه Hadoop MapReduce و Apache Spark
  • 6. معماری اکوسیستم کلان داده: ذخیره‌سازی، پردازش، تحلیل
  • 7. راه‌اندازی محیط توسعه: ماشین مجازی، Docker و ابزارهای محلی
  • 8. آشنایی با سیستم فایل توزیع‌شده Hadoop (HDFS)
  • 9. معماری HDFS: NameNode، DataNode و Block
  • 10. خواندن و نوشتن فایل‌ها در HDFS
  • 11. دستورات اصلی HDFS Shell
  • 12. مفهوم Fault Tolerance و Replication در HDFS
  • 13. معرفی YARN: مدیر منابع Hadoop
  • 14. معماری YARN: ResourceManager، NodeManager و ApplicationMaster
  • 15. آشنایی با پارادایم MapReduce
  • 16. مقدمه‌ای بر Apache Hive و انبار داده (Data Warehousing)
  • 17. مقدمه‌ای بر Apache HBase: پایگاه داده NoSQL روی HDFS
  • 18. مقدمه‌ای بر Apache Sqoop: انتقال داده از پایگاه‌های داده رابطه‌ای
  • 19. مقدمه‌ای بر Apache Flume: جمع‌آوری داده‌های جریانی (Streaming)
  • 20. مقدمه‌ای بر Apache Zookeeper: سرویس هماهنگ‌سازی توزیع‌شده
  • 21. معماری Apache Spark: Driver، Executor و Cluster Manager
  • 22. حالت‌های اجرای Spark: Local، Standalone، YARN و Kubernetes
  • 23. آشنایی با Spark Shell (Scala و PySpark)
  • 24. ارسال اولین برنامه Spark با spark-submit
  • 25. مفهوم اصلی Spark: مجموعه داده‌های توزیع‌شده انعطاف‌پذیر (RDD)
  • 26. ایجاد RDD از مجموعه‌ها و فایل‌های محلی
  • 27. ایجاد RDD از HDFS و سایر منابع داده
  • 28. عملیات روی RDDها: Transformation و Action
  • 29. مفهوم ارزیابی کند (Lazy Evaluation) و گراف غیرمدور جهت‌دار (DAG)
  • 30. Transformationهای پایه روی RDD: map، filter، flatMap
  • 31. RDDهای کلید-مقدار (Pair RDDs)
  • 32. Transformationهای روی Pair RDD: reduceByKey، groupByKey، sortByKey
  • 33. تفاوت عملکردی groupByKey و reduceByKey
  • 34. Actionهای رایج روی RDD: collect، count، take، reduce، saveAsTextFile
  • 35. توابع ناشناس (Anonymous Functions) و عبارات Lambda در Spark
  • 36. مفهوم ماندگاری (Persistence) و کش کردن (Caching) در RDDها
  • 37. سطوح مختلف ذخیره‌سازی (Storage Levels) در Spark
  • 38. متغیرهای مشترک: متغیرهای پخشی (Broadcast Variables)
  • 39. متغیرهای مشترک: انباره‌ها (Accumulators)
  • 40. آشنایی با پارتیشن‌ها (Partitions) و اهمیت آن در عملکرد
  • 41. کنترل پارتیشن‌بندی با repartition و coalesce
  • 42. مقدمه‌ای بر Spark SQL و DataFrames
  • 43. نقطه ورود یکپارچه: SparkSession
  • 44. ایجاد DataFrame از RDDها
  • 45. ایجاد DataFrame از منابع داده مختلف: JSON، CSV، Parquet
  • 46. خواندن داده از پایگاه‌های داده رابطه‌ای با JDBC
  • 47. مفهوم Schema در DataFrame و استنتاج خودکار آن
  • 48. عملیات پایه روی DataFrame: select، filter، where
  • 49. افزودن، حذف و تغییر نام ستون‌ها
  • 50. کار با داده‌های گمشده (Missing Data)
  • 51. عملیات تجمعی و گروه‌بندی (Grouping and Aggregation)
  • 52. توابع تجمعی رایج: count، sum، avg، min، max
  • 53. انواع Join در DataFrame: Inner، Outer، Left، Right
  • 54. استراتژی‌های Join در Spark و بهینه‌سازی آن
  • 55. توابع پنجره‌ای (Window Functions)
  • 56. توابع تعریف‌شده توسط کاربر (User-Defined Functions – UDFs)
  • 57. UDFهای برداری شده (Pandas UDFs) برای عملکرد بهتر در PySpark
  • 58. ذخیره DataFrame در فرمت‌های مختلف: Parquet، ORC، CSV
  • 59. آشنایی با بهینه‌ساز Catalyst
  • 60. نمایش و تحلیل طرح اجرایی (Execution Plan)
  • 61. یکپارچه‌سازی Spark SQL با Hive
  • 62. مقدمه‌ای بر Dataset API: رابط برنامه‌نویسی نوع‌دار (Typed API)
  • 63. مقایسه RDD، DataFrame و Dataset
  • 64. کار با انواع داده‌های پیچیده: Struct، Array، Map
  • 65. مقدمه‌ای بر پردازش جریانی (Stream Processing)
  • 66. معماری Spark Streaming (مبتنی بر DStream)
  • 67. ایجاد DStream از منابع مختلف مانند Kafka، Flume و سوکت‌ها
  • 68. Transformationهای روی DStream: map، filter، window
  • 69. Transformationهای حالتمند (Stateful): updateStateByKey
  • 70. عملیات خروجی در DStream
  • 71. معرفی پردازش جریانی ساختاریافته (Structured Streaming)
  • 72. مدل مفهومی Structured Streaming: DataFrame به عنوان جریان بی‌پایان
  • 73. پردازش مبتنی بر زمان رویداد (Event Time) و Watermarking
  • 74. عملیات پنجره‌ای در Structured Streaming
  • 75. منابع ورودی (Sources) و خروجی (Sinks) در Structured Streaming
  • 76. مقدمه‌ای بر یادگیری ماشین با Spark MLlib
  • 77. انواع داده در MLlib: Vector، LabeledPoint
  • 78. مفاهیم اصلی ML Pipeline: Transformer، Estimator، Pipeline
  • 79. مهندسی ویژگی‌ها: استخراج، تبدیل و انتخاب ویژگی
  • 80. الگوریتم‌های طبقه‌بندی (Classification): رگرسیون لجستیک و درخت تصمیم
  • 81. الگوریتم‌های رگرسیون (Regression): رگرسیون خطی
  • 82. الگوریتم‌های خوشه‌بندی (Clustering): K-Means
  • 83. ارزیابی مدل و معیارهای سنجش عملکرد
  • 84. تنظیم فراپارامترها (Hyperparameter Tuning) با Cross-Validation
  • 85. ذخیره و بارگذاری مدل‌های یادگیری ماشین
  • 86. سیستم‌های توصیه‌گر (Recommendation Systems) با ALS
  • 87. مقدمه‌ای بر پردازش گراف با GraphX
  • 88. مفاهیم اصلی GraphX: Vertex، Edge و Graph
  • 89. الگوریتم‌های رایج گراف: PageRank و Connected Components
  • 90. استقرار برنامه‌های Spark روی کلاستر YARN
  • 91. آشنایی با رابط کاربری وب Spark (Spark UI)
  • 92. تحلیل Jobs، Stages و Tasks در Spark UI
  • 93. تفسیر گراف DAG در رابط کاربری
  • 94. شناسایی گلوگاه‌های عملکردی: Data Skew و Shuffle
  • 95. مدیریت حافظه در Spark: On-heap و Off-heap
  • 96. تنظیمات مهم پیکربندی Spark برای بهینه‌سازی عملکرد
  • 97. بهترین شیوه‌ها (Best Practices) در توسعه برنامه‌های Spark
  • 98. مطالعه موردی اول: تحلیل لاگ‌های وب‌سرور
  • 99. مطالعه موردی دوم: ساخت یک خط لوله ETL
  • 100. مطالعه موردی سوم: پیش‌بینی تقلب در تراکنش‌ها

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “کتاب تحلیل داده‌های بزرگ با Apache Spark و Hadoop”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

محصولات مشابه

پیمایش به بالا