معرفی دوره و اهداف آموزشی

این دوره آموزشی به منظور توانمندسازی مهندسان داده برای طراحی، پیاده‌سازی و مدیریت خطوط لوله داده (Data Pipelines) در مقیاس بزرگ با استفاده از Azure Data Factory طراحی شده است. هدف اصلی این دوره، ارائه دانش عملی و تجربه کاربردی در خصوص چگونگی استخراج، تبدیل و بارگذاری (ETL/ELT) داده‌ها از منابع مختلف، به خصوص در زمینه تحلیل داده‌های مرتبط با یک رویداد جهانی مانند کووید-۱۹ است. شرکت‌کنندگان پس از اتمام دوره، قادر خواهند بود تا راهکارهای داده‌ای پیچیده را با استفاده از قابلیت‌های ADF خودکارسازی کرده و با چالش‌های رایج در حوزه مهندسی داده مواجه شوند و راه حل‌های کارآمدی برای آن‌ها بیابند.

اهداف کلیدی این دوره شامل:

• درک معماری و قابلیت‌های اصلی Azure Data Factory.
• آشنایی با فرایندهای ETL و ELT در بستر Azure.
• طراحی و پیاده‌سازی خطوط لوله داده پویا و مقیاس‌پذیر.
• اتصال به منابع داده متنوع و مدیریت ارتباطات.
• استفاده از فعالیت‌های مختلف ADF برای پردازش و تبدیل داده‌ها.
• پیاده‌سازی منطق شرطی و گردش کار در خطوط لوله.
• کار با داده‌های حجیم و بهینه‌سازی عملکرد.
• پیاده‌سازی پروژه‌های واقعی در سناریوهای عملی.

سرفصل‌ها و محتوای دوره

محتوای این دوره به گونه‌ای طراحی شده است که شما را گام به گام از مفاهیم پایه تا پیاده‌سازی یک پروژه کامل هدایت کند. با استفاده از سناریوی کووید-۱۹، موضوعات کلیدی به صورت عملی پوشش داده می‌شوند:

• مقدمه‌ای بر Azure Data Factory: مفاهیم کلیدی، معماری، اجزای اصلی (Pipelines, Activities, Datasets, Linked Services, Integration Runtimes).
• آماده‌سازی محیط Azure: ایجاد و پیکربندی حساب Azure و سرویس‌های مرتبط.
• اتصال به منابع داده: استخراج داده از منابع مختلف مانند پایگاه‌های داده SQL، فایل‌های CSV، APIها و خدمات ذخیره‌سازی Azure (Blob Storage, Data Lake Storage).
• طراحی خطوط لوله داده (Pipelines): ایجاد خطوط لوله ساده و پیچیده، استفاده از الگوهای طراحی.
• فعالیت‌های اصلی در ADF: کار با فعالیت‌های Copy Data، Data Flow، Stored Procedure، Execute Pipeline و سایر فعالیت‌های ضروری.
• تبدیل داده‌ها با Mapping Data Flows: درک و استفاده از Data Flows برای تبدیل پیچیده داده‌ها بدون نیاز به کدنویسی.
• مدیریت گردش کار و منطق شرطی: پیاده‌سازی If Condition، For Each، Until و Web Activities.
• زمان‌بندی و اجرای خطوط لوله: تنظیم Triggerها برای اجرای خودکار خطوط لوله بر اساس زمان‌بندی یا رویداد.
• مدیریت پارامترها و متغیرها: استفاده از پارامترها برای ایجاد خطوط لوله پویا و قابل استفاده مجدد.
• پروژه عملی کووید-۱۹:
  • جمع‌آوری و بارگذاری داده‌های مربوط به موارد ابتلا، مرگ و میر و واکسیناسیون از منابع مختلف.
  • پاکسازی و پیش‌پردازش داده‌ها.
  • تجمیع داده‌ها برای تحلیل‌های آماری.
  • انتقال داده‌های پردازش شده به یک مقصد نهایی (مانند Azure Synapse Analytics یا Azure SQL Database).
  • خودکارسازی فرایند انتقال و به‌روزرسانی داده‌ها.
• بهینه‌سازی عملکرد و مانیتورینگ: شناسایی گلوگاه‌ها، تنظیمات بهینه‌سازی و نظارت بر اجرای خطوط لوله.
• امنیت در Azure Data Factory: مدیریت دسترسی‌ها و پیکربندی‌های امنیتی.

پیش‌نیازها

برای بهره‌مندی کامل از این دوره آموزشی، آشنایی با مفاهیم اولیه موارد زیر توصیه می‌شود:

• مفاهیم پایه پایگاه داده: آشنایی با SQL و ساختار پایگاه داده‌های رابطه‌ای.
• مفاهیم پایه علوم داده: درک کلی از نحوه کار با داده‌ها و چالش‌های مربوط به آن‌ها.
• آشنایی با محیط ابری (اختیاری): دانش اولیه در مورد مفاهیم ابری مانند IaaS, PaaS, SaaS می‌تواند مفید باشد، اما ضروری نیست.
• مهارت‌های عمومی کامپیوتر: توانایی استفاده از مرورگر وب و نرم‌افزارهای مورد نیاز.

هرچند دانش قبلی در مورد Azure الزامی نیست، اما اگر با مفاهیم پایه Azure آشنا باشید، فرایند یادگیری برایتان تسهیل خواهد شد.

مخاطبان هدف

این دوره به طور خاص برای افرادی طراحی شده است که در حوزه مهندسی داده فعالیت می‌کنند یا قصد ورود به این حوزه را دارند:

• مهندسان داده (Data Engineers): برای ارتقاء مهارت‌های خود در زمینه اتوماسیون و مدیریت خطوط لوله داده در Azure.
• تحلیلگران داده (Data Analysts): که نیاز دارند داده‌های خود را از منابع مختلف جمع‌آوری، تبدیل و آماده‌سازی کنند.
• معماران داده (Data Architects): که به دنبال درک عمیق‌تری از قابلیت‌های ADF برای طراحی راهکارهای داده‌ای در بستر Azure هستند.
• توسعه‌دهندگان (Developers): علاقه‌مند به یادگیری ابزارهای مدیریت داده در ابر.
• هر متخصصی که با داده‌های حجیم کار می‌کند و نیاز به ابزاری قدرتمند برای انتقال و پردازش آن‌ها دارد.

مزایای دانلود و یادگیری آفلاین این دوره

یکی از بزرگترین مزایای تهیه و دانلود این دوره آموزشی، انعطاف‌پذیری بی‌نظیری است که در اختیار شما قرار می‌دهد. با دانلود این دوره، شما قادر خواهید بود:

• یادگیری در زمان و مکان دلخواه: دیگر محدود به زمان‌بندی کلاس‌های آنلاین یا دسترسی به اینترنت نیستید. می‌توانید در هر زمان و هر مکانی که برایتان مناسب است، به محتوای دوره دسترسی داشته باشید.
• یادگیری با سرعت شخصی: بخش‌هایی که برایتان دشوارتر است را بارها مرور کنید و بخش‌های آسان‌تر را سریع‌تر پشت سر بگذارید. شما کنترل کامل بر روند یادگیری خود دارید.
• دسترسی همیشگی: پس از دانلود، محتوای دوره برای همیشه در دسترس شما خواهد بود. حتی اگر دسترسی شما به اینترنت محدود یا قطع شود، همچنان می‌توانید به یادگیری ادامه دهید.
• صرفه‌جویی در زمان و هزینه: با حذف نیاز به حضور فیزیکی یا شرکت در جلسات آنلاین زنده، در زمان خود صرفه‌جویی کرده و از هزینه‌های جانبی جلوگیری می‌کنید.
• تمرکز بیشتر: محیط آفلاین به شما کمک می‌کند تا با تمرکز بیشتری روی محتوای دوره متمرکز شوید و از پرت شدن حواس توسط اعلان‌ها یا عوامل محیطی دیگر جلوگیری کنید.

این دوره به شما اجازه می‌دهد تا مهارت‌های لازم برای تبدیل شدن به یک مهندس داده مسلط بر Azure Data Factory را با رویکردی عملی و پروژه‌محور، در بستری کاملاً منعطف بیاموزید.

نکات کلیدی که یاد می‌گیرند

با گذراندن این دوره و تمرکز بر پروژه کووید-۱۹، شما دانش و مهارت‌های عملی ارزشمندی را کسب خواهید کرد که در بازار کار مهندسی داده بسیار مورد توجه قرار می‌گیرد. مهمترین نکاتی که یاد خواهید گرفت عبارتند از:

• مدیریت چرخه حیات داده: از ورود داده‌ها به سیستم تا آماده‌سازی نهایی برای تحلیل.
• اتوماسیون فرایندهای داده‌ای: کاهش مداخلات دستی و افزایش سرعت و دقت در انتقال و پردازش داده‌ها.
• کار با ابزارهای ابری مدرن: کسب تخصص در استفاده از Azure Data Factory، یکی از ابزارهای کلیدی در اکوسیستم Azure.
• حل مسائل واقعی با داده: توانایی به کارگیری مفاهیم آموخته شده در سناریوهای عملی مانند تحلیل داده‌های بهداشتی و اپیدمیولوژیک.
• بهینه‌سازی منابع و هزینه‌ها: یادگیری چگونگی مدیریت منابع ابری برای اجرای کارآمد خطوط لوله داده.
• تفکر سیستمی در مهندسی داده: درک چگونگی تعامل اجزای مختلف یک سیستم داده‌ای و طراحی راه‌حل‌های جامع.
• مهارت‌های حل مسئله: مواجهه با چالش‌های رایج در پردازش داده‌های حجیم و یافتن راه حل‌های خلاقانه.

این دوره، شما را برای مواجهه با چالش‌های واقعی در حوزه مهندسی داده آماده می‌سازد و دریچه‌ای نو به سوی فرصت‌های شغلی بیشتر در زمینه ابری و تحلیل داده خواهد گشود.