هوش تجاری و انبارش داده

مفهوم انبار داده

در این مقاله همبستگی هوش تجاری و انبارش داده ها را مشاهده خواهید کرد. چنانچه تمایل به یادگیری هوش تجاری دارید ، باید فناوری مهم دیگری یعنی انبارش داده ها را نیز بیاموزید. در این درس ، هم مفاهیم هوش تجاری و هم انبارش داده ها را فرا خواهید گرفت. همچنین خواهید دید که آنها چگونه با هم کار می کنند. علاوه بر این ، ما به مؤلفه های انبار داده ها و معماری انبار داده ها نیز خواهیم پرداخت.

بنابریان بیایید آموزش هوش تجاری و انبار داده ها را آغاز کنیم.

هوش تجاری چیست؟

اصطلاح Business Intelligence به طور کلی به ابزارها و فن آوری های مورد استفاده برای جمع آوری ، ادغام ، تجزیه و تحلیل و تجسم داده ها اطلاق می شود. داده های خامی که از منابع داده های مختلف جمع آوری می کنیم با استفاده از فناوری های BI به داده های قابل فهم یا اطلاعات معنی دار تبدیل می شوند.با این اطلاعات تفسیری استراتژیک می توان روندها و الگوها را مشاهده کرد و با استفاده از حقایق بدست آمده از داده های تحلیل شده از تصمیم های شرکت پشتیبانی کرد.

برای ساده تر کردن مفهوم ، داده های خام را از منابع مختلف جمع آوری می کنیم و با کمک ابزارهای Business Intelligence ، آنها را به اطلاعات معنی دار تبدیل می کنیم. ما می توانیم چنین داده هایی را در پرونده های داده (data files)، پایگاه داده (databases) ، انبار داده (warehouses ) یا دریاچه های داده (data lakes )در ساختار داده های خاص ذخیره کنیم. از انبارهای داده می توانیم داده های ذخیره شده را در قالب  query  وreport ، بازیابی کنیم و برای انجام تجزیه و تحلیل داده ها داشبورد بسازیم. ما این کار را با فرایندی که به ETL معروف است (استخراج ، تبدیل ، بارگذاری) انجام می دهیم. بنابراین ، مدیر اجرایی شرکت می تواند از داده های استخراج شده ، تبدیل شده و بارگذاری شده در سطوح مختلف استفاده کند. او با آنالیز داده ها به این روش  بینشی برای خود به دست می آورد و تصمیمات خود را تقویت می نماید.

انبارش داده چیست؟

انبارش داده ، فرآیند ذخیره داده ها در انبارهای داده است.داده ها از منابع داده های مختلف انتخاب شده ، جمع می شوند و سازمان داده می شوند تا با استفاده از تجزیه و تحلیل داده ها و نمایش آنها به بینش معنی داری برسیم.  در حقیقت انبارش داده یک رویکرد جامع برای مقابله و مدیریت مقادیر عظیمی از داده هایی است که در سطح سازمانی از آنها استفاده می کنیم. در چنین رویکرد خوشبینانه ایی، داده ها صرفاً از منابع داده برای کارهای عملیاتی یا معامله ای واکشی نمی شوند بلکه به روشی معین به اطلاعات معنی دار تبدیل می شوند تا ما بتوانیم از آنها برای اهداف تحلیل و مقایسه ایی استفاده کنیم.

انبار داده با چندین اصطلاح دیگر مانند سیستم پشتیبانی تصمیم گیری(DSS) ، سیستم اطلاعات اجرایی ، سیستم اطلاعات مدیریتی ، راه حل هوش تجاری ، کاربرد تحلیلی نیز شناخته می شود. ما آن را سیستم پشتیبانی تصمیم گیری می نامیم زیرا بینش ها و الگوهای مفیدی که توسط داده ها در نتیجه تجزیه و تحلیل ارائه می شود ، اتخاذ تصمیمات مهم در کسب و کار را آسان و ایمن می کند. بنابراین ، تقریباً در کلیه شرکتها ، یک انبار داده جدا از بانک اطلاعاتی فعالیت می کند. ما فقط از آن برای اهداف معامله ای (transactional) استفاده می کنیم که ماهیتی عینی تر دارند.

انبارش داده چگونه کار می کند؟

در یک دیتابیس عملیاتی نرمال ، داده ها بطور کامل نرمال سازی می شوند یا در فرم سوم نرمال سازی (۳NF) قرار می گیرند. در حالت ۳NF ، هر فیلد از جدول در یک پایگاه داده به طور عملکردی فقط به کلید اصلی وابسته است و شامل هیچگونه ارتباط غیرمستقیمی نیست. این بدان معناست که یک داده به شدت تغییر یافته است و بنابراین در چنین شرایطی واکشی داده ها یک روند کند است. در انبارش داده ، داده ها نرمال سازی نمی شوند یعنی از ۳NF به ۲NF تبدیل می شوند و از این رو داده های بزرگ یا  Big data نامیده می شوند. به دلیل افزایش افزونگی داده ، آن را داده بزرگ می نامیم .تنها هدف از ایجاد انبارهای داده ، بازیابی سریع داده های پردازش شده است. همچنین ، داده های جمع آوری شده مانند کل ، میانگین ، روند کلی و غیره  را ارائه می دهد که شرکت ها جهت تجزیه و تحلیل و تصمیم گیری های مناسب برای تجارت و عملکرد خود در صنعت از آنها استفاده می کنند.

اجزاء انبار داده

یک انبار داده دارای چندین مؤلفه است که در کنار هم کار می کنند تا امکان ذخیره سازی داده ها فراهم شود.

  • سیستم های عملیاتی :   Operational Systems حوزه های مختلف عملیاتی در یک شرکت هستند که برای هدف منحصر به فردی بکار می روند و در عملکرد صحیح شرکت سهیم هستند. سیستم عامل های مختلف می توانند شامل بازاریابی ، فروش ، برنامه ریزی منابع سازمانی (ERP)  و غیره باشند. همه این سیستم ها دارای بانک اطلاعاتی نرمال شده خود هستند.
  • لایه یکپارچه سازی (Integration Layer) : داده های نرمال سازی شده موجود در سیستم های عملیاتی نباید دستکاری شوند. در عوض ، یک کپی از آن داده ها را در یک منطقه لایه ادغام قرار می دهیم که در آنجا دستکاری می شوند و در آنجا تبدیل داده به روش های خاصی صورت می گیرد. یکی از عملیات های اساسی ، آوردن داده های کپی شده در یک قالب استاندارد واحد است زیرا ، در سیستم های عملیاتی ، داده ها دارای قالب یکسانی نیستند. به عنوان مثال ممکن است داده ها در جدولی بصورت ریال ذخیره شده باشند و در جدول دیگری بصورت دلار.
  •  انبار داده (Data warehouse): داده تبدیل و استاندارد شده در انبار داده ذخیره می شود که یک پایگاه داده بسیار بزرگ است. بنابراین ، داده ها از سراسر شرکت در این انبارداده که در فرم دوم نرمال سازی قرار دارد و داده ها در آن دارای یک شکل و ساختار یکنواخت خاص هستند ، ذخیره می شوند.
  • دیتا مارت Data Marts : دیتا مارت ها به منظور خاصی ایجاد می شوند و به عنوان زیرمجموعه انبار داده عمل می کنند. در هر دیتا مارت یا بازار داده فقط داده هایی که برای استفاده خاصی مفید هستند وجود دارد . مانند داده های مختلفی که برای آنالیز مربوط به بازاریابی ، امور مالی ، مدیریت و غیره مورد استفاده قرار می گیرند. این پایگاه های داده با هم همزمان عمل نمی کنند و یا داده های خود را با یکدیگر به اشتراک نمی گذارند و عملیات انجام شده در هر یک از آنها بر دیگری تأثیر نمی گذارد. این امر باعث می شود فرآیند تبدیل داده به اطلاعات خیلی سریعتر از انبارهای داده های بزرگتر انجام شود.  

یک انبار داده یک بانک اطلاعاتی جامع است زیرا شامل اطلاعات داده پردازش شده می باشد که می تواند مستقیماً توسط ابزارهای BI جهت تجزیه و تحلیل استفاده شود. بر خلاف این ، اگر داده های خام را مستقیماً از منبع داده جمع آوری کنید، ممکن است با قالب بندی ناهموار داده ها و داده های بدون ساختار و مرتب سازی نشده دچار مشکل شوید. برای جلوگیری از وقوع چنین مواردی، انبارهای داده به عنوان منبع داده واسطه ای بین بانک اطلاعاتی اصلی و ابزار BI کار می کنند. انبارهای داده، داده های گرفته شده از منابع مختلف را با هم ادغام می کنند با دادن ساختار به آنها ، داده ها را برای تجزیه و تحلیل آماده می کنند. همچنین به انجام داده کاوی و یافتن الگوهای موجود در داده ها کمک می کند.

هوش تجاری و انبارش داده

انبارش داده ها و هوش تجاری غالباً دست به دست هم کار می کنند ، زیرا داده های موجود در انبار داده ها برای استفاده ابزارهای هوش تجاری بسیار مهم است. ابزارهای BI مانند Tableau ، Sisense ، Chartio ، Looker و غیره از داده های موجود در انبار داده ها برای مواردی مانند پرس و جو ((query ، گزارش reporting) (، تجزیه و تحلیل (analytics) و داده کاوی استفاده می کنند.

هوش تجاری در عملکرد هموار و روان و مقرون به صرفه هر بنگاه اقتصادی، نقش اساسی ایفا می کند. بنابراین ، BI باعث بهره وری عملیاتی که شامل گزارش ERP ، ردیابی KPI ، مدیریت ریسک ، سودآوری محصول ، هزینه ، لجستیک و … می شود. و همچنین ، در تعامل با مشتری که شامل تجزیه و تحلیل فروش ، پیش بینی فروش ، تقسیم بندی ، برنامه ریزی کمپین ، سودآوری مشتری و غیره است ، کمک می کند.

گاهی کاربر نیاز دارد تا پاسخ سوالاتی مانند سوالات زیر را بداند:

مثلا چه تعداد از کالایX این ماه فروخته ایم؟

یا چه زمان هایی بیشترین سفارش را داشته ایم؟

برای پاسخ به این سوالات از پایگاه داده های سنتی از پردازش معاملات آنلاین (OLTP) استفاده می کنیم.

در حالی که ، اگر به داده های مربوط به سؤالات ذهنی و جامع تر مانند عوامل مؤثر بر زمان پردازش سفارش ویا سهم هر خط از محصول در سود ناخالص و غیره نیاز دارید ، از انبارهای داده استفاده می شود. ما می دانیم که انبارهای داده ، داده های پردازش شده و جمع شده را ذخیره می کنند که به عنوان بهترین پاسخ به سؤالات ذهنی ذکر شده در بالا مورد استفاده قرار می گیرند. ابزار های هوش تجاری به داده های ذخیره شده در انبارداده نیاز دارند. داده ها از طریق پردازش تحلیلی آنلاین (OLAP)  منتقل می شوند.

هوش تجاری و انبارش داده ها – معماری و فرآیند

در این بخش ، نحوه استخراج ، تبدیل و بارگذاری داده های خام در انبار داده ها را مشاهده خواهیم کرد. همچنین ، در مورد چگونگی استفاده از ابزارهای BI برای اهداف تحلیلی بحث می کنیم .برای درک بهتر روند تصویر زیر را مشاهده کنید.

مرحله ۱: استخراج داده های خام از منابع داده مانند داده های سنتی ، کتابهای دستورالعمل ، فایلهای اکسل و غیره.

مرحله ۲: داده های خام که از منابع داده های مختلف جمع آوری می شوند جمع و یکپارچه می شوند تا در یک پایگاه داده ویژه به نام انبار داده ذخیره شوند. یک انبار داده از لحاظ مفهومی یک پایگاه داده است ، اما در حقیقت ، یک سیستم فناوری محور است که شامل داده های پردازش شده و یک مخزن ابرداده (metadata) است. فرآیندی که با استفاده از آن داده ها را از منابع مختلف دریافت می کنیم ،

ETL (Extract, Transform, Load) نام دارد. این فرایند، داده های خام را از منابع اصلی استخراج می کند ، آن را به روش های مختلف تبدیل و یا دستکاری می کند و آنها را در انبار داده بارگذاری می کند.

مرحله ۳: اگر می خواهید از داده های انبار داده برای اهداف خاص مانند تجزیه و تحلیل بازاریابی ، تجزیه و تحلیل مالی و غیره استفاده کنید ، می توانید از زیر مجموعه های انبار داده مانند دیتا مارت ها و مکعب های داده  (data cubes) استفاده کنید. انتقال داده های  انبار داده به دیتامارت ها نیز از طریق ETL انجام می شود. داده ها از انبار های داده و دیتا مارت ها به مکعب های OLAP که مجموعه داده های چند بعدی هستند فرستاده می شوند و در آنجا داده ها ، آماده استفاده ابزارهای BI می شوند. ابزار های BI مانند ابزار های query ، گزارش دهی و داده کاوی ، داده های مورد نیازشان را از مکعب های OLAP درخواست می کنند و از آنها برای تجزیه و تحلیل استفاده می کنند.

سناریو فعلی هوش تجاری و انبارش داده

با تغییر فن آوری و پیشرفت آن ، گزینه های دیگری نیز برای انبارش داده به بازار معرفی شده اند. دریاچه های داده (data lakes) ، فرایند ETL و انبارش داده خودکار برای پردازش و آنالیز سریعتر داده ها از جمله این گزینه های جدید هستند. دریاچه داده  و فناوری هایی مانند Hadoop نسبتاً انعطاف پذیرتر از ETL هستند. هر زمان که یک ابزار BI برای تجزیه و تحلیل به داده نیاز داشته باشد ، آن را از دریاچه های داده میگیرد. با این حال ، شرکت ها هنوز هم برای تجزیه و تحلیل به انبار داده و داده های ساختاریافته و پردازش شده نیاز دارند.

نتیجه گیری

بنابراین ، هوش تجاری و انبارش داده ها دو ستون مهم در بقای بنگاه اقتصادی هستند. هوش تجاری و فناوری انبارش داده اطلاعات دقیق ، جامع ، یکچارچه و به روزی را در مورد وضعیت فعلی شرکت ارائه می دهند و از این طریق از اقدامات و تصمیم گیری های مهم شرکت پشتیبانی می کنند.

امیدوارم این مقاله را دوست داشته باشید و چنانچه سوالی درباره هوش تجاری و انبارش داده داشتید حتما با ما در میان بگذارید.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *