Data Mining (داده کاوی) چیست؟

در این اموزش با دیتا ماینینگ یا داده کاوی به صورت کامل اشنا خواهید شد با ما در ادامه این اموزش همراه باشید.

با پیشرفت تکنولوژی و فناوری، تولید داده و اطلاعات به سرعت زیاد شد. این داده ها توسط شرکت ها و سازمان های بزرگ و کوچک، در پایگاه داده ها بزرگ تجاری ذخیره می‌شوند. یکی از داده های بزرگ شبکه جهانی وب (world wide web) است که شامل میلیون ها صفحه وب است؛ این صفحات وب هر کدام بازدیدهای میلیونی دارند.

چگونه این اطلاعات و داده ها تجزیه و تحلیل می‌شوند؟ آیا از دانش خاصی استفاده می‌شود؟
نیازمند نرم افزار است؟ برای پاسخ به سوالات بالا با ما همراه باشید.

داده کاوی چیست؟

داده کاوی یا Data Mining فرایند یافتن الگوها و ناهنجاری ها در مجموعه داده های بزرگ و حجیم برای پیش بینی نتایج است. با استفاده از تکنیک های فراوان، می‌توانید از این اطلاعات برای افزایش درآمد، کاهش هزینه ها، بهبود روابط با مشتریان و… بهره ببرید.

تاریخچه داده کاوی یا دیتا ماینینگ

تاریخچه پردازش داده ها و اطلاعات، بسیار قدیمی است و به ده ها سال پیش برمی‌گردد. در سال 1990 اصطلاح داده کاوی رواج یافت و از آن سال به بعد مطالعات بر روی Data Mining بیشتر شد؛ بطوری که طی دهه گذشته پیشرفت در قدرت و سرعت پردازش ما را قادر ساخته تا به جای تحلیل دستی داده ها که بسیار زمان بر و خسته کننده است، به سمت تجزیه و تحلیل آسان، سریع و خودکار داده ها حرکت کنیم. کسب و کارهایی مانند بانک ها، تولید کنندگان، ارائه دهندگان خدمات، بیمه ها و… از دیتا ماینینگ برای بدست آوردن همه چیز استفاده می‌کنند از بهینه سازی قیمت، تبلیغات و اطلاعات جمعیتی تا چگونگی تاثیر بر اقتصاد، ریسک، رقابت و رسانه های اجتماعی، درآمد و….

عنوان داده کاوی شاید کمی غلط باشد چون هدف استخراج داده نیست، بلکه استخراج الگوها و دانش از حجم زیادی داده است. پس می‌توان عنوان مناسب تری برای آن تعریف کرد که به آن کشف دانش از پایگاه داده یا (Knowledge Discovery in databases (KDD می‌گویند. در حال حاضر عناوینی همچون تحلیل داده و علم داده هم برای دیتا ماینینگ مورد استفاده قرار می‌گیرند.

آشنایی بیشتر

داده کاوی از زمانی بسیار رواج یافت که داده ها و اطلاعات بر روی کامپیوترها ذخیره شدند. این علم به کاربران اجازه می‌دهد تا در زمان واقعی بین داده ها حرکت و دانش مورد نیاز را استخراج کنند. داده کاوی از سه فناوری آمار(مطالعه عددی داده ها)، هوش مصنوعی(هوش انسانی که توسط نرم افزار نمایش داده می‌شود) و یادگیری ماشین(الگوریتم هایی برای پیش بینی داده ها) استفاده می‌کند؛ به همین علت در جوامع کسب و کار مورد استفاده قرار گرفته می‌شود.

چرا دیتا ماینینگ مهم است؟

داده کاوی به شما این امکان را می‌دهد تا:

• سرعت تصمیم گیری آگاهانه را بالا ببرید.
• همه چیز را دقیق بفهمید و بتوانید برای ارزیابی نهایی اطلاعات مفید را استفاده کنید.
• داده های تکراری و بیهوده را جدا کنید.

نحوه انجام داده کاوی

روند دیتا ماینینگ شامل 6 مرحله زیر است:

1. Business understanding

اولین قدم، تعیین اهداف پروژه است. اینکه بدانید داده کاوی چگونه به شما در رسیدن به اهداف کمک می‌کند. در این مرحله باید برنامه ریزی شود که جدول زمانبندی، اقدامات و تعیین نقش ها چگونه باشد.

2. Data understanding

در این مرحله، کلیه داده ها از منابع قابل استفاده جمع آوری می‌شوند. ابزارهای تجسم داده در این مرحله مورد استفاده قرار می‌گیرند تا اطمینان حاصل شود که این داده ها به رسیدن به هدف نهایی کمک می‌کنند.

3. Data preparation

در این مرحله داده ها، آماده تولید می‌شوند. داده ها از منابع مختلف جمع آوری شده،
سپس باید مرتب، تغییر شکل، قالب بندی و ساخته شوند.

در این مرحله فرایندی به نام پاکسازی داده ها وجود دارد که وظیفه آن پاک کردن داده های غیر قابل استفاده، تکراری و بیهوده است.

در این فاز عملیات تبدیل داده به فرایند داده کاوی بسیار کمک میکند که شامل مراحل زیر است:

• Smoothing: حذف نویز از داده ها.
• Aggregation: خلاصه کردن آمار داده ها در طی مدت زمان مشخص (به عنوان مثال جمع درآمد هفتگی یا ماهانه یا سالانه)
• Generalization: داده های سطح پایین با استفاده از سلسله مراتب مفهوم، جایگزین سطح بالاتر می‌شوند.
• Normalization: عادی سازی زمانی انجام می‌شود که نیاز باشد داده ها مقیاس بندی شوند.
• Attribute construction: ایجاد ویژگی های مفید برای داده کاوی.

نتیجه این فرایند مجموعه داده های نهایی است که می‌تواند در مدلسازی مورد استفاده قرار می‌گیرد.

4. Data Modeling:

در این مرحله از مدل های ریاضی برای تعیین الگوها استفاده می‌شود. تکنیک های مورد استفاده باید شناسایی شوند، سپس برای بررسی کیفیت و اعتبار مدلسازی سناریویی تعیین شود، پس از آن الگوها را بر روی مجموعه داده ها اجرا می‌کنند و در نهایت نتایج مورد ارزیابی قرار می‌گیرند که باید دید آیا اهداف داده کاوی را برآورد می‌کند یا خیر.

5. Evaluation:

در این مرحله الگوهای شناسایی شده بر اساس اهداف تجاری مورد ارزیابی قرار می‌گیرند تا مشخص شود آیا در سراسر سازمان اجرا شود یا خیر.

6. Deployment:

در آخرین مرحله، یافته های داده کاوی در بین کسب و کارهای روزمره به اشتراک گذاشته می‌شوند.

تکنیک های داده کاوی

1. Classification: این تجزیه و تحلیل برای بازیابی اطلاعات مهم و مرتبط در مورد داده ها و فراداده ها استفاده می‌شود. این روش به طبقه بندی داده ها در کلاس های مختلف کمک می‌کند.
2. Clustering: تجزیه و تحلیل خوشه ای یک روش داده کاوی برای شناسایی داده هایی است که مانند یکدیگر هستند. این فرایند به درک تفاوت ها و شباهت های داده کمک می‌کند.
3. Regression: تجزیه و تحلیل رگرسیون، برای شناسایی و تجزیه و تحلیل رابطه بین متغیرها است. با توجه به وجود متغیرهای دیگر، برای شناسایی احتمال یک متغیر خاص استفاده می‌شود.
4. Association Rules: این روش دیتا ماینینگ به یافتن ارتباط بین دو یا چند مورد کمک می‌کند. به عبارتی یک الگوی پنهان را در مجموعه داده کشف می‌کند.
5. Outer Detection: این نوع تکنیک به مشاهده موارد داده در مجموعه داده اشاره دارد که با الگوی مورد انتظار یا مطابقت ندارند. از این روش می‌توان در حوزه های مختلفی مانند هک و امنیت، نفوذ، شناسایی ، تقلب یا تشخیص خطا و غیره استفاده کرد.
6. Sequential Patterns: این روش داده کاوی به کشف و شناسایی الگوها و روندهای مشابه در داده های خاص کمک می‌کند.
7. Prediction: پیش بینی، ترکیبی از سایر تکنیک های داده کاوی مانند روندها، الگوهای پی در پی، خوشه بندی، طبقه بندی و… استفاده کرده است. این نوع دیتا ماینینگ، رویدادها یا موارد گذشته را در یک توالی مناسب برای پیش بینی یک رویداد آینده تجزیه و تحلیل می‌کند.

ابزار های داده کاوی

1. Mahout: این نرم افزار در ایجاد الگوریتم های یادگیری ماشین برای خوشه بندی، طبقه بندی و فیلتر کردن بسیار عالی است.
2. Orange: نرم افزاری نوشته شده با زبان پایتون است. به علت داشتن رابط کاربری مناسب یک نرم افزار خوب برای تجزیه و تحلیل داده ها و دیتا ماینینگ به حساب می‌آید.
3. Rapid miner: یک نرم افزار منبع باز که به زبان جاوا نوشته شده است. برای انجام تجزیه و تحلیل داده ها طراحی شده و محیط یکپارچه ای را برای یادگیری عمیق، داده کاوی و ماشین لرنینگ ارائه داده است.
4. Micro Strategy: نرم افزار هوش تجاری و تجزیه و تحلیل داده است که تمام مدل های داده کاوی را تکمیل می‌کند.

مزایا

• بدست آوردن اطلاعات مفید برای سازمان ها
• کمک به سازمان ها برای تنظیمات سودآور در تولید و عملکرد
• کمک به روند تصمیم گیری
• پیدا کردن راه حل های مقرون به صرفه
• کشف خودکار الگوهای پنهان
• صرف زمان کمتر برای تجزیه و تحلیل داده های زیاد

معایب داده کاوی

• کار کردن با برخی از نرم افزارهای داده کاوی دشوار است و نیاز به آموزش دارد.
• ابزارهای دیتا ماینینگ، دارای الگوریتم های مختلفی هستند، در نهایت تصمیم گیری برای اینکه از چه نرم افزاری باید استفاده کرد دشوار است.
• تکنیک های داده کاوی همیشه دقیق نیستند و ممکن است در برخی شرایط خاص باعث ایجاد خسارت شود.
• ممکن است شرکت ها اطلاعات مفید مشتریان خود را به فروش بگذارند. مانند شرکت American Express که اطلاعات کارت های اعتباری مشتریانش را به دیگر شرکت ها فروخت.

موفق باشید.