數(shù)據(jù)挖掘是通過清理原始數(shù)據(jù)、發(fā)現(xiàn)模式、創(chuàng)建模型并測(cè)試這些模型來理解數(shù)據(jù)的過程。它包括統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)庫系統(tǒng)。數(shù)據(jù)挖掘通常包括多個(gè)數(shù)據(jù)項(xiàng)目，所以很容易與分析、數(shù)據(jù)治理和其他數(shù)據(jù)處理過程相混淆。如果大家在學(xué)習(xí)數(shù)據(jù)挖掘的過程中遇到難題，可以直接點(diǎn)擊藍(lán)字與海馬課堂的老師進(jìn)行咨詢哦！

本指南將定義數(shù)據(jù)挖掘，分享其好處和挑戰(zhàn)，并回顧數(shù)據(jù)挖掘的工作原理。數(shù)據(jù)挖掘有著悠久的歷史。它在 20 世紀(jì) 60 年代到 80 年代隨著計(jì)算的發(fā)展而出現(xiàn)。在歷史上，數(shù)據(jù)挖掘是一個(gè)密集的手動(dòng)編碼過程 —— 即使在今天，它仍然需要編碼能力和知識(shí)淵博的專家來清理、處理和解釋數(shù)據(jù)挖掘結(jié)果。數(shù)據(jù)專家需要統(tǒng)計(jì)知識(shí)和一些編程語言知識(shí)才能準(zhǔn)確地完成數(shù)據(jù)挖掘技術(shù)。

一、數(shù)據(jù)挖掘不完全等同于數(shù)據(jù)分析

如前所述，數(shù)據(jù)挖掘可能會(huì)與其他數(shù)據(jù)項(xiàng)目相混淆。數(shù)據(jù)挖掘過程包括數(shù)據(jù)清理和探索性分析等項(xiàng)目，但它不僅僅是這些實(shí)踐。數(shù)據(jù)挖掘?qū)＜仪謇砗蜏?zhǔn)備數(shù)據(jù)，創(chuàng)建模型，根據(jù)假設(shè)測(cè)試這些模型，并發(fā)布這些模型以供分析或商業(yè)智能項(xiàng)目使用。換句話說，分析和數(shù)據(jù)清理是數(shù)據(jù)挖掘的一部分，但它們只是整體的一部分。

二、數(shù)據(jù)挖掘的好處

當(dāng)戰(zhàn)略性地部署數(shù)據(jù)挖掘以服務(wù)于業(yè)務(wù)目標(biāo)、回答業(yè)務(wù)或研究問題或成為問題解決方案的一部分時(shí)，數(shù)據(jù)挖掘最為有效。數(shù)據(jù)挖掘有助于進(jìn)行準(zhǔn)確的預(yù)測(cè)、識(shí)別模式和異常值，并經(jīng)常為預(yù)測(cè)提供信息。此外，數(shù)據(jù)挖掘幫助組織識(shí)別流程中的差距和錯(cuò)誤，例如供應(yīng)鏈中的瓶頸或不適當(dāng)?shù)臄?shù)據(jù)輸入。

三、數(shù)據(jù)挖掘的工作原理

數(shù)據(jù)挖掘的第一步幾乎總是數(shù)據(jù)收集。如今的組織每天都可以收集記錄、日志、網(wǎng)站訪問者數(shù)據(jù)、應(yīng)用程序數(shù)據(jù)、銷售數(shù)據(jù)等等。收集和映射數(shù)據(jù)是理解可以對(duì)相關(guān)數(shù)據(jù)進(jìn)行哪些操作和提出哪些問題的良好第一步?？缧袠I(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程(CRISP-DM)是啟動(dòng)數(shù)據(jù)挖掘過程的優(yōu)秀指南。這個(gè)標(biāo)準(zhǔn)是幾十年前創(chuàng)建的，對(duì)于剛剛起步的組織來說仍然是一個(gè)流行的范例。

四、CRISP-DM 的六個(gè)階段

CRISP-DM 包括一個(gè)六階段工作流程。它被設(shè)計(jì)為具有靈活性;如果需要，數(shù)據(jù)團(tuán)隊(duì)可以并被鼓勵(lì)返回到前一個(gè)階段。該模型還為幫助執(zhí)行或增強(qiáng)其中一些任務(wù)的軟件平臺(tái)提供了機(jī)會(huì)。

1.業(yè)務(wù)理解

全面的數(shù)據(jù)挖掘項(xiàng)目首先確定項(xiàng)目目標(biāo)和范圍。業(yè)務(wù)利益相關(guān)者將提出一個(gè)數(shù)據(jù)挖掘可以回答或解決的問題。

2.數(shù)據(jù)理解

一旦理解了業(yè)務(wù)問題，就該收集與問題相關(guān)的數(shù)據(jù)并了解數(shù)據(jù)集。這些數(shù)據(jù)通常來自多個(gè)來源，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。這個(gè)階段可能包括一些探索性分析以揭示一些初步模式。在這個(gè)階段結(jié)束時(shí)，數(shù)據(jù)挖掘團(tuán)隊(duì)已經(jīng)選擇了用于分析和建模的數(shù)據(jù)集子集。

3.數(shù)據(jù)準(zhǔn)備

這個(gè)階段開始進(jìn)行更深入的工作。數(shù)據(jù)準(zhǔn)備涉及準(zhǔn)備最終數(shù)據(jù)集，其中包括回答業(yè)務(wù)問題所需的所有相關(guān)數(shù)據(jù)。利益相關(guān)者將確定要探索的維度和變量，并準(zhǔn)備最終數(shù)據(jù)集以進(jìn)行模型創(chuàng)建。

4.建模

在這個(gè)階段，你將為給定的數(shù)據(jù)選擇適當(dāng)?shù)慕＜夹g(shù)。這些技術(shù)可以包括聚類、預(yù)測(cè)模型、分類、估計(jì)或它們的組合。Front Health 使用統(tǒng)計(jì)建模和預(yù)測(cè)分析來決定是否將醫(yī)療保健計(jì)劃擴(kuò)展到其他人群。如果你選擇的建模技術(shù)需要選擇其他變量或準(zhǔn)備一些不同的數(shù)據(jù)源，你可能需要返回到數(shù)據(jù)準(zhǔn)備階段。

5.評(píng)估

在創(chuàng)建模型后，你需要測(cè)試它們并衡量它們?cè)诨卮鸬谝浑A段確定的問題方面的成功程度。模型可能會(huì)回答一些未考慮到的方面的問題，你可能需要編輯模型或問題。這個(gè)階段旨在讓你查看迄今為止的進(jìn)展，并確保它在實(shí)現(xiàn)業(yè)務(wù)目標(biāo)的正確軌道上。如果不是，在項(xiàng)目準(zhǔn)備進(jìn)入部署階段之前，可能需要返回到前面的步驟。

6.部署

最后，一旦模型準(zhǔn)確可靠，就可以在現(xiàn)實(shí)世界中部署它了。部署可以在組織內(nèi)部進(jìn)行，可以與客戶共享，或者可以用于為利益相關(guān)者生成報(bào)告以證明其可靠性。當(dāng)最后一行代碼完成時(shí)，工作并沒有結(jié)束;部署需要仔細(xì)考慮、推出計(jì)劃以及確保正確的人得到適當(dāng)通知的方法。數(shù)據(jù)挖掘團(tuán)隊(duì)負(fù)責(zé)讓受眾理解項(xiàng)目。

海馬課堂，4000+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。
海馬課堂服務(wù)煥新，六大模塊強(qiáng)勢(shì)護(hù)航！包括定制規(guī)劃報(bào)告、心靈輔導(dǎo)、免費(fèi)公益課、提分規(guī)劃及單項(xiàng)與組合課業(yè)輔導(dǎo)。學(xué)習(xí)教練助力 GPA 提升與職業(yè)發(fā)展，緩解壓力焦慮，清理負(fù)面情緒，提升自信，滿足不同學(xué)習(xí)需求。