在使用數(shù)據(jù)時，大多數(shù)人都同意你的見解和分析取決于所使用的數(shù)據(jù)質(zhì)量?；旧?，垃圾數(shù)據(jù)輸入就是垃圾分析輸出。如果您想創(chuàng)建圍繞高質(zhì)量數(shù)據(jù)決策的文化，數(shù)據(jù)清理(也稱為數(shù)據(jù)清理和數(shù)據(jù)清理)是您的組織最重要的步驟之一。

一、什么是數(shù)據(jù)清洗?

數(shù)據(jù)清洗是在數(shù)據(jù)集中修復(fù)或刪除不正確、損壞、格式不正確、重復(fù)或不完整數(shù)據(jù)的過程。當(dāng)合并多個數(shù)據(jù)源時，數(shù)據(jù)重復(fù)或標簽錯誤的機會就很多。如果數(shù)據(jù)不正確，結(jié)果和算法就不可靠，即使它們看起來正確。在數(shù)據(jù)清洗過程中沒有一種絕對的方法來規(guī)定確切的步驟，因為這些過程會因數(shù)據(jù)集而異。但是，建立一個數(shù)據(jù)清洗流程模板非常重要，這樣您就知道每次都是正確的方式進行清洗。

二、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換有什么區(qū)別?

數(shù)據(jù)清洗是移除數(shù)據(jù)集中不屬于的數(shù)據(jù)的過程。數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)從一種格式或結(jié)構(gòu)轉(zhuǎn)換為另一種格式的過程。轉(zhuǎn)換過程也可以稱為數(shù)據(jù)整理，或數(shù)據(jù)操作，將數(shù)據(jù)從一種“原始”數(shù)據(jù)形式轉(zhuǎn)換為另一種格式進行存儲和分析。本文重點介紹了清理數(shù)據(jù)的過程。

三、如何清洗數(shù)據(jù)?

1.移除重復(fù)或無關(guān)的觀察結(jié)果

從數(shù)據(jù)集中移除不需要的觀察結(jié)果，包括重復(fù)的觀察結(jié)果或無關(guān)的觀察結(jié)果。重復(fù)的觀察結(jié)果在數(shù)據(jù)收集過程中經(jīng)常會出現(xiàn)。當(dāng)你從多個地方合并數(shù)據(jù)集、抓取數(shù)據(jù)或者從客戶或多個部門接收數(shù)據(jù)時，就有可能產(chǎn)生重復(fù)數(shù)據(jù)。去重是這個過程中需要考慮的最大的領(lǐng)域之一。無關(guān)的觀察結(jié)果是指你注意到的與你試圖分析的具體問題不符的觀察結(jié)果。例如，如果你想分析千禧一代客戶的數(shù)據(jù)，但你的數(shù)據(jù)集包括了老一代的人，你可能會移除那些無關(guān)的觀察結(jié)果。這樣可以使分析更有效率，減少對主要目標的分散注意力，同時創(chuàng)建一個更易管理和性能更好的數(shù)據(jù)集。

2.修復(fù)結(jié)構(gòu)性錯誤

結(jié)構(gòu)性錯誤是指在測量或傳輸數(shù)據(jù)時注意到奇怪的命名慣例、打字錯誤或不正確的大小寫。這些不一致性可能導(dǎo)致錯誤的類別或分類。例如，你可能會發(fā)現(xiàn)"N/A"和"Not Applicable"都出現(xiàn)了，但它們應(yīng)該被視為同一類別。

3.過濾不需要的異常值

通常情況下，會有一些只出現(xiàn)一次的觀察結(jié)果，一眼看上去似乎不符合你正在分析的數(shù)據(jù)。如果你有正當(dāng)理由移除一個異常值，比如不正確的數(shù)據(jù)輸入，那么這樣做將有助于提高你正在處理的數(shù)據(jù)的性能。然而，有時候一個異常值的出現(xiàn)會證明你正在研究的理論。記?。寒惓Ｖ荡嬖诓⒉灰馕吨遣徽_的。這一步驟是為了確定該數(shù)字的有效性。如果一個異常值被證明對分析無關(guān)或者是一個錯誤，考慮將其移除。

4.處理缺失數(shù)據(jù)

你不能忽略缺失的數(shù)據(jù)，因為許多算法不會接受缺失的值。處理缺失數(shù)據(jù)有幾種方法。雖然都不是最佳選擇，但都可以考慮。

作為第一選擇，你可以刪除具有缺失值的觀察結(jié)果，但這樣做會丟失信息，所以在刪除之前請注意這一點。

作為第二選擇，你可以根據(jù)其他觀察結(jié)果輸入缺失值;同樣，有可能會丟失數(shù)據(jù)的完整性，因為你可能是基于假設(shè)而不是實際觀察結(jié)果操作的。

作為第三選擇，你可以改變數(shù)據(jù)的使用方式以有效地處理空值。

5.驗證和質(zhì)量保證

在數(shù)據(jù)清理過程結(jié)束時，作為基本驗證的一部分，你應(yīng)該能夠回答以下這些問題：

數(shù)據(jù)是否合理?

數(shù)據(jù)是否遵循其領(lǐng)域的適當(dāng)規(guī)則?

它是否證明或證偽了你的工作理論，或者帶來了任何見解?

你是否能找到數(shù)據(jù)中的趨勢，以幫助你形成下一個理論?如果不能，那是因為數(shù)據(jù)質(zhì)量問題嗎?

由于不正確數(shù)據(jù)而導(dǎo)致的錯誤結(jié)論可能會影響到糟糕的業(yè)務(wù)策略和決策。錯誤的結(jié)論可能會導(dǎo)致在報告會議上尷尬的時刻，當(dāng)你意識到你的數(shù)據(jù)經(jīng)不起審查。在到達那一步之前，建立一個質(zhì)量數(shù)據(jù)的文化對于你的組織是很重要的。為了做到這一點，你應(yīng)該記錄可能用于創(chuàng)建這種文化的工具以及數(shù)據(jù)質(zhì)量對你意味著什么。

海馬課堂專業(yè)課程輔導(dǎo)

1.擁有4000+嚴選碩博學(xué)霸師資。針對學(xué)生的薄弱科目和學(xué)校教學(xué)進度，匹配背景相符的導(dǎo)師。

2.根據(jù)學(xué)生情況進行1V1專屬備課，上課時間靈活安排。

3.中英雙語詳細講解課程中的考點、難點問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識，補足短板。