FIT5202的重點是大數(shù)據(jù)處理，包括使用最新大數(shù)據(jù)技術(shù)的數(shù)據(jù)量、復雜性和速度。在大數(shù)據(jù)量方面，它涵蓋使用并行技術(shù)的大容量數(shù)據(jù)處理。在大維度(或復雜度)方面，它涵蓋了并行處理的各種數(shù)據(jù)分析方法。在速度方面，它涵蓋數(shù)據(jù)流處理。

一、什么是大數(shù)據(jù)?

大數(shù)據(jù)是結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的集合，可在預測分析、機器學習和其他高級數(shù)據(jù)分析應用中進行處理和使用。根據(jù) Gartner 的說法，"大數(shù)據(jù)是高容量、高速度和高品種的信息資產(chǎn)，需要經(jīng)濟高效、創(chuàng)新形式的信息處理，以增強洞察力和決策制定能力"。

此外，Doug Laney 將大數(shù)據(jù)定義為 5 個 V，即數(shù)量(Volume)、速度(Velocity)、種類(Variety)、價值(Value)和真實性(Veracity)。

數(shù)量代表所收集的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量，速度指接收數(shù)據(jù)的頻率，多樣性指音頻、視頻、文本、數(shù)字數(shù)據(jù)等數(shù)據(jù)格式，價值定義所收集數(shù)據(jù)的有用程度，而所收集數(shù)據(jù)的準確性則被稱為 "真實性"。

盡管 "大數(shù)據(jù) "并不是指特定數(shù)量的數(shù)據(jù)，但大數(shù)據(jù)的實施通常包括跨期收集的千兆字節(jié)、萬兆字節(jié)和兆字節(jié)數(shù)據(jù)。如今，企業(yè)正在利用海量數(shù)據(jù)集來加強管理、提供更好的客戶支持、開展有針對性的營銷活動等。例如，大數(shù)據(jù)可為企業(yè)提供重要的 "消費者分析"(Consumer Analytics)，可用于改進營銷策略和實踐，提高客戶參與度。

二、大數(shù)據(jù)有哪些類型?

結(jié)構(gòu)化

半結(jié)構(gòu)化

非結(jié)構(gòu)化

A) 結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)是指具有明確結(jié)構(gòu)的標準化格式。結(jié)構(gòu)化數(shù)據(jù)以表格形式組織，列和行之間存在關(guān)系。例如，Excel 文件或 SQL 數(shù)據(jù)庫包含結(jié)構(gòu)數(shù)據(jù)的行和列。結(jié)構(gòu)化數(shù)據(jù)需要有數(shù)據(jù)模型，即關(guān)于如何存儲、訪問和處理數(shù)據(jù)的概念。每個字段都是獨立的，可以單獨訪問，也可以與其他區(qū)域的信息一起訪問。

B) 半結(jié)構(gòu)化數(shù)據(jù)

半結(jié)構(gòu)化數(shù)據(jù)是指無法在關(guān)系數(shù)據(jù)庫中排列的數(shù)據(jù)，或者缺乏精確的功能結(jié)構(gòu)但具有某些結(jié)構(gòu)特性的數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)由按主題分組或適合分層編程語言的信息組成。它是一種結(jié)構(gòu)化數(shù)據(jù)，不包含與任何關(guān)系數(shù)據(jù)庫相關(guān)的數(shù)據(jù)模型的任何表格格式。面向?qū)ο髷?shù)據(jù)庫包含的 XML 文檔、HTML 文件和表格就是半結(jié)構(gòu)化數(shù)據(jù)的常見例子。半結(jié)構(gòu)化數(shù)據(jù)的優(yōu)點是可用性廣，可用于產(chǎn)生深入的見解。

C)非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)被歸類為定性數(shù)據(jù)，因為它沒有預定的形狀或結(jié)構(gòu)。每天，企業(yè)都會收到海量的非結(jié)構(gòu)化數(shù)據(jù)--視頻、音頻、文本等，這些數(shù)據(jù)正被用于創(chuàng)建大規(guī)模的深度學習模型，以解決現(xiàn)實世界中的一些復雜問題。然而，從非結(jié)構(gòu)化數(shù)據(jù)中生成洞察力非常困難，而且需要巨大的計算能力。

海馬課堂專業(yè)課程輔導，2100+嚴選碩博學霸師資，針對學生的薄弱科目和學校教學進度，匹配背景相符的導師，根據(jù)學生情況進行1V1專屬備課，上課時間靈活安排，中英雙語詳細講解課程中的考點、 難點問題，并提供多方位的課后輔導，輔助學生掌握全部課程知識，補足短板。