COMP5339課程(數(shù)據(jù)工程)涵蓋了構(gòu)建強(qiáng)大且可擴(kuò)展的數(shù)據(jù)處理管道的數(shù)據(jù)工程問題。雖然數(shù)據(jù)工程師可能不直接執(zhí)行數(shù)據(jù)分析，但他們必須具備技術(shù)知識和技能，以便為數(shù)據(jù)分析師提供適當(dāng)?shù)臄?shù)據(jù)分析架構(gòu)，并為他們提供可靠且格式良好的可供分析的數(shù)據(jù)。

課程輔導(dǎo)涵蓋的主題包括從各種來源(包括數(shù)據(jù)庫、文本文件和 Web 服務(wù))獲取數(shù)據(jù)，到數(shù)據(jù)清理和數(shù)據(jù)轉(zhuǎn)換方法，以及允許管道高效自動(dòng)運(yùn)行的系統(tǒng)架構(gòu)。特別考慮使用多種大數(shù)據(jù)處理技術(shù)(包括數(shù)據(jù)流處理和分布式數(shù)據(jù)處理平臺(如 Apache Spark))構(gòu)建可擴(kuò)展的數(shù)據(jù)分析解決方案。

一、輔導(dǎo)成果

完成本單元后，您應(yīng)該能夠：

LO1 . 使用適當(dāng)?shù)?Python 庫來自動(dòng)化各種數(shù)據(jù)的數(shù)據(jù)工程活動(dòng)。

LO2 . 使用 Unix 命令行管理和自動(dòng)化數(shù)據(jù)工程活動(dòng)。

LO3 . 從各種數(shù)據(jù)模型中獲取、組合和匯總數(shù)據(jù)。

LO4 . 具有處理各種數(shù)據(jù)集的經(jīng)驗(yàn)，包括關(guān)系型、半結(jié)構(gòu)化、時(shí)間序列、地理位置、圖像、文本。

LO5 .了解數(shù)據(jù)工程的主要挑戰(zhàn)：數(shù)據(jù)量、多樣性、速度、準(zhǔn)確性、穩(wěn)健性、安全性。

LO6 . 在處理數(shù)據(jù)時(shí)表現(xiàn)出對道德和隱私問題的認(rèn)識。

LO7 .評估存儲和處理數(shù)據(jù)的方法的正確性、效率和易用性。

二、輔導(dǎo)重點(diǎn)

1.數(shù)據(jù)庫設(shè)計(jì)與管理

數(shù)據(jù)庫設(shè)計(jì)與管理是數(shù)據(jù)工程的核心內(nèi)容之一。學(xué)生需要掌握關(guān)系型數(shù)據(jù)庫(如MySQL、PostgreSQL)的設(shè)計(jì)原理和操作方法，包括數(shù)據(jù)建模、規(guī)范化、SQL查詢等。此外，還會介紹非關(guān)系型數(shù)據(jù)庫(如MongoDB、Cassandra)，以應(yīng)對不同類型的數(shù)據(jù)存儲需求。課程中會通過實(shí)際項(xiàng)目練習(xí)，幫助學(xué)生理解如何優(yōu)化數(shù)據(jù)庫性能和確保數(shù)據(jù)完整性。

2.數(shù)據(jù)處理與ETL流程

數(shù)據(jù)處理與ETL(提取、轉(zhuǎn)換、加載)流程是數(shù)據(jù)工程的重要組成部分。學(xué)生需要學(xué)習(xí)如何從多個(gè)數(shù)據(jù)源提取數(shù)據(jù)、進(jìn)行清洗和轉(zhuǎn)換，最終加載到數(shù)據(jù)倉庫或數(shù)據(jù)湖中。課程會涵蓋使用工具如Apache NiFi、Talend和自定義Python腳本來實(shí)現(xiàn)ETL過程，同時(shí)強(qiáng)調(diào)數(shù)據(jù)質(zhì)量和一致性的重要性。通過實(shí)踐項(xiàng)目，學(xué)生將能夠設(shè)計(jì)和實(shí)施高效的ETL管道。

3.大數(shù)據(jù)技術(shù)與架構(gòu)

隨著數(shù)據(jù)量的增加，大數(shù)據(jù)技術(shù)成為數(shù)據(jù)工程師必須掌握的技能。課程將介紹大數(shù)據(jù)生態(tài)系統(tǒng)中的關(guān)鍵技術(shù)和工具，如Hadoop、Spark、Kafka等。學(xué)生需要了解這些工具的工作原理及其在大數(shù)據(jù)處理中的應(yīng)用場景。通過實(shí)驗(yàn)和項(xiàng)目，學(xué)生將學(xué)習(xí)如何搭建和管理大數(shù)據(jù)集群，并優(yōu)化其性能以處理海量數(shù)據(jù)。

4.云計(jì)算與數(shù)據(jù)工程

云計(jì)算已經(jīng)成為數(shù)據(jù)工程的重要支撐技術(shù)。課程將講解主流云服務(wù)提供商(如AWS、Azure、Google Cloud)的數(shù)據(jù)工程解決方案，包括云存儲、云數(shù)據(jù)庫、數(shù)據(jù)流水線和分析工具。學(xué)生需要學(xué)習(xí)如何在云環(huán)境中部署和管理數(shù)據(jù)工程項(xiàng)目，確保其可擴(kuò)展性、安全性和成本效益。通過實(shí)戰(zhàn)操作，學(xué)生將能熟練運(yùn)用云計(jì)算資源來處理和分析數(shù)據(jù)。

5.數(shù)據(jù)可視化與報(bào)告

數(shù)據(jù)可視化和報(bào)告是數(shù)據(jù)工程的最后一環(huán)，幫助決策者理解和利用數(shù)據(jù)。課程將介紹常用的數(shù)據(jù)可視化工具和技術(shù)，如Tableau、Power BI、D3.js等。學(xué)生需要掌握如何設(shè)計(jì)清晰且具有洞察力的圖表和報(bào)告，并能夠根據(jù)不同的受眾需求調(diào)整展示方式。通過實(shí)際案例和項(xiàng)目練習(xí)，學(xué)生將提升數(shù)據(jù)可視化和報(bào)告制作的能力。

海馬課堂專業(yè)課程輔導(dǎo)

1.擁有4000+嚴(yán)選碩博學(xué)霸師資。針對學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師。

2.根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排。

3.中英雙語詳細(xì)講解課程中的考點(diǎn)、難點(diǎn)問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識，補(bǔ)足短板。