數(shù)據(jù)建模是數(shù)據(jù)專業(yè)人員中的一個熱門話題，但這個術(shù)語往往被過度使用或過于含糊。數(shù)據(jù)建模不僅僅是為每個儀表盤建立一個單一的視圖，它是建立一個業(yè)務(wù)流程的模型。你可能會使用各種數(shù)據(jù)建模語言，包括SQL、dbt、LookML和ThoughtSpot建模語言(TML)。 在這篇文章中，我們對主要的建模語言進行歸納。

一、數(shù)據(jù)建模語言概述

首先，讓我們看看建模語言和與之相關(guān)的任務(wù)，從那些針對程序員的語言到那些旨在進行自我服務(wù)分析的語言。

1.SQL

顯然，了解SQL分析功能為用戶提供了詳細(xì)的數(shù)據(jù)操作能力，但它也需要最高水平的技術(shù)技能和培訓(xùn)，SQL通常需要外部工具和管道來進行控制流和數(shù)據(jù)整合。

2.LookML

谷歌云的LookML建模語言是作為代碼編寫的。因此，它是為技術(shù)用戶和對SQL和數(shù)據(jù)庫設(shè)計原則有良好理解的開發(fā)人員設(shè)計的;使用LookML，開發(fā)人員創(chuàng)建Looker所謂的 "探索者"。一個 "探索者 "是一個來自現(xiàn)有視圖或連接的數(shù)據(jù)視圖，類似于一個dbt模型或ThoughtSpot電子表格。

3.dbt

dbt的數(shù)據(jù)建模側(cè)重于轉(zhuǎn)換優(yōu)先的方法，提供了一種叫做Jinja的模式語言、簡單的SQL命令來創(chuàng)建管道和模型、數(shù)據(jù)測試和DAG。dbt還開發(fā)了一個開放的語義層，允許用戶創(chuàng)建自己的數(shù)據(jù)模型并建立自己的模型，積極整合到各種現(xiàn)代數(shù)據(jù)棧工具中，包括分析、目錄和可觀察性工具。

4.TML

ThoughtSpot建模語言是所有ThoughtSpot資產(chǎn)的基于YAML的表示，包括工作表、視圖、SQL視圖、表、答案和實時表 TML是一個數(shù)據(jù)可視化的角度，采用低代碼的建模方法。TML旨在使沒有技術(shù)背景的用戶能夠使用數(shù)據(jù)建模和數(shù)據(jù)可視化，它是在人工智能支持的低代碼網(wǎng)絡(luò)界面中創(chuàng)建和處理的，減少了用戶的技術(shù)負(fù)擔(dān)，實現(xiàn)了自助分析。

二、三個數(shù)據(jù)用例以及相應(yīng)的建模語言

1.用于自助分析的數(shù)據(jù)模型

在創(chuàng)建用于自助分析和研究的數(shù)據(jù)模型時使用TML。為了真正發(fā)揮自助分析的優(yōu)勢，必須對數(shù)據(jù)進行適當(dāng)?shù)慕?，以便業(yè)務(wù)用戶可以隨時提出特別的問題并進行搜索，而不會增加認(rèn)知負(fù)荷或挑戰(zhàn)數(shù)據(jù)的好奇心。

在數(shù)據(jù)建模中，就像大多數(shù)軟件開發(fā)一樣，會出現(xiàn)一些常見的問題，也有一些可重復(fù)使用的解決方案。我們已經(jīng)確定了復(fù)雜分析中最常見的模式，并將其概括為易于搜索的結(jié)構(gòu)。其中一些常見的模式，否則就需要實施一個數(shù)據(jù)小組，這些模式如下

a.具有FK/PK關(guān)系的星形模式

b.動態(tài)群組定義

c.多種事實的聚集(懸崖陷阱和扇形陷阱)

d.混合事實

TML通過使多種角色利用數(shù)據(jù)，包括非技術(shù)用戶，來增強自助分析的能力。這些人可以使用一個直觀的、低代碼的IDE來創(chuàng)建和修改分析體驗層，包括答案、Spot IQ結(jié)果和Liveboard。此外，TML的數(shù)據(jù)建模能力，當(dāng)與電子表格相結(jié)合時，可以將復(fù)雜的問題抽象化，這意味著需要發(fā)送到數(shù)據(jù)工程團隊進行開發(fā)的模型更少。

2.嵌入式分析中可重復(fù)使用和可編寫腳本的模型

每個數(shù)據(jù)團隊都希望降低成本，提高運營效率。希望以事實和數(shù)據(jù)為導(dǎo)向的具有前瞻性的數(shù)據(jù)團隊正在接受DataOps和CI/CD。

利用TML將分析納入產(chǎn)品，是增加吸收、推動采用和為客戶提供更大價值的最佳方式之一。但這也意味著必須將分析作為軟件對待，并使用DataOps、CI/CD和腳本以自動化的方式部署。

3.語義層和數(shù)據(jù)轉(zhuǎn)換

語義層是一種抽象和簡化數(shù)據(jù)、層次結(jié)構(gòu)、度量、公式和轉(zhuǎn)換的模型，其主要目標(biāo)是將業(yè)務(wù)用戶從底層數(shù)據(jù)的技術(shù)復(fù)雜性中解放出來，同時繼續(xù)對業(yè)務(wù)流程進行建模。一個構(gòu)造良好的語義層使用商業(yè)術(shù)語、層次結(jié)構(gòu)和邏輯來幫助商業(yè)用戶理解并與底層數(shù)據(jù)互動。

海馬課堂專業(yè)課程輔導(dǎo)，2300+嚴(yán)選碩博學(xué)霸師資，針對學(xué)生的薄弱科目和學(xué)校教學(xué)進度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進行1V1專屬備課，上課時間靈活安排，中英雙語詳細(xì)講解課程中的考點、難點問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識，補足短板。