少妇被粗黑进进出出在线观看_日日摸夜夜爽无码_免费久久_日韩免费视频_热播短剧玫瑰冠冕免费观看_japanese精品少妇

數據倉庫體系應該怎么規劃?
  • 更新時間:2025-05-09 21:06:04
  • 數倉開發
  • 發布時間:11個月前
  • 603

數倉規劃是數倉建設的藍圖,涵蓋從需求分析開始到最終的數倉評估驗收整個環境;數倉規劃之所以重要,是因為它是描述了數據流動的概念性框架,為元數據管理奠定了基礎,對數據加工過程的理解、數倉建設的交流分享、數據的使用和問題排查、數倉健康度的評估都提供了極大的幫助。

需要強調的是本文是從宏觀上描述數倉的框架,具體到數據模型的細節對比、存儲選型和管理、接入數據源管理等數倉建設的周邊在本節不涉及。通過本文的閱讀,你將了解到以下知識:

從業務矩陣的設計(宏觀、微觀)、橫向的分層、縱向的分線到主題劃分等角度解構數倉

數倉建設的實施流程

1數據倉庫規劃

矩陣

分宏觀和微觀來看,宏觀的是公司的整體業務布局,微觀的是產品的業務過程布局和業務過程的維度分解交叉信息。

宏觀矩陣

宏觀矩陣描述的是公司的業務線和對應的數據狀況,其行和列一般分別對應著業務主題和數據主題。

業務主題對應著公司的業務線布局,比如電商、游戲、視頻、應用商店、新聞資訊、瀏覽器等

數據主題根據抽象的程度和視角有不同的取法:

一般取業務線中用戶對內容的消費或者相關行為,比如曝光、點擊、消費、播放、分享等,對這些行為的劃分又可分為原生行為主題(通用和業務相關)、衍生行為主題(留存、活躍、流失等),這種劃分方法更多的取自數據的底層和公共層,因為高層的數據都是多行為的匯總。

對數據主題的另外劃分方式參加分主題部分,這種劃分方法更多的取自數據的高層

數據倉庫體系的規劃建設,數據倉庫分層設計,數倉規劃與數倉建設,業務矩陣

引自《數據倉庫實踐之業務數據矩陣的設計-木東居士》

微觀矩陣

微觀矩陣描述的是主題和對應的維度關系,下面以常見的內容消費和用戶主題兩個維度來看微觀矩陣的規劃

數據倉庫體系的規劃建設,數據倉庫分層設計,數倉規劃與數倉建設,業務矩陣

-w698

業務過程描述的一般是對內容的消費抽象,可以是原子的,也可以是抽象的,比如卡片曝光維度的劃分可以從以下兩個大方向入手:

通用標識維度(版本、機型、渠道、網絡、時間等)

業務過程維度:消費者等級、消費位置、消費路徑、其它等

分層

ODS->DW->DM->DA(ADS)層是如何劃分的?

清晰數據結構:每一個數據分層都有它的作用域和職責,在使用表的時候能更方便地定位和理解

減少重復開發:規范數據分層,開發一些通用的中間層數據,能夠減少極大的重復計算

統一數據口徑:通過數據分層,提供統一的數據出口,統一對外輸出的數據口徑

復雜問題簡單化:將一個復雜的任務分解成多個步驟來完成,每一層解決特定的問題

層劃分

一個完整數倉分層演示圖如下:

數據倉庫體系的規劃建設,數據倉庫分層設計,數倉規劃與數倉建設,業務矩陣

一個典型的數倉分層樣例:

數據倉庫體系的規劃建設,數據倉庫分層設計,數倉規劃與數倉建設,業務矩陣

-w730

分層依據

分層的依據在ods、da、dim層一般無歧義,關鍵在dw層的分層依據,也是數據倉庫分層建設的核心。

數據倉庫體系的規劃建設,數據倉庫分層設計,數倉規劃與數倉建設,業務矩陣

每層劃分的依據如下:

ods層:存放原始數據信息,原則上不進行任何的數據清晰,和數據源保持一致。

dw層:數據公共層,是數倉建設的重點,一般是日志子表和一些寬表,主要完成數據的清洗、轉換等

dm層:數據集市層,是最直接體系數據資產的層,一般是匯總數據,現在已經逐步弱化,面向挖掘、數據分析等

da層:數據應用層,高度匯總數據,主要用于報表展示。

分線

分線也分宏觀和微觀,宏觀的是整體的業務線,比如應用分發線、商業智能線、游戲運營線、廣告流量線等;微觀的是某個app或者某個具體的線,本節介紹的是app的數據線。分線和分主題有很多相似的地方,只是看待數據的角度不同,分主題是從數據內容分類和對外服務的角度看,類似商品分類;而分線是從數據生產加工過程的角度來看,類似業務生產流水線。

用戶主線

反映整個app的用戶規模,比如整個app的活躍、累積活躍、新增、留存、回流、流失。

用戶群線

滿足某些行為的用戶群的追蹤,目的是為了進行個性化的運營等活動,該線的升華擴展是用戶畫像。

內容消費

提供的消費實體的曝光、點擊、生成、轉化等,以及內容的累積消費、消費排行等都屬于內容線。

狀態線

一般會作為輔線存在,相當于維表的存在,狀態線一般又分為以下幾種:

1.天表全量用戶狀態,會加入一些修正,以及基于天全量的累積表的快照全量用戶信息維表;

2.開關操作狀態線。記錄開關狀態變更記錄,得到當前用戶的開關狀態快照,是多態記錄的一種特殊情況;

3.添加刪除狀態線。記錄用戶的添加刪除等操作,得到當前用戶操作結果的保有快照;

4.其它,比如登錄狀態、用戶等級等。

商業化線

商業化線相關的與收入相關的,比如cp合作、廣告位、推廣位、訂單、會員充值等;

需要說明的是本系列的數倉的主要介紹的是流量型產品形態、更多的是關注用戶規模,所以主線是是關于用戶的,而對于其它的產品形態,比如購物類、充值消費類的則主線可能是商業化線等。此外作為用戶流量型產品,還隱藏著另外一個更加常用的線:自查線,每個主題的自查明細表,基于event_id或者參數的展開,但是沒有參數值的組合過濾。(自查線這個似乎沒有必要)

下圖是一張數倉的分線演示圖,每個框是一張表,不同顏色的框串聯成各自的數倉線。

數據倉庫體系的規劃建設,數據倉庫分層設計,數倉規劃與數倉建設,業務矩陣

分主題

在進行分矩陣設計的時候牽涉到分行和列的業務主題,此處詳細介紹下數據主題的設計,本部分的設計是從高層次上的。

主題劃分的一些依據:業務過程(或子過程,比如訂單)、ER中的E(或者R,比如商品主題)、數據服務的對象(運營主題)、數據的用途(比如商業);分主題也即數據集市,根據業務形態的不同,會衍生出不同的主題,但以下主題在app中廣泛存在:

用戶主題(也即大盤:新增活躍、留存)

內容主題(具體提供的服務形式,也可以理解為產品主題,含曝光、點擊、分享等用戶消費傳播行為)

運營主題(可能合并到某個內容主題上,比如活動、通知、彈窗、授權、分享等)

商業化主題(廣告、訂單等通常用于結算)

技術主題(故障率、崩潰率、準確率等衡量技術指標)

備注:

社交主題可以合并到內容主題也可以合并到運營主題,需要視app的具體特性和重視程度確定

數倉的分主題主要體現在數據集市層,而數據集市層可能會因為使用比如kylin等多維分析工具被弱化。

用戶主題

用戶主題是產品的盤子,就像家店鋪,多少人使用就像多少顧客。基于用戶主題的常見統計有整體的新增、活躍、累積活躍、新增留存、活躍留存等大盤數據,以及對某些關鍵行為的用戶的后續追蹤,還有某些核心過程的PUV、轉化漏斗等。

內容主題

內容主題是盤子里東西的消費狀況,就像提供的菜單,每個菜被多少人點了。基于內容主題的常見統計有針對內容(文章、視頻、商品等)的各種消費行為(曝光、點擊、購買、下載等)的次數、人數、時長、金額等按不同維度的度量統計。常見的維度拆分有時間拆分、地域拆分、位置(人貨場模型中的場)拆分、畫像拆分、渠道拆分等,對度量的統計又有累積、非累積、TopN等。

運營主題

廣告、促銷、活動等一切由于運營活動相關本身的數據統計,以及運營活動對其它主題數據的影響衡量。

營收主題

營收的來源主要分為以下幾種:

流量廣告

商務合作

優惠券

充值消費

會員充值

訂單、打賞等

流量廣告的數據主要產生于用戶行為,而充值消費的數據主要來自業務庫相關。

以上四個主題是在常見應用上通用的主題,其它的主題比如技術主題,在某些有明顯的技術指標對比的產品上會占主要的地位,比如文字識別類應用的識別準確率、搜索類產品的搜索滿意度、語音智能助理類的會話完成率等。這些產品上技術指標和用戶的體驗密切相關,是產品未來發展重要的參考方向,因此會強化出來做數據主題。另外如引流類或者與其他app有頻繁的引流拉起等應用的數據體系建設上,也會單獨拿出跳轉對接數據做主題分析。總之,主題的劃分并不是確定不變的,需要根據業務的具體形態和重點度量的指標等進行建設。

以上的矩陣、分層、分線、分主題的規劃只是從不同的角度來看數據框架,本質都是對數據流圖的一種拆解,差異在拆解的數據視角。

數據倉庫體系的規劃建設,數據倉庫分層設計,數倉規劃與數倉建設,業務矩陣

2數據倉庫實施

需求分析

了解業務過程,每個業務過程的參與實體和各實體可能的分析維度等信息; 了解數據源組成,有哪些數據源、數據的更新周期;預構建指標體系,了解指標的分類,分析維度、時效性要求;了解可能的擴展需求,比如畫像寬表。需求分析階段是建立數倉的概念模型,明白數倉要支持的大致需求,雖然數倉建設并不要完全滿足業務需求,在建設的過程中肯定要有取舍,但第一步進行需求分析能保證在數倉建設過程中不致于偏離目標太多,避免建設爛尾或者好看不好用的繡花枕頭

指標體系

此部分會另外開專題介紹,指標體系一般分為三類:

用戶增長體系

流量體系

營收體系

每個體系內分析數據的維度、更新周期等。指標體系的建立是需求分析環節需要重點完成的一步。

模型選擇

模型選擇環節要根據需求分析階段的結論,在ER模型、維度建模等基本的建模思想中選擇一種建模思想,比如說選擇了維度建模,要進一步根據需求分析中相關的業務過程和維度視角,在星型模型、雪花模型、星座模型中選擇一種模式。這個過程要充分的結合業務的實際狀況、開發人力和成本、各模型的優缺點等因素進行綜合分析,是關系到建模是否成功的關鍵環節。需要說明的是,在快速迭代的互聯網行業,業務規則可能經常變化,而對于不同粒度水平進行度量和監控,進而快速響應的需求卻基本保持不變,比如層級的時間粒度(年、月、周、日、小時)、層級的地理粒度(大區、省、市、區縣、商圈)以及基于產品自身屬性的層級粒度(大類、子類)。基于這種特性,互聯網行業中廣泛采用維度建模的思想,同時為了使用的方便,又以星型模型和雪花模型較多。

標準規劃

標準規劃是對數倉建設過程各階段中涉及的對象、屬性、關系、鍵、交付物等進行規范定義,同時制定標準落地方式或者檢查的方式。比如表命名規范、字段命名規范、任務命名規范、調度依賴規范、代碼開發規范等。需求強調的是,這一步看似無關緊要,也往往直接被忽略跳過,但好的標準規劃能為建設高質量數倉的保駕護航,對數倉質量、健康度的保持都大有裨益。

開發部署

包含表設計、代碼開發、調度開發和告警開發等

事實表和維表設計

維表設計

代碼開發

流程、審核機制、回退機制

調度開發

依賴任務的配置

回跑機制

任務權限管理

告警開發:

數據量異常,某些細分維度、字段值、計算指標異常的告警措施

任務失敗、等待超時、執行超時、上下線、上游重跑等告警措施

開發部署階段完成了數倉建設的邏輯模型和物理模型設計階段,是數倉建設的主要工作內容。

評估驗收

對應的問題包含在相關問題介紹部分,需要進一步思考數倉開發的交付物是什么。

數據字典

指標口徑的定義

核心表和其用途

數據流圖和重要指標的出口

業務變動對數倉的影響,比如某些手工維護的維表需要根據業務變動進行相應的更新

3總結

本篇從業務矩陣、分層、分線和分主題等方面對數倉的規劃做了簡要的描述。這些方面的差異只在于剖析數倉的角度,其目的是一致的,即為了清晰地梳理數據體系、洞察數據狀態、以及更好地規劃未來數據地圖,從而更好的服務于各個業務需求方(BI報表、數據分析、用戶畫像等);本節最后簡要的介紹了數倉開發的基本流程。


我們專注高端建站,小程序開發、軟件系統定制開發、BUG修復、物聯網開發、各類API接口對接開發等。十余年開發經驗,每一個項目承諾做到滿意為止,多一次對比,一定讓您多一份收獲!

本文章出于推來客官網,轉載請表明原文地址:https://www.tlkjt.com/sc/18440.html

在線客服

掃碼聯系客服

3985758

回到頂部

主站蜘蛛池模板: 贪婪欲望之岛在线观看_1769免费视频在线观看_免费aa毛片_久久精品在线观看视频_亚洲性爱之日本精品视频_亚洲欧美日韩综合aⅴ | 色yeye在线视频观看_综合亚洲另类欧美久久成人精品_怡红院日本一道日本久久_欧美性色欧美a在线播放_三上悠亚福利一区二区_国产1区二区三区 | 日本做爰大片免费观看一_www拍拍拍_四虎精品8848ys一区二区_中文乱码免费一区二区三区_日本久久黄_青青操av在线 | 久久免费播放_九九热在线精品视频_国产综合福利_日本二区_黄色成年_91女上位在线播放 | 亚洲精华液一二三产区_500福利第一导航_中文字幕11页_日韩国产丝袜人妻一二区_国产日韩精品久久_特级黄色一级播放 | 日本五级片_久久久精品视频成人_国产又色又爽又黄刺激视频_国产女极品在线观看AV_欧美亚洲国产激情_97色免费视频 | 蜜桃成人无码区免费视频网站_日韩成人福利视频_国产成人免费网站在线观看_骚虎av_国产每日精品亚洲精品_香蕉视频4aa | 91tv在线_伊人毛片_蜜臀98精品国产免费观看_国产精品午夜福利_天天干人人射_国内国内在线自偷第68页 | 大地资源网高清在线观看动漫_国产小嫩模无套中出视频_男女做爰高清无遮挡免费视频_波多野结衣在线精品视频_丁香激情视频_国产亚洲精品久久久久久无码网站 | 国产亚洲中文字幕_欧美xxxx精品另类_欧美视频一区二区_中文字幕123区_办公室被吃奶好爽在线观看视频_免费无码AV片在线观看中文 | 91婷婷综合_四虎最新网址在线观看_午夜影院激情_日韩黄色影视_特级做A爰片毛片免费69_日本成人精品在线 | 国产在线精品一区二区不卡_国语对白清晰精彩_久久久99国产精品免费_日韩美毛片_亚洲av永久综合在线观看红杏_国产乱码日产乱码精品精 | 国产午夜三级一区二区三_免费欧美精品_欧美做a视频_中文字幕人妻被公上司喝醉在线_人人超操_这里只有精品视频 | 一区二区不卡在线_大地资源网中文第一页_操操操国产_国产三级在线_黄色变态网站_国产对白叫床东北女人 | 欧美日韩国产一区二区三区_9l久久午夜精品一区二区_20岁一级毛片_色999国产_久久精品一卡二卡_久久久国产亚洲精品AV快乐8 | 亚洲91网站_加勒比中文无码久久综合色_啪啪综合视频_98k网站毛片成年女人网站_久久精品中文騷妇女内射_亚洲欧美人高清精品a∨ | 国产精品毛片一区二区三区四区_中文字幕av免费专区久久_成人h视频_国产精品久久久一区二区_国产一区二区影院_舌头伸进去搅动好爽视频 | 亚洲无码黄视频在线观看_4d肉蒲团之性战奶水_天天干天天搞天天射_欧美桃色_久艹视频免费看_依人在线 | 美女大BXXXXN内射_丰满少妇a级毛片_后进式无遮挡啪啪摇乳动态图_国产精品最新免费视频_打开腿让我添你下面小污文_亚洲区小说区综合图片 | 99精成人_国产欧美在线一区二区三区_国产AV综合第一页_丁香五月开心婷婷激情综合_潜行者1—42集免费观看视频播放_91一区二区国产好的精华液 | 伊人小视频_少妇精品一区二区三区在线观看_91在线视频精品_精品国产乱码aaa一区二区_伊人avav_日本天堂一区 | free性ⅴideo另类重口_黄色毛片免费视频_麻豆精品二区_果冻tv在线免费观看_日韩精品人妻无码久久影院_丰满人妻妇伦又伦精品国产 | 紧身裙女教师波多野结衣在线观看_久久亚洲私人国产精品_天天都色视频_日韩精品视_九九av在线_国产大片一区二区 | 日韩精品视频在线_亚洲精品久久久久午夜_日本黄视频在线观看_91免费视频在线_九一视频在线播放_一级片网 | 欧洲色情三级欧美三级视频_国产成人无码av在线播放不卡_大地资源中文在线观看免费_午夜天堂AV天堂久久久_私人家庭影院在线_www.日韩在线 | 91免费污视频_草草影院地址_国产极品美女高潮无套在线观看_特级淫片国产免费高清视频_重口味av_日本高清不卡视频 | 午夜色大片在线观看免费_日韩毛片免费_一二三区精品视频_狠狠色噜噜狠狠狠狠色综合网_久久午夜夜伦鲁鲁片免费无码影视_国产精品女主播在线观看 | 糖心VLOG精品一区二区三区_精品999在线_制服丝袜日日夜夜_精品国产一级毛片_欧美在线A片一区二区三区_欧美特黄一级片 | 这里只有久久精品_超碰最新网址_日韩成人在线观看_国产AV人人夜夜澡人人爽_国农村精品国产自线拍_五月婷六月丁香狠狠躁狠狠爱 | 人妻中文字幕乱人伦在线_欧美黄色a级片_国产亚洲日韩在线一区二区三区_久久e久久_麻豆成人精品视频_av片毛片 | 噜妇插内射精品_亚洲人成无码网站18禁10_91麻豆精品91aⅴ久久久久久_野花社区www在线观看_久久九九热视频_成人无遮挡裸免费视频在线观看 | 亚洲精品久久久久玩吗_国产精品久久久久久9999_亚洲av无码专区在线观看亚_亚洲成人资源_美女裸体无遮挡永久免费观看网站_日本一本免费一二区 | 高潮videossex潮喷_91欧美在线视频_免费日韩中文字幕_亚洲码一区二区三区_八个少妇沟厕小便漂亮各种大屁股_激情久久精品 | 久久久久亚洲AV成人片乱码_成人无码区免费a片视频_中国熟女仑乱hd_亚洲a一级视频_古装A级野外爱做片视频_办公室娇喘的短裙老师 | v片免费看_玩弄人妻少妇精品视频_毛片免费全部无码播放_久久久久免费精品_77777亚洲午夜久久多人_日欧一级片 | 国产ā片在线观看免费观看_欧美韩日视频_水蜜桃无码视频在线观看_日日噜噜噜夜夜爽爽狠狠视频_亚洲精品卡2卡3卡4卡乱码_不卡av免费看 | 中文字字幕在线中_精品三区视频_国产免费观看精品_中文字幕123_欧美z0z0人禽交_欧美麻豆久久久久久中文 | 91精品国产自产老师啪_国产成人毛片无码视频软件_一级生活黄色片_亚洲精品一区无码A片_成人做爰视频www_成人观看网站 | 69久久夜色精品国产69xj_亚洲欧美乱日韩乱国产_亚洲国产精品无码_日韩三级免费观看_久久久久亚洲视频_四虎最新网站 | 色悠久久久_被仇人调教成禁脔h_在线激情网站_亚洲AV永久无码一区二区三区_美国十次久久_人人人艹 | 手机免费av片在线观看_日韩手机看片_欧美在线一区二区视频_免费人成在线观看欧美精品_亚洲精品黄色_李宗瑞国产福利视频一区 |