建站
咨詢
售后
建站咨詢
新聞中心
寬表數(shù)據(jù)庫(kù)是一種用于存儲(chǔ)大量數(shù)據(jù)的數(shù)據(jù)庫(kù)，其特點(diǎn)是能夠存儲(chǔ)非常大的數(shù)據(jù)表并支持復(fù)雜查詢。它由列式存儲(chǔ)和分布式結(jié)構(gòu)組成，能夠存儲(chǔ)數(shù)以百萬(wàn)計(jì)的行數(shù)和數(shù)以千計(jì)的列數(shù)。
創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)與策劃設(shè)計(jì),汾西網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:汾西等地區(qū)。汾西做網(wǎng)站價(jià)格咨詢:13518219792
優(yōu)勢(shì)：
1. 支持大規(guī)模存儲(chǔ)：寬表數(shù)據(jù)庫(kù)是針對(duì)大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的，它的存儲(chǔ)能力高達(dá)千萬(wàn)甚至億級(jí)別的記錄。
2. 處理速度快：寬表數(shù)據(jù)庫(kù)使用列存儲(chǔ)技術(shù)，可以支持高效的數(shù)據(jù)壓縮和歸檔，加快數(shù)據(jù)的讀取和查詢速度。
3. 可擴(kuò)展性強(qiáng)：寬表數(shù)據(jù)庫(kù)具有良好的擴(kuò)展性，可以實(shí)現(xiàn)集群式的存儲(chǔ)和負(fù)載均衡技術(shù)，適應(yīng)高并發(fā)的數(shù)據(jù)處理環(huán)境。
4. 支持復(fù)雜查詢：寬表數(shù)據(jù)庫(kù)可以支持多種復(fù)雜的查詢方式，包括多層嵌套查詢、關(guān)聯(lián)查詢、分組查詢等。
5. 高可靠性和穩(wěn)定性：寬表數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)數(shù)據(jù)備份和恢復(fù)功能，同時(shí)支持高可用和容錯(cuò)性能，確保數(shù)據(jù)的安全和穩(wěn)定性。
劣勢(shì)：
1. 技術(shù)門檻高：寬表數(shù)據(jù)庫(kù)的設(shè)計(jì)和使用需要較高的技術(shù)門檻，需要專業(yè)的技術(shù)人才進(jìn)行維護(hù)和操作。
2. 成本高昂：寬表數(shù)據(jù)庫(kù)需要大量硬件和軟件資源來(lái)支持其存儲(chǔ)和計(jì)算需求，成本較高。
3. 使用復(fù)雜：寬表數(shù)據(jù)庫(kù)需要對(duì)數(shù)據(jù)及其存儲(chǔ)方式有深刻的理解，操作復(fù)雜，需要較高的使用門檻。
4. 不適合小規(guī)模數(shù)據(jù)存儲(chǔ)：相對(duì)于小型數(shù)據(jù)存儲(chǔ)來(lái)說(shuō)，使用寬表數(shù)據(jù)庫(kù)的成本相對(duì)較高，而且如此龐大的數(shù)據(jù)集可能不適合處理小規(guī)模的數(shù)據(jù)。
5. 不適合實(shí)時(shí)處理：寬表數(shù)據(jù)庫(kù)的處理特點(diǎn)和處理方式適合于大量數(shù)據(jù)和復(fù)雜查詢，而不適合要求數(shù)據(jù)實(shí)時(shí)處理的場(chǎng)景。
寬表數(shù)據(jù)庫(kù)作為一種大規(guī)模數(shù)據(jù)存儲(chǔ)和處理方式，具有一定的優(yōu)勢(shì)和局限性。在實(shí)際使用中需要根據(jù)自身的需求進(jìn)行權(quán)衡和選擇。對(duì)于批量的數(shù)據(jù)加載、復(fù)雜的查詢和高容錯(cuò)、高可用性的場(chǎng)景，寬表數(shù)據(jù)庫(kù)是一個(gè)值得存在的選擇。
相關(guān)問(wèn)題拓展閱讀：
- BI 不是可以拖拉拽取數(shù)嗎？為什么還要 SQL 取數(shù) ? | 專家視角
BI 不是可以拖拉拽取數(shù)嗎？為什么還要 SQL 取數(shù) ? | 專家視角
36氪企服點(diǎn)評(píng)專家團(tuán)——呂品
————正文————
BI 工具不是可以直接拖拉拽取數(shù)嗎 ？為什么還要寫 SQL 取數(shù) ? 這是很多初次接觸商業(yè)智能 BI 的朋友會(huì)提到的一個(gè)問(wèn)題，因?yàn)樵谒麄兘佑|到一些 BI 市場(chǎng)或者產(chǎn)品宣傳的時(shí)候，很多人就是這么來(lái)介紹BI 的。
簡(jiǎn)單來(lái)說(shuō)，這個(gè)問(wèn)題背后的邏輯等同于：
拿著碗和筷子不是可以直接吃飯嗎 ？為什么還要自己動(dòng)手做飯 ？有沒(méi)有想過(guò)，即使是直接吃飯，飯總是要有人來(lái)做的吧，無(wú)論這個(gè)人是自己還是別人，“做飯”這個(gè)過(guò)程并不會(huì)少帆宏。
所以，從這個(gè)問(wèn)題背后能看出來(lái)還是有很多人對(duì)于 BI 的理解還是存在一定的誤區(qū)，我們可以從以下這幾個(gè)角度來(lái)分析講解一下。
可視化 BI
很多人對(duì)于 BI 的印象就停留在數(shù)據(jù)的可視化圖表，但可視化圖表只是 BI 的最終呈現(xiàn)，可視化的拖拉拽并不是 BI 的全部。
一個(gè)完整的商業(yè)智能 BI 解決的應(yīng)該是端到端（ End to End ) 的問(wèn)題，需要從各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源取數(shù)，通過(guò) ETL （ Extract 抽取、Transformation 轉(zhuǎn)換、Loading 加載 ）的過(guò)程
將要分析的數(shù)據(jù)從規(guī)范的不可分析的、或不規(guī)范不可分析的數(shù)據(jù)最終變?yōu)橐?guī)范的、可分析的形式
，最終通過(guò) BI 可視化拖拉拽的方式將數(shù)據(jù)進(jìn)行有效的、帶有邏輯性的組織形成可視化分析報(bào)表。
派可數(shù)據(jù)大屏可視化分析
而大部分的 BI 工具如果重在強(qiáng)調(diào)前端可視化的能力，這類 BI 工具的定位就是解決數(shù)據(jù)可視化分析展現(xiàn)的問(wèn)題，屬于 BI 前端可視化報(bào)表工具，但并不能代表 BI 的全部。
如何形象的理解 BI
如果把 BI 可視化實(shí)現(xiàn)的過(guò)程比作到餐廳出菜的過(guò)程，那就是：
數(shù)據(jù)源環(huán)節(jié) vs 菜市場(chǎng)
從各個(gè)業(yè)務(wù)系統(tǒng)取數(shù)
—— 按照餐廳營(yíng)業(yè)需求準(zhǔn)備所需菜品的原材料，就需要到各個(gè)市場(chǎng)買菜。不同的業(yè)務(wù)系統(tǒng)對(duì)應(yīng)不同的菜市場(chǎng)，不同的菜市場(chǎng)有不同的攤位對(duì)應(yīng)的就是業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中不同的數(shù)據(jù)表。攤位上的菜就可以理解為數(shù)據(jù)表中的數(shù)據(jù)，要分析什么就取什么樣的基礎(chǔ)數(shù)據(jù)。
數(shù)據(jù)倉(cāng)庫(kù) vs 后廚倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù)環(huán)節(jié)
—— 從各個(gè)市場(chǎng)買回來(lái)的菜堆在哪里呢？后廚倉(cāng)庫(kù)。有的菜是今天要用的，有的菜是明天要用的，所以先買回來(lái)堆起來(lái)。從各個(gè)系統(tǒng)抽取上來(lái)的數(shù)據(jù)也是如此，這些數(shù)據(jù)有的來(lái)源于 Oracle 系統(tǒng)，有的來(lái)源于 MySQL 或者 SQL Server，按照分析需求從不同的數(shù)據(jù)庫(kù)抽取之后放到自己的數(shù)據(jù)倉(cāng)庫(kù)中集中管理起來(lái)。
ETL 過(guò)程
—— 廚師做個(gè)豬肉燉粉條不可能把整扇豬肉、一顆一顆的大白菜扔到鍋里，一定是豬肉切片，大白菜去除壞掉的葉子，菜該切切，態(tài)褲冊(cè)肉該剁剁剁。同時(shí)，還會(huì)備好一些輔助的佐料等原材料，最后把所有的原材料放到操作臺(tái)上，這個(gè)就是備菜（ 擇菜、洗菜、切菜 ）的過(guò)程。
數(shù)據(jù)也是如此，把數(shù)據(jù)從各個(gè)業(yè)務(wù)系統(tǒng)先
抽取（ Extract ）
上來(lái)，等同于把放在不同倉(cāng)庫(kù)格子的菜拿過(guò)來(lái)。數(shù)據(jù)要做
轉(zhuǎn)換（ Transformation ）
，比如一些臟數(shù)據(jù)的處理、格式的轉(zhuǎn)換、數(shù)據(jù)計(jì)算口徑的統(tǒng)一、指標(biāo)的計(jì)算等等，就如同洗菜、擇菜、切菜的過(guò)程。最后將處理之后的數(shù)據(jù)按照一定的模型或者格式
加載（ Loading ）
到指定的可被前端調(diào)用的數(shù)據(jù)表中，就如同把所有備好的菜放到一起準(zhǔn)備下鍋。
報(bào)表可視化 Reporting vs 上菜
Reporting 報(bào)表可視化就是最后的呈現(xiàn)，也通常視為 BI 的前端，所以也叫做 BI 前端可視化。用戶需要什么樣的可視化報(bào)表，就如同用戶點(diǎn)菜一樣可以高度定制化，前提是基于已有的原材料（數(shù)據(jù)）。
派可數(shù)據(jù)大屏可視純洞化分析
所以，大家可以看到從業(yè)務(wù)系統(tǒng)數(shù)據(jù)取數(shù)到最后的報(bào)表呈現(xiàn)實(shí)際上經(jīng)歷了很多的階段。
在商業(yè)智能 BI 開(kāi)發(fā)過(guò)程中，80% 的時(shí)間在處理底層數(shù)據(jù)（ 跑菜市場(chǎng)、買菜、運(yùn)菜、擇菜、洗菜、切菜到備好菜 ），20% 的時(shí)間在做可視化分析報(bào)表（ 做菜 ）。
底層數(shù)據(jù)的處理重點(diǎn)就是 ETL 過(guò)程，而實(shí)現(xiàn) ETL 過(guò)程的主要方式就是通過(guò) ETL 工具（ 例如：Kettle、Informatica、Pentaho、IBM DataStage、Microsoft SSIS 等 ）或其它 ETL 框架結(jié)合 SQL 查詢語(yǔ)句、Stored Procedure 存儲(chǔ)過(guò)程等方式來(lái)組織和管理數(shù)據(jù)處理的先后順序。
特別是企業(yè)級(jí) BI 項(xiàng)目建設(shè)，不僅僅是簡(jiǎn)單的 ETL 過(guò)程還需要涉及非常專業(yè)的數(shù)據(jù)架構(gòu)設(shè)計(jì)、數(shù)據(jù)倉(cāng)庫(kù)建模、分層設(shè)計(jì)等數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建，這里面最常用的開(kāi)發(fā)語(yǔ)言就是 SQL。
BI 直接取數(shù)分析并不可行
很多 BI 工具會(huì)經(jīng)常強(qiáng)調(diào)直連取數(shù)，這樣就不需要寫 SQL，直接通過(guò)表與表之間的關(guān)系進(jìn)行表間建模，形成一個(gè)大寬表，文本類型的就是維度 Dimension，數(shù)值類型的變成度量 Measure，通過(guò) BI 前端可視化進(jìn)行拖拉拽操作形成很多 Ad-hoc Report 即席報(bào)表。
在實(shí)際演示案例的時(shí)候也是如此，最常見(jiàn)的就是一個(gè)標(biāo)準(zhǔn)的、數(shù)據(jù)格式極為標(biāo)準(zhǔn)規(guī)范的 EXCEL 表上傳一下按照上面的方式來(lái)一遍；要么就是銷售訂單表和銷售明細(xì)表關(guān)聯(lián)一下，算算訂單數(shù)量、訂單金額等等。
其實(shí)驗(yàn)證一下 BI 工具的這種直連且拖拉拽的能力到底有多強(qiáng)非常簡(jiǎn)單，讓業(yè)務(wù)部門提幾個(gè)實(shí)際的分析需求，現(xiàn)場(chǎng)拿 BI 產(chǎn)品從實(shí)際的業(yè)務(wù)系統(tǒng)中取數(shù)來(lái)驗(yàn)證一下是否那么容易就明白了。
以下面一個(gè)小 DEMO 為例，可以使用任意的國(guó)內(nèi)外 BI 可視化分析工具嘗試一下當(dāng)直連到這張表的時(shí)候，是不是就可以直接、任意的進(jìn)行拖拉拽分析。
案例：統(tǒng)計(jì)外包業(yè)務(wù)的人工效率（時(shí)長(zhǎng)）
背景：某金融公司把一部分貸款業(yè)務(wù)外包出去給第三方公司，第三方公司業(yè)務(wù)人員每與客戶聯(lián)系一次，就會(huì)根據(jù)溝通的狀態(tài)記錄一下，形成了以下的業(yè)務(wù)數(shù)據(jù)表 DurationTime，有以下三個(gè)核心字段：
ID – 客戶的身份證號(hào)，唯一標(biāo)識(shí) ID
Operation – 一個(gè)操作記錄，重點(diǎn)節(jié)點(diǎn)有 0034、0036、0048
Date – 一個(gè)操作記錄的時(shí)間日期（實(shí)際上是時(shí)間，為了簡(jiǎn)化用日期表示）
業(yè)務(wù)系統(tǒng)中的原始數(shù)據(jù)表
計(jì)算規(guī)則如下：
1) 計(jì)算，，的時(shí)間間隔。
2) 如0036之前沒(méi)有0034，不可單獨(dú)計(jì)算的時(shí)間間隔。
3) 如0036后跟著多個(gè)0048，則取到最晚的一個(gè)0048的時(shí)間間隔。
4) 如0034后跟著多個(gè)0048，則取到最早的一個(gè)0048的時(shí)間間隔。
5) ….
實(shí)際的計(jì)算規(guī)則多達(dá) 20 多種，就以上面 4 條計(jì)算規(guī)則為例，最后的計(jì)算結(jié)果是：
Transformation 表
為了得到上面的最終結(jié)果，通常往往會(huì)創(chuàng)建一些中間轉(zhuǎn)換表，用來(lái)記錄轉(zhuǎn)換的過(guò)程，便于檢查和糾正邏輯，這種表我們通常叫做 Transformation 表。
業(yè)務(wù)系統(tǒng)中的原始數(shù)據(jù)表的數(shù)據(jù)規(guī)范嗎 ？非常規(guī)范。但是適合分析嗎 ？并不適合。所以在 BI 分析之前要做什么？
那就是寫 SQL、ETL 取數(shù)，把這種在業(yè)務(wù)系統(tǒng)中規(guī)范的不可分析的、或不規(guī)范的不可分析的變成規(guī)范的、可分析的數(shù)據(jù)格式 —— 結(jié)果表。
在實(shí)際的 BI 項(xiàng)目開(kāi)發(fā)過(guò)程中，來(lái)自各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)源的數(shù)據(jù)大部分情況下就是一種不可直接分析的狀態(tài)，與分析思維不同，他們是描述業(yè)務(wù)過(guò)程的。
還會(huì)有一種說(shuō)法是：可以直連業(yè)務(wù)數(shù)據(jù)源，通過(guò)寫 SQL 查詢一個(gè)數(shù)據(jù)集再通過(guò)前端 BI 可視化分析工具來(lái)呈現(xiàn)做可視化分析報(bào)表行不行？ 我們的建議是，除了以下幾種情況，不要這樣做：
之一，這類可視化分析報(bào)表基本上就是一次性的，一年可能就改不了幾回。
第二，本身數(shù)據(jù)量不大，使用頻率也不會(huì)非常的高。
原因在于：
沒(méi)有合理的建模、指標(biāo)計(jì)算復(fù)用性太差、影響業(yè)務(wù)系統(tǒng)性能、無(wú)法應(yīng)對(duì)后續(xù)日益增長(zhǎng)和不斷變化的業(yè)務(wù)分析需求，按照這種方式做的 BI 基本上不會(huì)超過(guò)兩年就會(huì)面臨推翻重做的風(fēng)險(xiǎn)。
所以，在使用 BI 的時(shí)候，不管是直連業(yè)務(wù)系統(tǒng)數(shù)據(jù)源的表進(jìn)行表間關(guān)系建模，還是通過(guò)寫 SQL 查詢數(shù)據(jù)結(jié)果集的方式直連業(yè)務(wù)系統(tǒng)，在大多數(shù)情況下都不合理，BI 開(kāi)發(fā)人員應(yīng)極力避免采用這樣的數(shù)據(jù)操作方式，這些還都是在沒(méi)有涉及到多異構(gòu)數(shù)據(jù)源取數(shù)、主數(shù)據(jù)檔案不一致、組織架構(gòu)缺失補(bǔ)位、緩慢漸變維度等問(wèn)題的前提下。
BI 直接取數(shù)分析什么樣的情況下是可行的 ？
也有朋友說(shuō)到，我們公司就是直連數(shù)據(jù)庫(kù)取數(shù)做可視化分析的。我們讓朋友回去問(wèn)了一下，原來(lái)連接的是企業(yè)已經(jīng)構(gòu)建好的數(shù)據(jù)倉(cāng)庫(kù)。在這種情況下，底層的數(shù)據(jù)模型相對(duì)比較標(biāo)準(zhǔn)，數(shù)據(jù)也經(jīng)過(guò)了非常良好的格式轉(zhuǎn)換，可以直接使用一些前端 BI 可視化分析工具進(jìn)行快速的分析，這樣的一種搭配就非常好。
所以，BI 直連數(shù)據(jù)庫(kù)不是不可行，但得分清楚直連的是業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源數(shù)據(jù)庫(kù)，還是直連的是已經(jīng)通過(guò) SQL 從業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源取數(shù)和建模處理后的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市。
派可數(shù)據(jù)自助開(kāi)發(fā)平臺(tái)包括數(shù)據(jù)倉(cāng)庫(kù)與BI可視化分析
IT 和業(yè)務(wù)的邊界就在這里，IT 負(fù)責(zé)底層數(shù)據(jù)建模、數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建，業(yè)務(wù)基于已經(jīng)建好的基礎(chǔ)分析模型通過(guò) BI 前端可視化分析工具來(lái)進(jìn)行拖拉拽的可視化分析操作。
倘若是這樣，也確實(shí)實(shí)現(xiàn)了不通過(guò) SQL 取數(shù)使用 BI 前端工具就可以做報(bào)表的目標(biāo)。但絕對(duì)不能認(rèn)為，不通過(guò) SQL 取數(shù)就可以對(duì)接任何業(yè)務(wù)系統(tǒng)數(shù)據(jù)源做任何 BI 可視化分析。
所以，當(dāng)一家企業(yè)底層已經(jīng)有架構(gòu)非常良好的數(shù)據(jù)倉(cāng)庫(kù)，這個(gè)時(shí)候使用一個(gè)輕量的 BI前端可視化分析工具基本上就夠用了。但如果所在企業(yè)底層還沒(méi)有良好的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，只寄希望單純的使用一個(gè) BI 前端可視化報(bào)表工具解決一切分析問(wèn)題，這個(gè)時(shí)候就需要認(rèn)真思考一下是否可行。
www.36dianping.com
原文標(biāo)題：《BI 不是可以拖拉拽取數(shù)嗎？為什么還要 SQL 取數(shù) ? | 專家視角》
作者： 呂品
本文來(lái)源于36氪企服點(diǎn)評(píng)
數(shù)據(jù)庫(kù) 寬表的介紹就聊到這里吧，感謝你花時(shí)間閱讀本站內(nèi)容，更多關(guān)于數(shù)據(jù)庫(kù) 寬表,什么是寬表數(shù)據(jù)庫(kù)？?jī)?yōu)劣勢(shì)有哪些？,BI 不是可以拖拉拽取數(shù)嗎？為什么還要 SQL 取數(shù) ? | 專家視角的信息別忘了在本站進(jìn)行查找喔。
成都創(chuàng)新互聯(lián)建站主營(yíng)：成都網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、網(wǎng)站改版的網(wǎng)站建設(shè)公司，提供成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、成都網(wǎng)站推廣、成都網(wǎng)站優(yōu)化seo、響應(yīng)式移動(dòng)網(wǎng)站開(kāi)發(fā)制作等網(wǎng)站服務(wù)。
文章標(biāo)題：什么是寬表數(shù)據(jù)庫(kù)？?jī)?yōu)劣勢(shì)有哪些？(數(shù)據(jù)庫(kù)寬表)
鏈接地址：http://www.dlmjj.cn/article/ccsidhd.html
