新聞中心
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。

創(chuàng)新互聯(lián)云計(jì)算的互聯(lián)網(wǎng)服務(wù)提供商,擁有超過(guò)13年的服務(wù)器租用、四川樂(lè)山服務(wù)器托管、云服務(wù)器、網(wǎng)站空間、網(wǎng)站系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn),已先后獲得國(guó)家工業(yè)和信息化部頒發(fā)的互聯(lián)網(wǎng)數(shù)據(jù)中心業(yè)務(wù)許可證。專(zhuān)業(yè)提供云主機(jī)、網(wǎng)站空間、域名申請(qǐng)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
出門(mén)要健康碼,買(mǎi)東西用支付碼……
什么都可以變成數(shù)據(jù),近來(lái)被追捧的元宇宙甚至告訴我們連人都可以變成數(shù)據(jù)。
我們貌似已經(jīng)習(xí)慣了與數(shù)據(jù)相依存的生活,但在未來(lái),數(shù)據(jù)會(huì)發(fā)展成什么樣子,你有想過(guò)嗎?
有30多項(xiàng)機(jī)器學(xué)習(xí)和數(shù)據(jù)云專(zhuān)利的大佬Luhui Hu發(fā)了一篇博客。
他梳理了數(shù)據(jù)庫(kù)的發(fā)展以及現(xiàn)狀,或許從中我們可以洞見(jiàn)數(shù)據(jù)未來(lái)的模樣。
一起來(lái)看看吧~
數(shù)據(jù)的探索
首先,簡(jiǎn)單了解下數(shù)據(jù)庫(kù)。
一言以蔽之,就是能夠存儲(chǔ)并管理龐雜的數(shù)據(jù)。
在過(guò)去的30年中,作為編程語(yǔ)言、操作系統(tǒng)中必不可少的技術(shù),數(shù)據(jù)庫(kù)的數(shù)量在呈指數(shù)級(jí)增長(zhǎng),已經(jīng)誕生出數(shù)百種不同的數(shù)據(jù)庫(kù)。
典型如SQL到NoSQL和NewSQL。
這些數(shù)據(jù)庫(kù)主要進(jìn)行兩項(xiàng)工作:
在線(xiàn)事務(wù)處理(OnLine Transactional Processing 簡(jiǎn)稱(chēng):OLTP);
在線(xiàn)分析處理(OnLine Analytical Processing 簡(jiǎn)稱(chēng):OLAP) 。
早在20世紀(jì)60年代早期,Charles Bachman就開(kāi)發(fā)了第一個(gè)數(shù)據(jù)庫(kù)。
起初對(duì)于數(shù)據(jù)庫(kù)的探索主要集中在數(shù)據(jù)庫(kù)查詢(xún)和它的模型上,包括SQL(結(jié)構(gòu)化查詢(xún)語(yǔ)言)、XML(可擴(kuò)展標(biāo)記語(yǔ)言)和面向?qū)ο蟆?/p>
眾多數(shù)據(jù)庫(kù)在經(jīng)過(guò)10多年的競(jìng)爭(zhēng)之后,Oracle、SQL Server和MySQL三個(gè)脫穎而出。
它們憑借結(jié)構(gòu)化查詢(xún)語(yǔ)言和遵循ACID(原子性、一致性、隔離性、持久性,在出現(xiàn)故障的情況下也可以保證數(shù)據(jù)的有效性),幾乎主導(dǎo)了商業(yè)市場(chǎng)和開(kāi)源社區(qū)。
然而,數(shù)據(jù)的種類(lèi)、速度以及數(shù)據(jù)量在不斷增長(zhǎng),這對(duì)數(shù)據(jù)庫(kù)提出了更高的要求,這時(shí)出現(xiàn)了一種新的數(shù)據(jù)庫(kù):NoSQL。
不同于傳統(tǒng)的數(shù)據(jù)庫(kù),NoSQL允許部分?jǐn)?shù)據(jù)使用SQL系統(tǒng)存儲(chǔ),而其他數(shù)據(jù)則使用NOSQL系統(tǒng)存儲(chǔ)。
除此之外,NoSQL還首次提出了性能效率、模式靈活性和一些新的功能,并且還擁有鍵值存儲(chǔ)、文檔數(shù)據(jù)庫(kù)、面向列的數(shù)據(jù)庫(kù)、圖形數(shù)據(jù)庫(kù)等。
但由于NoSQL數(shù)據(jù)庫(kù)在遵守CAP定理(不能同時(shí)滿(mǎn)足一致性、可用性、分區(qū)容錯(cuò)性)時(shí)更注重可用性而非一致性,導(dǎo)致許多數(shù)據(jù)庫(kù)為了實(shí)現(xiàn)最終一致性或非規(guī)范化而做出妥協(xié)和優(yōu)化。
這也恰恰說(shuō)明了數(shù)據(jù)庫(kù)要與時(shí)俱進(jìn),契合當(dāng)前數(shù)據(jù)的特點(diǎn)以及人們的需求。
就比如說(shuō)NewSQL,它是一類(lèi)現(xiàn)代的關(guān)系數(shù)據(jù)庫(kù),為OLTP工作提供了與NoSQL相同的可擴(kuò)展性能,同時(shí)仍然使用SQL并維護(hù)傳統(tǒng)數(shù)據(jù)庫(kù)的ACID保證。
在數(shù)據(jù)庫(kù)的發(fā)展過(guò)程中,還有一個(gè)不得不提的東西:數(shù)據(jù)倉(cāng)庫(kù)。
它是用于數(shù)據(jù)分析和業(yè)務(wù)洞察的核心組件,但在10年前大數(shù)據(jù)平臺(tái)出現(xiàn)之后,人們從傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)移到大數(shù)據(jù)平臺(tái),它就黯然失色了。
直到云技術(shù)的出現(xiàn),重新賦予給數(shù)據(jù)倉(cāng)庫(kù)新的性能,使它具備了可擴(kuò)展性,數(shù)據(jù)倉(cāng)庫(kù)這才再次被人們注意到。
隨著高性能、高可擴(kuò)展性數(shù)據(jù)云的出現(xiàn),一個(gè)新的數(shù)據(jù)平臺(tái)生態(tài)系統(tǒng)——現(xiàn)代數(shù)據(jù)堆棧應(yīng)運(yùn)而生。
云技術(shù)通過(guò)云托管(半托管甚至完全托管)和云原生兩種方式使得數(shù)據(jù)庫(kù)自動(dòng)化或半自動(dòng)化。
在這其中,云技術(shù)具體是怎么操作的呢?
它主要是通過(guò)解耦數(shù)據(jù)庫(kù)的存儲(chǔ)和計(jì)算,重新定義體系結(jié)構(gòu)。
并且存儲(chǔ)或計(jì)算還可以獨(dú)立擴(kuò)展,提高數(shù)據(jù)庫(kù)的效率、性能和靈活性等。
除此之外,這種解耦架構(gòu)還能為數(shù)據(jù)庫(kù)系統(tǒng)合并不同類(lèi)型的存儲(chǔ)和計(jì)算,以實(shí)現(xiàn)總體的高性能和新功能。
目前,云技術(shù)正在逐步應(yīng)用到數(shù)據(jù)庫(kù)中。
S3(Simple Storage Service 簡(jiǎn)單存儲(chǔ)服務(wù))因?yàn)樽陨淼暮?jiǎn)單性、低成本、高可用性、可擴(kuò)展性等,已經(jīng)成為云計(jì)算的基礎(chǔ)。
而且,它還演變成了數(shù)據(jù)湖,可以用來(lái)存儲(chǔ)、處理和保護(hù)大量結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
現(xiàn)代數(shù)據(jù)庫(kù)
講了這么多數(shù)據(jù)庫(kù)的發(fā)展,說(shuō)回到現(xiàn)代數(shù)據(jù)庫(kù)。
提到現(xiàn)代數(shù)據(jù)庫(kù),就不得不了解下面兩種架構(gòu)。
首先是Data Lakehouse,它相當(dāng)于是數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的結(jié)合,可以看作是在對(duì)象存儲(chǔ)上運(yùn)行快速的SQL。
它同時(shí)具備了數(shù)據(jù)倉(cāng)庫(kù)的性能和數(shù)據(jù)湖的靈活性,能夠消除數(shù)據(jù)孤島(數(shù)據(jù)之間無(wú)法互通)和ETL(抽取-轉(zhuǎn)置-加載)過(guò)程,從而使得數(shù)據(jù)的性能、靈活性和成本效益都得到提升。
除此之外,它還統(tǒng)一了所有的數(shù)據(jù),簡(jiǎn)化了數(shù)據(jù)工程過(guò)程,并支持BI(商業(yè)智能)和AI工作負(fù)載在一起。
了解完Data Lakehouse,再來(lái)說(shuō)說(shuō)混合事務(wù)/分析處理 (HTAP)。
它是一種新興的應(yīng)用程序架構(gòu),為熱門(mén)的現(xiàn)代數(shù)據(jù)庫(kù)提供了動(dòng)力。
比如說(shuō)谷歌發(fā)布的HTAP數(shù)據(jù)庫(kù)產(chǎn)品AlloyDB,具有卓越的性能、可擴(kuò)展能力和可用性,并且在高并發(fā)的OLTP環(huán)境中,可以快速響應(yīng)用戶(hù)的復(fù)雜操作。
而Snowflake(數(shù)據(jù)云公司)緊隨其后,發(fā)布了Unistore,同樣也支持HTAP,可以在單一平臺(tái)上同時(shí)處理交易和分析數(shù)據(jù)。
進(jìn)一步來(lái)說(shuō),和Lakehouse一樣,HTAP的目標(biāo)也是消除從OLTP到OLAP或從數(shù)據(jù)湖到數(shù)據(jù)倉(cāng)庫(kù)的ETL過(guò)程。
并且,當(dāng)前的HTAP是支持OLTP和OLAP工作負(fù)載的單一系統(tǒng)體系結(jié)構(gòu),而早期的數(shù)據(jù)庫(kù)只能配置為OLAP或OLTP(不能同時(shí)使用)。
未來(lái)走向
數(shù)據(jù)對(duì)于現(xiàn)在的生活的確至關(guān)重要,我們也能從現(xiàn)在數(shù)據(jù)庫(kù)的發(fā)展?fàn)顩r窺見(jiàn)些許未來(lái)數(shù)據(jù)的走向。
大致總結(jié)了五大方向。
統(tǒng)一BI和AI
首先,數(shù)據(jù)庫(kù)在未來(lái)可能會(huì)統(tǒng)一BI和AI。
總的來(lái)說(shuō),未來(lái)數(shù)據(jù)庫(kù)的目標(biāo)應(yīng)該是解鎖所有數(shù)據(jù)的業(yè)務(wù)價(jià)值,并支持BI和AI的整個(gè)數(shù)據(jù)景觀(guān),包括從描述到診斷、預(yù)測(cè)和規(guī)范等數(shù)據(jù)分析操作。
統(tǒng)一BI和AI不僅可以消除數(shù)據(jù)倉(cāng)庫(kù)和ETL,還可以簡(jiǎn)化管道,提高利益相關(guān)者的生產(chǎn)力。Data Lakehouse可以被視作是一個(gè)巨大的飛躍,但是目前還只是處于起步階段。
除此之外,在從數(shù)據(jù)到商業(yè)價(jià)值的過(guò)程中,也會(huì)激發(fā)多種的崗位需求: 數(shù)據(jù)工程師、數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師等。
專(zhuān)用網(wǎng)格
其二,未來(lái)的數(shù)據(jù)庫(kù)可以通過(guò)構(gòu)建專(zhuān)用的網(wǎng)絡(luò)來(lái)滿(mǎn)足多樣化需求。
就目前來(lái)看,數(shù)據(jù)庫(kù)技術(shù)融合已經(jīng)成為一種趨勢(shì),如NewSQL、Lakehouse和HTAP。
但NewSQL、Lakehouse仍然是OLTP或OLAP的一種類(lèi)型,CAP定理仍然成立。
并且當(dāng)前的HTAP解決方案主要是OLTP,只適合小型工作負(fù)載。目前市場(chǎng)上可用的HTAP還遠(yuǎn)不能作為大型企業(yè)數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)。
因此,專(zhuān)門(mén)構(gòu)建的數(shù)據(jù)庫(kù)很有必要,它可以更好地滿(mǎn)足不同的業(yè)務(wù)目標(biāo),包括性能、可伸縮性或者/和特定的用例(例如,時(shí)間序列數(shù)據(jù)、圖表、搜索等)。
而且還可以分離開(kāi)具有收斂層的數(shù)據(jù)庫(kù),用于互連、統(tǒng)一的數(shù)據(jù)服務(wù)和一致的治理。
多云策略
前面已經(jīng)提到過(guò)云技術(shù)與數(shù)據(jù)庫(kù)的結(jié)合,這在未來(lái)也是一大發(fā)展趨勢(shì),比如說(shuō)多云策略。
多云策略是指在不移動(dòng)數(shù)據(jù)的情況下將公共云和私有云聯(lián)合起來(lái)。
它可以提高與多個(gè)云供應(yīng)商的服務(wù)可用性,通過(guò)近距離計(jì)算減少延遲,從特定的云生態(tài)系統(tǒng)啟用獨(dú)特的功能,通過(guò)更多的云產(chǎn)品擴(kuò)展全球可用性,并增強(qiáng)數(shù)據(jù)遵從性。
并且,多云策略還可以推動(dòng)數(shù)據(jù)可觀(guān)測(cè)性、數(shù)據(jù)編目、數(shù)據(jù)共享和數(shù)據(jù)編排的浪潮。
智能數(shù)據(jù)
數(shù)據(jù)與人工智能也有結(jié)合的潛力。
目前,有三個(gè)領(lǐng)域的人工智能和數(shù)據(jù)相互啟用:AI for Data,AI for Database和Data for AI。
智能數(shù)據(jù)是AI for Data,它可以使數(shù)據(jù)具有數(shù)據(jù)治理、數(shù)據(jù)譜系、元數(shù)據(jù)、語(yǔ)義以及來(lái)自分析和人工智能的新數(shù)據(jù)等方面的要素。
預(yù)計(jì)到2025年,所有數(shù)據(jù)的10%將由生成型人工智能模型產(chǎn)生。這些數(shù)據(jù)包括聲音、視頻、圖像、文本、結(jié)構(gòu)化數(shù)據(jù)、代碼等。
數(shù)據(jù)資產(chǎn)
數(shù)據(jù)庫(kù)除了有上述的發(fā)展趨勢(shì)外,還可以用作資產(chǎn)管理。
數(shù)據(jù)資產(chǎn)是將數(shù)據(jù)作為數(shù)據(jù)庫(kù)或組織或個(gè)人存儲(chǔ)器中的數(shù)字資產(chǎn)進(jìn)行管理。
這樣的數(shù)據(jù)庫(kù)不僅是一個(gè)數(shù)據(jù)管理系統(tǒng),而且還提供了數(shù)據(jù)可觀(guān)測(cè)性、安全和隱私、定價(jià)、數(shù)據(jù)生命周期管理等。
分享題目:曾在國(guó)內(nèi)外五家大廠(chǎng)做數(shù)據(jù)庫(kù)工程師,這是他給出的五大數(shù)據(jù)庫(kù)趨勢(shì)預(yù)測(cè)
網(wǎng)址分享:http://www.dlmjj.cn/article/copieci.html


咨詢(xún)
建站咨詢(xún)
