建站
咨詢
售后
建站咨詢
新聞中心
五大數(shù)據(jù)庫理念，讀懂亞馬遜云科技的數(shù)據(jù)庫布局
1970 年，關(guān)系型數(shù)據(jù)庫之父 E.F.Codd 發(fā)表《用于大型共享數(shù)據(jù)庫的關(guān)系數(shù)據(jù)模型》論文，正式拉開數(shù)據(jù)庫技術(shù)發(fā)展序幕。以 Oracle、DB2、SQL Server 為代表的三大商業(yè)數(shù)據(jù)庫產(chǎn)品獨占鰲頭，隨后涌現(xiàn)出 MySQL、PostgreSQL 等為代表的開源數(shù)據(jù)庫 ，和以 Amazon RDS 等為代表的云數(shù)據(jù)庫，拉開百花齊放的數(shù)據(jù)庫新序幕。
創(chuàng)新互聯(lián)公司主營臨澤網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā),臨澤h5微信平臺小程序開發(fā)搭建,臨澤網(wǎng)站營銷推廣歡迎臨澤等地區(qū)企業(yè)咨詢
我們知道，云計算十年為產(chǎn)業(yè)轉(zhuǎn)型升級提供了 歷史 性契機，但變革仍在進行，隨著云計算的普及，數(shù)據(jù)庫市場發(fā)生根本性改變，云廠商打破傳統(tǒng)商業(yè)數(shù)據(jù)庫的堡壘，成為數(shù)據(jù)庫領(lǐng)域全新力量。其中以連續(xù)六年入選 Gartner 領(lǐng)導(dǎo)者象限的亞馬遜云 科技 為代表，我們一起探討：為什么亞馬遜云 科技 能始終保持其創(chuàng)新性？縱觀云原生時代下，亞馬遜云 科技 數(shù)據(jù)庫未來還有哪些更多的可能性？
01 面對四大數(shù)據(jù)庫發(fā)展趨勢，亞馬遜云 科技 打造五大數(shù)據(jù)庫理念
后疫情時代下，加速了不少行業(yè)的業(yè)務(wù)在線化和數(shù)字化運營，企業(yè)對數(shù)據(jù)價值挖掘的需求越發(fā)強烈，亞馬遜云 科技 大中華區(qū)產(chǎn)品部總經(jīng)理顧凡詳細(xì)介紹其中四大趨勢：
一是伴隨互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的發(fā)展，電商、視頻、社交、出行等新應(yīng)用場景的興起，不僅數(shù)據(jù)量大，對數(shù)據(jù)實時性要求極高，傳統(tǒng)關(guān)系型數(shù)據(jù)庫無法滿足需求，因此驅(qū)動云原生數(shù)據(jù)庫的出現(xiàn)。
二是開源數(shù)據(jù)庫的廣泛應(yīng)用。
三是應(yīng)用程序現(xiàn)代化對數(shù)據(jù)庫提出更高要求，期待數(shù)據(jù)庫擁有更高的性能、可擴展性、可用性以及降低成本，讓開發(fā)人員專注于核心業(yè)務(wù)的應(yīng)用開發(fā)，不用關(guān)注和核心業(yè)務(wù)無關(guān)的代碼。
四是軟件架構(gòu)歷經(jīng) PC、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)，再到如今的萬物互聯(lián)時代，其中的迭代和轉(zhuǎn)型正在驅(qū)動數(shù)據(jù)庫選型的變化。
在此四大趨勢下，伴隨企業(yè)的業(yè)務(wù)量越來越大、越來越復(fù)雜，對數(shù)據(jù)庫的要求越來越高。亞馬遜云 科技 洞察客戶需求，在打造云上數(shù)據(jù)庫產(chǎn)品時提出五大理念：
一是專庫專用，極致性能；二是無服務(wù)器，敏捷創(chuàng)新；第三是全球架構(gòu)，一鍵部署；第四是平滑遷移，加速上云；第五是 AI 賦能，深度集成。
02 歷經(jīng)真實錘煉，五大數(shù)據(jù)庫理念，持續(xù)賦能企業(yè)數(shù)智轉(zhuǎn)型
顧凡表示，隨著數(shù)據(jù)爆炸式增長，微服務(wù)架構(gòu)與 DevOps 愈發(fā)流行的今天，一個數(shù)據(jù)庫打天下的時代已然過去。我們需要在不同的應(yīng)用場景下，針對不同的數(shù)據(jù)類型和不同的數(shù)據(jù)訪問特點，為開發(fā)者和企業(yè)提供專門構(gòu)建的工具。
所以亞馬遜云 科技 提出 第一個核心數(shù)據(jù)庫理念：專庫專用 。在此理念下，推出針對關(guān)系數(shù)據(jù)、鍵值數(shù)據(jù)、文檔數(shù)據(jù)、內(nèi)存數(shù)據(jù)、圖數(shù)據(jù)、時許數(shù)據(jù)、分類賬數(shù)據(jù)、寬列等專門構(gòu)建數(shù)據(jù)庫的產(chǎn)品家族。
這些數(shù)據(jù)庫產(chǎn)品均經(jīng)歷過亞馬遜內(nèi)部核心業(yè)務(wù)的真實錘煉，成績斐然：
亞馬遜電商當(dāng)年是 Oracle 的客戶之一，隨著亞馬遜電商的應(yīng)用重構(gòu)和業(yè)務(wù)體量發(fā)展，亞馬遜電商決定將業(yè)務(wù)遷移到亞馬遜云 科技 里。100 多個團隊參與這龐大的遷移工作中，將亞馬遜電商采購、目錄管理、訂單執(zhí)行、廣告、財務(wù)系統(tǒng)、錢包、視頻流等關(guān)鍵系統(tǒng)全部從 Oracle 遷出來。2019 年，亞馬遜將存儲近 7500 個Oracle 數(shù)據(jù)庫中的 75 PB 內(nèi)部數(shù)據(jù)遷移到多項亞馬遜云 科技 的數(shù)據(jù)庫服務(wù)中，包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache，于是亞馬遜電商成為亞馬遜云 科技 在全球的“第一大客戶”。
從 Oracle 切換到亞馬遜云 科技 后，亞馬遜電商節(jié)省了 60% 成本，面向消費者端的應(yīng)用程序延遲降低 40%，數(shù)據(jù)庫管理支出減少 70%。
以被譽為“亞馬遜云 科技 歷史 上用戶數(shù)量增速最快的云服務(wù)”Amazon Aurora 為例，其擁有科媲美高端商業(yè)數(shù)據(jù)庫的速度和可用性，還擁有開源數(shù)據(jù)庫的簡單性與成本效益，Amazon Aurora 讓客戶滿足“魚和熊掌兼得”需求。
據(jù)顧凡介紹，Amazon Aurora 可提供 5 倍于標(biāo)準(zhǔn) MySQL 性能，3 倍于 PostgreSQL 吞吐量。同時提供高可用，可用區(qū)（AZ）+1的高可用，Global Databases 可完成跨區(qū)域災(zāi)備?？蓴U展到 15 個只讀副本，成本只有商業(yè)數(shù)據(jù)庫的 1/10。
醫(yī)藥企業(yè)九州通為藥廠、供應(yīng)商，搭建藥廠、供應(yīng)商、消費者提供供應(yīng)鏈鏈條。其 B2B 系統(tǒng)的業(yè)務(wù)特點是讀多寫少，受促銷活動、工作時間等影響，經(jīng)常會出現(xiàn)波峰波谷落差較大的情況，讀寫比例在 7：2 或者 8：3。九州通采用 Amazon Aurora 后實現(xiàn)讀寫分離和按需擴展，整體數(shù)據(jù)庫性能提升 5 倍，TCO 降低 50%。實現(xiàn)了跨可用區(qū)部署、負(fù)載均衡、自動故障轉(zhuǎn)移、精細(xì)監(jiān)控、按需自動伸縮等。
據(jù)權(quán)威機構(gòu)預(yù)測，到 2022 年，75% 數(shù)據(jù)庫將被部署或遷移至云平臺。在這個過程中，亞馬遜云 科技 是如何通過技術(shù)來幫助客戶加速應(yīng)用上云的？這離不開除了上述的“專庫專用”外，以下四大理念：
第二個理念是無服務(wù)器、敏捷創(chuàng)新。 亞馬遜云 科技 大中華區(qū)產(chǎn)品部數(shù)據(jù)類產(chǎn)品高級經(jīng)理王曉野表示，企業(yè)業(yè)務(wù)總有波峰波谷之時，如何按照企業(yè) 80-90% 的業(yè)務(wù)峰值來規(guī)劃數(shù)據(jù)庫的存儲容量和計算資源的話，將給應(yīng)用帶來一定的業(yè)務(wù)連續(xù)性的妥協(xié)和挑戰(zhàn)。因此大多數(shù)企業(yè)都是按照峰值留有余地來選擇數(shù)據(jù)庫的計算資源，這將造成成本上的浪費。而 Serverless 數(shù)據(jù)庫服務(wù)可完成無差別的繁復(fù)工作和自動化擴展。
Amazon DynamoDB 是亞馬遜云 科技 自研 Serverless 數(shù)據(jù)庫，其誕生最早可追溯到 2004 年，當(dāng)時亞馬遜電商作為 Oracle 的客戶，盡管對于關(guān)系型數(shù)據(jù)庫在零售場景的需求并不頻繁，70% 均是鍵值類操作，此時倒逼亞馬遜電商思考：為什么要把關(guān)系型數(shù)據(jù)庫這么重得使用？我們可以設(shè)計一款支持讀寫、可橫向擴展的分布式數(shù)據(jù)庫嗎？后來的故事大家都知道了，這款數(shù)據(jù)庫就是 Amazon DynamoDB，并在 2007 年發(fā)表論文，掀起業(yè)界 NoSQL 分布式數(shù)據(jù)庫技術(shù)創(chuàng)新大潮。
Amazon DynamoDB 可為大規(guī)模應(yīng)用提供支持，支撐亞馬遜自身多個高流量網(wǎng)站和系統(tǒng)，如亞馬遜電商網(wǎng)站、亞馬遜全球 442 個物流中心等。在亞馬遜電商一年一度 Prime Day，光是針對DynamoDB API 的調(diào)用達(dá)到數(shù)萬億次，最高峰值請求達(dá)到每秒 8920 萬次。由此可見，DynamoDB 擁有高吞吐、擴展性、一致性、可預(yù)測響應(yīng)延遲、高可用等優(yōu)勢。
智能可穿戴設(shè)備廠商華米 科技 ，在全球 70 多個國家擁有近 1 億用戶。僅 2020 年上半年，其手表出貨量超 174 萬臺，截止到 2021 年 2 月，華米 科技 的可穿戴設(shè)備累計記錄步數(shù)是 151 萬步，累計記錄的睡眠時間是 128 億個夜晚，記錄心率總時長達(dá) 1208 億個小時。如此龐大的數(shù)據(jù)同時必須保證極高的安全性和低延遲相應(yīng)，如何保證穩(wěn)定性是巨大的挑戰(zhàn)。
DynamoDB 幫助華米 科技 在任何規(guī)模下都能提供延遲不超過 10 毫秒的一致響應(yīng)時間。華米 科技 健康 云的 P0 和 P1 級別故障減少了約 30%，總體服務(wù)可用性提升了 0.25%，系統(tǒng)可用性指標(biāo)達(dá)到 99.99%，為華為 科技 全球化擴展提供了有力的支撐。
最新無服務(wù)數(shù)據(jù)庫產(chǎn)品是 Amazon Aurora Serverless V2 提供瞬間擴展能力，真正把擴展能力發(fā)揮到極致，在不到一秒的時間內(nèi)，將幾百個事務(wù)擴展到數(shù)十萬的級別。同時在擴展時每一次調(diào)整的增量都是非常精細(xì)化的去管理，如果按照峰值來規(guī)劃數(shù)據(jù)庫資源，可實現(xiàn)大概90%的成本節(jié)省。目前 Amazon Aurora Serverless V2 在全球?qū)崿F(xiàn)預(yù)覽。
第三個理念是全球架構(gòu)、一鍵部署。 在全球化的今天，如何支撐全球客戶的業(yè)務(wù)擴展連續(xù)性、一致性、以最低延遲帶給到終端客戶上，對數(shù)據(jù)庫提出新的挑戰(zhàn)。
亞馬遜云 科技 提供 Amazon Aurora 關(guān)系型數(shù)據(jù)庫Global Database、Amazon DynamoDB、Amazon ElastiCache 內(nèi)存數(shù)據(jù)庫、Amazon DocumentDB 文檔數(shù)據(jù)庫都能利用亞馬遜云 科技 的骨干網(wǎng)絡(luò)提供比互聯(lián)網(wǎng)更穩(wěn)定的網(wǎng)絡(luò)支撐，以一鍵部署的方式，幫助客戶實現(xiàn)幾千公里跨區(qū)域數(shù)據(jù)庫災(zāi)備，故障恢復(fù)大概能在一分鐘之內(nèi)完成，同時跨區(qū)域的數(shù)據(jù)復(fù)制延遲通常小于一秒。
第四個理念是平滑遷移、加速上云。 目前，450000+ 數(shù)據(jù)庫通過亞馬遜云 科技 數(shù)據(jù)庫遷移服務(wù)遷移到亞馬遜云 科技 中，這個數(shù)字每年都在不斷增長。亞馬遜云 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具讓開發(fā)者和企業(yè)進行自助式云遷移。另外，對于遷移過程中可能會需要的支持，可通過專業(yè)服務(wù)團隊和合作伙伴網(wǎng)絡(luò)成員，為客戶提供專業(yè)支持，還通過 Database Freedom 項目幫助客戶降低他們的顧慮。
今年 11 月，最新產(chǎn)品 Babelfish for Amazon Aurora PostgreSQL 在全球和中國兩個區(qū)域正式可用，可加速企業(yè)上云的遷移，實現(xiàn)讓企業(yè)可以利用原有的技術(shù)棧、原有的 SQL Server T-SQL的人員可以利用到云數(shù)據(jù)庫進行創(chuàng)新。
第五個理念是 AI賦能，深度集成。 我們觀察到，ML 技術(shù)賦能數(shù)據(jù)庫開發(fā)者，開發(fā)者無需具備機器學(xué)習(xí)專業(yè)知識，就可進行機器學(xué)習(xí)操作。在此潮流下，亞馬遜云 科技 推出 Amazon Neptune，借由 Deep Graph Library 和 Amazon SageMaker 驅(qū)動圖神經(jīng)網(wǎng)絡(luò)。
今年 8 月，Neptune ML 在中國正式可用，允許數(shù)據(jù)工程師不需要掌握機器學(xué)習(xí)的技能直接從圖數(shù)據(jù)庫里導(dǎo)出數(shù)據(jù)、轉(zhuǎn)換格式、訓(xùn)練模型并發(fā)布，用 gremlin 語句調(diào)用訓(xùn)練成的模型在數(shù)據(jù)庫里實現(xiàn)推理，進行欺詐檢測，推薦物品。
目前，亞馬遜云 科技 加速在中國區(qū)域服務(wù)落地，2021年至今新發(fā)布 60 多個數(shù)據(jù)庫服務(wù)與功能。亞馬遜云 科技 正是通過上述五大數(shù)據(jù)庫理念，打造豐富的數(shù)據(jù)庫產(chǎn)品家族，在全球智能化發(fā)展趨勢下，為企業(yè)提供更快更好的數(shù)智服務(wù)，釋放數(shù)據(jù)價值，并連續(xù)六年入選 Gartner 領(lǐng)導(dǎo)者象限，得到業(yè)界和客戶的深度認(rèn)可。
NoSQL 數(shù)據(jù)庫：何時使用 NoSQL 與 SQL？
NoSQL 數(shù)據(jù)庫因其功能性、易于開發(fā)性和可擴展性而廣受認(rèn)可，它們越來越多地用于大數(shù)據(jù)和實時 Web 應(yīng)用程序，在本文中，我們通過示例討論 NoSQL、何時使用 NoSQL 與 SQL 及其用例。
NoSQL是一種下一代數(shù)據(jù)庫管理系統(tǒng) (DBMS)。NoSQL 數(shù)據(jù)庫具有靈活的模式，可用于構(gòu)建具有大量數(shù)據(jù)和高負(fù)載的現(xiàn)代應(yīng)用程序。
“NoSQL”一詞最初是由 Carlo Strozzi 在 1998 年創(chuàng)造的，盡管自 1960 年代后期以來就已經(jīng)存在類似的數(shù)據(jù)庫。然而，NoSQL 的發(fā)展始于 2009 年初，并且發(fā)展迅速。
在處理大量數(shù)據(jù)時，任何關(guān)系數(shù)據(jù)庫管理系統(tǒng) (RDBMS) 的響應(yīng)時間都會變慢。為了解決這個問題，我們可以通過升級現(xiàn)有硬件來“擴大”信息系統(tǒng)，這非常昂貴。但是，NoSQL 可以更好地橫向擴展并且更具成本效益。
NoSQL 對于非結(jié)構(gòu)化或非常大的數(shù)據(jù)對象（例如聊天日志數(shù)據(jù)、視頻或圖像）非常有用，這就是為什么 NoSQL 在微軟、谷歌、亞馬遜、Meta (Facebook) 等互聯(lián)網(wǎng)巨頭中特別受歡迎的原因。
一些流行的 NoSQL 數(shù)據(jù)庫包括：
隨著企業(yè)更快地積累更大的數(shù)據(jù)集，結(jié)構(gòu)化數(shù)據(jù)和關(guān)系模式并不總是適合。有必要使用非結(jié)構(gòu)化數(shù)據(jù)和大型對象來更好地捕獲這些信息。
傳統(tǒng)的 RDBMS 使用 SQL（結(jié)構(gòu)化查詢語言）語法來存儲和檢索結(jié)構(gòu)化數(shù)據(jù)，相反，NoSQL 數(shù)據(jù)庫包含廣泛的功能，可以存儲和檢索結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化和多態(tài)數(shù)據(jù)。
有時，NoSQL 也被稱為“ 不僅僅是 SQL ”，強調(diào)它可能支持類似 SQL 的語言或與 SQL 數(shù)據(jù)庫并列。SQL 和 NoSQL DBMS 之間的一個區(qū)別是 JOIN 功能。SQL 數(shù)據(jù)庫使用 JOIN 子句來組合來自兩個或多個表的行，因為 NoSQL 數(shù)據(jù)庫本質(zhì)上不是表格的，所以這個功能并不總是可行或相關(guān)的。
但是，一些 NoSQL DBMS 可以執(zhí)行類似于 JOIN的操作——就像 MongoDB 一樣。這并不意味著不再需要 SQL DBMS，相反，NoSQL 和 SQL 數(shù)據(jù)庫傾向于以不同的方式解決類似的問題。
一般來說，在以下情況下，NoSQL 比 SQL 更可?。?/p>
許多行業(yè)都在采用 NoSQL，取代關(guān)系數(shù)據(jù)庫，從而為某些業(yè)務(wù)應(yīng)用程序提供更高的靈活性和可擴展性，下面給出了 NoSQL 數(shù)據(jù)庫的一些企業(yè)用例。
內(nèi)容管理是一組用于收集、管理、傳遞、檢索和發(fā)布任何格式的信息的過程，包括文本、圖像、音頻和視頻。NoSQL 數(shù)據(jù)庫可以通過其靈活和開放的數(shù)據(jù)模型為存儲多媒體內(nèi)容提供更好的選擇。
例如，福布斯在短短幾個月內(nèi)就構(gòu)建了一個基于 MongoDB 的定制內(nèi)容管理系統(tǒng)，以更低的成本為他們提供了更大的敏捷性。
大數(shù)據(jù)是指太大而無法通過傳統(tǒng)處理系統(tǒng)處理的數(shù)據(jù)集，實時存儲和檢索大數(shù)據(jù)的系統(tǒng)在分析 歷史 數(shù)據(jù)的同時使用流處理來攝取新數(shù)據(jù)，這是一系列非常適合 NoSQL 數(shù)據(jù)庫的功能。
Zoom使用 DynamoDB（按需模式）使其數(shù)據(jù)能夠在沒有性能問題的情況下進行擴展，即使該服務(wù)在 COVID-19 大流行的早期使用量激增。
物聯(lián)網(wǎng)設(shè)備具有連接到互聯(lián)網(wǎng)或通信網(wǎng)絡(luò)的嵌入式軟件和傳感器，能夠在無需人工干預(yù)的情況下收集和共享數(shù)據(jù)。隨著數(shù)十億臺設(shè)備生成數(shù)不清的數(shù)據(jù)，IoT NoSQL 數(shù)據(jù)庫為 IoT 服務(wù)提供商提供了可擴展性和更靈活的架構(gòu)。
Freshub就是這樣的一項服務(wù)，它從 MySQL 切換到 MongoDB，以更好地處理其大型、動態(tài)、非統(tǒng)一的數(shù)據(jù)集。
擁有數(shù)十億智能手機用戶，可擴展性正成為在移動設(shè)備上提供服務(wù)的企業(yè)面臨的最大挑戰(zhàn)。具有更靈活數(shù)據(jù)模型的 NoSQL DBMS 通常是完美的解決方案。
例如，The Weather Channel使用 MongoDB 數(shù)據(jù)庫每分鐘處理數(shù)百萬個請求，同時還處理用戶數(shù)據(jù)并提供天氣更新。
AWS開源可跨關(guān)聯(lián)式與NoSQL數(shù)據(jù)庫的查詢語言PartiQL
AWS推出了與SQL兼容的查詢語言PartiQL，只要數(shù)據(jù)庫查詢引擎提供PartiQL支持，使用者就能以PartiQL單一查詢關(guān)聯(lián)式數(shù)據(jù)庫的結(jié)構(gòu)化資料，以及開放資料格式中的巢狀資料或是半結(jié)構(gòu)化資料，甚至還能用來查詢NoSQL或是文件數(shù)據(jù)庫中無固定結(jié)構(gòu)（Schema-less）的資料。除了AWS自家的數(shù)據(jù)庫服務(wù)，NoSQL數(shù)據(jù)庫Couchbase Server也承諾將會支持PartiQL。
企業(yè)資料分散在關(guān)聯(lián)式數(shù)據(jù)庫、非關(guān)聯(lián)式數(shù)據(jù)庫以及資料湖泊中。高度結(jié)構(gòu)化的資料，儲存在SQL數(shù)據(jù)庫或是資料倉儲；無固定結(jié)構(gòu)的資料則由鍵值儲存、圖形數(shù)據(jù)庫（Graph Database）、分類帳數(shù)據(jù)庫或是時間序列數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫處理；而在資料湖泊中的資料，可能也有部分缺乏結(jié)構(gòu)，或是可能為巢狀或是多值結(jié)構(gòu)。不同的資料類型適用于不同的使用案例，而每種類型的資料，可能都有自己的查詢語言。
不同的資料儲存對應(yīng)不同的查詢語言，當(dāng)企業(yè)更換資料格式或是數(shù)據(jù)庫引擎時，可能還需要跟著改變應(yīng)用程式和查詢語法，AWS提到，這對于資料的應(yīng)用，特別是使用資料湖泊的靈活性與效率，有著很大的阻礙。為了統(tǒng)一不同類型數(shù)據(jù)庫存取方法，AWS發(fā)布了查詢語言PartiQL，這是個與SQL兼容的查詢語言，可以用來查詢以各種格式儲存在各地的資料。
用戶可以使用PartiQL來查詢關(guān)聯(lián)式數(shù)據(jù)庫，像是在Redshift實作交易或是資料分析等應(yīng)用，或?qū)τ贏mazon S3資料湖泊的開放資料格式，同樣能使用PartiQL對巢狀資料與半結(jié)構(gòu)化資料例如Amazon Ion格式進行查詢，另外，PartiQL也可用于文件數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫，查詢無固定結(jié)構(gòu)的資料。
AWS表示，PartiQL的出現(xiàn)，是為了滿足自家查詢和轉(zhuǎn)換大量資料的需求，其提供嚴(yán)格的SQL兼容性，可與標(biāo)準(zhǔn)SQL混合使用，執(zhí)行連接（Join）、過濾（Filtering）與聚合（Aggregation）操作，并以最小擴充支持巢狀和半結(jié)構(gòu)化資料，讓開發(fā)者以簡單且一致的方法，不需要更改查詢語言，就能查詢各種格式和服務(wù)的資料。
PartiQL具格式獨立性與儲存獨立性，PartiQL語法和語義不依賴任何資料格式，無論使用者是要查詢JSON、Parquet、ORC、CSV還是Ion等格式，查詢語句的寫法都相同，PartiQL的查詢在綜合邏輯類型系統(tǒng)上運作，才對應(yīng)到不同底層的格式。而PartiQL也不相依于特定資料儲存，因此適用于不同的底層資料儲存。
雖然過去針對跨不同類型數(shù)據(jù)庫查詢的問題，已有不少解決方案，AWS指出，像是Postgres JSON同樣也兼容于SQL，但是卻無法良好地處理JSON巢狀資料；而半結(jié)構(gòu)化查詢語言，雖然能良好處理巢狀資料，但卻無法與SQL語言兼容。AWS提到，PartiQL是第一個能夠完全解決這些問題的查詢語言。
目前AWS已在自家多項服務(wù)支持PartiQL，包括Amazon S3 Select、Amazon Glacier Select、Amazon Redshift Spectrum、Amazon QLDB，接下來幾個月將會有更多的AWS服務(wù)支持PartiQL，Couchbase也公布將加入支持PartiQL的行列?，F(xiàn)在PartiQL以Apache2.0授權(quán)許可開源，公開教學(xué)、規(guī)范以及參考實作，所有社群都能使用并參與貢獻(xiàn)。
如何玩轉(zhuǎn)NoSQL數(shù)據(jù)庫
如何玩轉(zhuǎn) NoSQL數(shù)據(jù)庫？作者：IT專家網(wǎng)
Weather公司CIO Bryson Koehler整理出了MongoDB，Riak和Cassandra等NoSQL數(shù)據(jù)庫的特性。他指出這其中最重要的特性是“NoSQL不會限制住你”。
Weather公司，致力于天氣報告和天氣預(yù)報業(yè)務(wù)，其并不缺乏數(shù)據(jù)，當(dāng)然也不缺乏數(shù)據(jù)管理工具。但它為什么需要三種不同的NoSQL數(shù)據(jù)庫？
最近，我向Weather 公司的CIO Bryson Koehler提出了這個疑問，除了公司的CIO,Bryson Koehler還是其他很多業(yè)務(wù)單元的孵化者,包括Weather Channel，WeatherFX，Weather Underground，和Intellicast等。Weather公司每天獲取和處理著約20萬億字節(jié)數(shù)據(jù)，對外提供當(dāng)前全球天氣狀況，并為航空公司，緊急服務(wù)，貨運商，公用事業(yè)，保險，以及在線天氣網(wǎng)站和天氣應(yīng)用程序的用戶提供天氣預(yù)報服務(wù)。每天需求增加了數(shù)十億的天氣數(shù)據(jù)請求，并且預(yù)期響應(yīng)時間要在10毫秒左右。
Riak是Weather 公司的后臺NoSQL數(shù)據(jù)庫，服務(wù)于公司的事務(wù)性存儲公用網(wǎng)絡(luò)(SUN)數(shù)據(jù)獲取平臺，它運行在多個亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)的可用區(qū)域上，并以每小時15次的頻率捕獲超過20億氣象數(shù)據(jù)信息，。所以，Riak具有明確的處理規(guī)模，但該公司也使用Cassandra以及新近添加的MongoDB數(shù)據(jù)庫，為Weather.com 上IOS和Android移動應(yīng)用程序服務(wù)。
Weather 公司使用了不同的產(chǎn)品，Koehler解釋說，因為“不同的工具有不同的優(yōu)勢。
Cassandra，它服務(wù)于Weather 公司以及全球消費者使用的第三方天氣應(yīng)用的API數(shù)據(jù)：“我們的數(shù)據(jù)分發(fā)平臺每秒處理數(shù)十萬的事務(wù)，我們發(fā)現(xiàn)Cassandra在用于全球分發(fā)數(shù)據(jù)上是一個很棒的解決方案，并且在[數(shù)據(jù)庫]讀取方面體現(xiàn)出很高的可用性 “。它本質(zhì)上為全球各地消費者所使用的數(shù)據(jù)服務(wù)，包括Weather 公司和第三方的天氣應(yīng)用程序。
MongoDB，它提供了Weather.com網(wǎng)站和移動應(yīng)用程序的中間層緩存功能：“離開我們的核心API，我們還沒有全部Weather.com內(nèi)容，所以MongoDB是容器和分發(fā)站，為Weather.com以及Android和iOS上的移動應(yīng)用程序服務(wù)。Mongo有很多好處，這些好處基于其內(nèi)建的JSON格式以及靈活性上?！?/p>
Riak，用于消費氣象數(shù)據(jù)和觀測，包括來自世界各地的圖片和視頻等：“我們喜愛Riak因其優(yōu)秀的數(shù)據(jù)攝取能力，而且是以一種全球分布式的方式來實現(xiàn)。這對于從全球分布式平臺上獲取數(shù)據(jù)的入站式數(shù)據(jù)庫是一個真正可靠的選擇。
我曾聽說Datastax，Basho和Couchbase的高管貶低MongoDB的可擴展性，但MongoDB指向大規(guī)模部署，在Facebook對超過200萬臺移動設(shè)備上應(yīng)用程序提供支持，在eHarmony公司，MongDB每天處理著數(shù)十億的潛在比賽預(yù)約。據(jù)Koehle所述，MongoDB為Weather.com和Weather.com移動應(yīng)用程序處理著“每天十億交易”，“毫無疑問，你可以通過配置和部署Mongo來處理大批量的交易數(shù)據(jù)?！?/p>
盡管如此，Koehler承認(rèn)，他將“很樂于看到MongoDB繼續(xù)使全球集群和多位置[功能]更加無縫化且易于使用。” 這些屬于全球性的分布式集群，復(fù)制和負(fù)載平衡是Cassandra和Riak眾所周知的功能。
從規(guī)模討論的角度來看，很少有公司達(dá)到Weather公司的經(jīng)營規(guī)模。易于開發(fā)，架構(gòu)靈活性和JSON數(shù)據(jù)處理使得MongoDB的成為世界上最流行的NoSQL數(shù)據(jù)庫。這就是為什么微軟和IBM都進行了MongoDB的模仿，如微軟的Azure DocumentDB和IBM的 Cloudant，而不是Cassandra和Riak。
Weather公司可以從三個NoSQL標(biāo)準(zhǔn)降低至兩個的過程中得到鞏固，Koehler說，但公司沒有準(zhǔn)備好這么做。
“由于我們構(gòu)造了由許多不同的數(shù)據(jù)解決方案組成的網(wǎng)狀結(jié)構(gòu)，我們目前的環(huán)境已過于復(fù)雜，”他說?！拔覀兿Ｍo團隊一些自由的空間，讓我們可以了解所有選擇的利弊，但你將會看到一些整合?！?/p>
到了那個時候，遷移將不在是一件難事，因為“關(guān)于NoSQL數(shù)據(jù)庫最重要的事情是，你不會被困在其中，” Koehler說?！叭绻愕募軜?gòu)和編碼正確，從一個數(shù)據(jù)庫遷移到另一個并不難。隨著模式的自由以及數(shù)據(jù)轉(zhuǎn)存技術(shù)的發(fā)展，無論前者是一個key-value存儲或其他什么形式，轉(zhuǎn)儲數(shù)據(jù)都將十分容易?！?/p>
對特定產(chǎn)品進程自定義編碼的復(fù)雜的存儲過程已經(jīng)一去不復(fù)返了，Koehler說，但關(guān)于“結(jié)構(gòu)化和編碼正確”還有很多需要考慮的地方?這樣做是為了避免特殊供應(yīng)商提供的工具和功能可能讓你身陷其中。他舉了亞馬遜網(wǎng)絡(luò)服務(wù)“(AWS)的消息服務(wù)為例。
“你不必讓服務(wù)在云中運行，”他解釋說?！澳憧梢灾徊渴鹱约旱腞abbitMQ的環(huán)境，而不是陷于其中，所以你可以將一個原先部署在AWS 上的應(yīng)用程序轉(zhuǎn)而部署在谷歌計算云服務(wù)上。無論它是數(shù)據(jù)平臺，存儲環(huán)境，或云計算環(huán)境，都要小心別讓自己局限在一個僅由一個供應(yīng)商提供的小范圍空間內(nèi)“。
轉(zhuǎn)載
名稱欄目：亞馬遜nosql數(shù)據(jù)庫,什么是nosql數(shù)據(jù)庫
路徑分享：http://www.dlmjj.cn/article/dseegjg.html
