KSQL，用于Apache Kafka的流數(shù)據(jù)SQL引擎

作者：佚名 2017-09-06 16:49:43
大數(shù)據(jù)
SQL Server
Kafka Apache Kafka是一個分布式的、分區(qū)的、多復(fù)本的日志提交服務(wù)，使用Scala編寫，以可水平擴展和高吞吐率而被廣泛使用。

公司主營業(yè)務(wù)：成都做網(wǎng)站、成都網(wǎng)站設(shè)計、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出富縣免費做網(wǎng)站回饋大家。

Apache Kafka是一個分布式的、分區(qū)的、多復(fù)本的日志提交服務(wù)，使用Scala編寫，以可水平擴展和高吞吐率而被廣泛使用。Kafka最初是由LinkedIn開發(fā)，并于2011年初開源，目標是為實時數(shù)據(jù)處理提供一個統(tǒng)一、高通量、低等待的平臺。目前，越來越多的開源分布式處理系統(tǒng)如Cloudera、Apache Storm、Spark都支持與Kafka集成。

Kafka拓撲結(jié)構(gòu)

Kafka的設(shè)計可以幫助用戶解決很多架構(gòu)上的問題，其具備的高性能、低耦合、高可靠性、數(shù)據(jù)不丟失等特性，結(jié)合實際的應(yīng)用系統(tǒng)使用場景，能夠非常滿足用戶的需求。

8月28日，Kafka Summit大會在舊金山召開，同一天Confluent宣布Kafka新的里程碑：KSQL——用于Apache Kafka的流數(shù)據(jù)SQL引擎。KSQL(點擊查看demo)是分布式、可擴展、可靠的和實時的，支持多種流式操作，包括聚合(aggregate)、連接(join)、時間窗口(window)、會話(session)等等。它為Kafka的流處理提供了一個簡單而完整的SQL界面，而不需要再用編程語言(如Java或Python)編寫代碼。

KSQL的兩個核心概念是流(Stream)和表(Table)，集成流和表，允許將代表當(dāng)前狀態(tài)的表與代表當(dāng)前發(fā)生事件的流連接在一起。

KSQL項目架構(gòu)

事實上，KSQL與關(guān)系型數(shù)據(jù)庫中的SQL還是有很大不同的。傳統(tǒng)的SQL都是即時的一次性操作，不管是查詢還是更新都是在當(dāng)前的數(shù)據(jù)集上進行。KSQL的查詢和更新是持續(xù)進行的，而且數(shù)據(jù)集可以源源不斷地增加。簡言之，KSQL所做的其實是轉(zhuǎn)換操作，也就是流式處理。

雖然項目基于Apache 2.0協(xié)議開源，但目前還處于開發(fā)者預(yù)覽階段，不建議用于生產(chǎn)集群中。在可預(yù)料的條件下，KSQL在實時監(jiān)控、安全檢測、在線數(shù)據(jù)集成、應(yīng)用開發(fā)等場景擁有極大的潛力。

實時監(jiān)控：通過KSQL自定義業(yè)務(wù)層面的度量指標，可以實時獲得。底層的度量指標無法告訴用戶應(yīng)用程序的實際行為，所以基于應(yīng)用程序生成的原始事件來自定義度量指標可以更好地了解應(yīng)用程序的運行狀況。另外，可以通過KSQL為應(yīng)用程序定義某種標準，用于檢查應(yīng)用程序在生產(chǎn)環(huán)境中的行為是否達到預(yù)期;

安全檢測：KSQL把事件流轉(zhuǎn)換成包含數(shù)值的時間序列數(shù)據(jù)，通過可視化工具把這些數(shù)據(jù)展示在UI上，可以檢測到很多威脅安全的行為，比如欺詐、入侵等等;

在線數(shù)據(jù)集成：大部分的數(shù)據(jù)處理都會經(jīng)歷ETL過程，而這樣的系統(tǒng)通常都是通過定時的批次作業(yè)來完成數(shù)據(jù)處理的，但批次作業(yè)所帶來的延時在很多時候是無法被接受的。通過使用KSQL和Kafka連接器，可以將批次數(shù)據(jù)集成轉(zhuǎn)變成在線數(shù)據(jù)集成;

應(yīng)用開發(fā)：對于復(fù)雜應(yīng)用來說，使用Kafka的原生Streams API或許更合適。不過對于簡單應(yīng)用，或者對于不喜歡Java編程的人來說，KSQL會是更好的選擇。

未來，項目計劃增加更多的特性，包括支持更豐富的SQL語法，讓KSQL成為生產(chǎn)就緒的系統(tǒng)。相信KSQL為處理Kafka數(shù)據(jù)而提供的簡單完整的可交互式SQL接口，能夠降低流式處理的門檻。

網(wǎng)頁標題：KSQL，用于ApacheKafka的流數(shù)據(jù)SQL引擎
轉(zhuǎn)載源于：http://www.dlmjj.cn/article/dhsoeop.html