15 分鐘內(nèi)，在 Kubernetes 上設置 Apache Pinot

作者：科技狠活與軟件技術(shù) 2023-05-17 15:09:17

云計算 了解如何在 Kubernetes 上安裝 Pinot Control Plane，配置您的第一個 Pinot 集群，并深入了解控制平面功能。

泰山網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、響應式網(wǎng)站設計等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)公司2013年成立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設就選創(chuàng)新互聯(lián)。

了解如何在 Kubernetes 上安裝 Pinot Control Plane，配置您的第一個 Pinot 集群，并深入了解控制平面功能。

作為一名經(jīng)驗豐富的專業(yè)人士，我作為 Apache Druid k8s operator 的維護者獲得了豐富的經(jīng)驗，并且與人合著并致力于各種 k8s operators/庫。通過我的經(jīng)驗，我認識到需要建立特定于應用程序的控制平面，以促進大數(shù)據(jù)在 Kubernetes 上的順利運行。

在我過去的角色中，我為 RillData 的 Druid、Startree 的 Pinot 和 Chistadata 的 Clickhouse 構(gòu)建了 Kubernetes 控制平面。在所有三個 OLAP 商店工作之后，我現(xiàn)在完全致力于我的最新企業(yè) DataInfra，該公司專注于構(gòu)建高效的控制平面，使數(shù)據(jù)能夠在 Kubernetes 上無縫運行。

為什么 Pinot 的控制平面？

我們相信 Kubernetes 可以作為任何應用程序的控制平面，包括那些具有數(shù)據(jù)和狀態(tài)集的應用程序。雖然 Helm 圖表對配置管理很有用，但它們不維護應用程序的狀態(tài)。這就是我們基于 Kubernetes 操作符模式構(gòu)建控制平面的原因，它充當您的應用程序需求和 Kubernetes 基礎(chǔ)設施之間的橋梁。

k8s 的 Pinot 控制平面專門設計用于改善運行 Apache Pinot 集群的用戶體驗。作為一個分布式數(shù)據(jù)庫，如果沒有合適的工具，Pinot 很難在 Kubernetes 上運行。我們的項目基于DSOI 規(guī)范，并使用Operator-Runtime庫構(gòu)建，以提供更加用戶友好和 Kubernetes 友好的體驗。

本項目基于 Kubernetes 算子模式，但不限于此模式。鑒于 Pinot 的復雜性，僅依靠 Kubernetes 運營商可能不足以有效管理其運營。我們對該項目的愿景是創(chuàng)建一套全面的工具和實用程序，以實現(xiàn) Pinot 在 Kubernetes 上的無縫部署和操作。

安裝 Pinot 控制平面

Pinot 控制平面支持基于Helm Chart 的部署。要安裝圖表，請運行以下命令。我們將使用 Makefile 命令來引導控制平面。

• Clone the Repo

git clone https://github.com/datainfrahq/pinot-control-plane-k8s.git

• 部署 Pinot 控制平面——以下命令在 pinot-control-plane 命名空間中使用 helm 部署控制平面。

make helm-install-pinot-control-plane

• 部署 Zookeeper Operator 和 Zookeeper — 以下命令需要幾分鐘才能完成。它將在 zookeeper-operator 命名空間中部署 zookeeper operator，在 pinot 命名空間中部署 zk statefulset

make helm-install-zk-operator

安裝 Pinot Cluster

導出 Kubernetes 存儲類。

export STORAGE_CLASS_NAME=standard

• 安裝 Pinot Cluster

envsubst < examples/00-pinot-basic/pinot-basic.yaml | kubectl apply -f - -n pinot

安裝 Kafka 集群并創(chuàng)建主題

• 添加 Helm 倉庫并安裝 Kafka 集群

# Add Kafka
helm repo add kafka https://charts.bitnami.com/bitnami
# Deploy kafka
helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest

•  Kafka Pod 啟動并運行后，創(chuàng)建主題

# Add Kafka
helm repo add kafka https://charts.bitnami.com/bitnami
# Deploy kafka
helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest

創(chuàng)建 Pinot 模式

• Pinot 控制平面支持模式的創(chuàng)建。

kubectl apply -f examples/00-pinot-basic/pinotschema-basic.yaml -n pinot

創(chuàng)建比諾表

• Pinot 控制平面支持創(chuàng)建表。

kubectl apply -f examples/00-pinot-basic/pinottable-basic.yaml -n pinot

將數(shù)據(jù)提取到 Kafka

• 將數(shù)據(jù)提取到 kafka 主題中

kubectl apply -f examples/00-pinot-basic/pinot-realtime-kafka.yaml

訪問 Pinot 控制臺

• 通過端口轉(zhuǎn)發(fā)控制器 pod 或 svc 訪問 pinot 控制臺。

kubectl port-forward pinot-controller-controller-0 -n pinot 9000

當前文章：15分鐘內(nèi)，在Kubernetes上設置ApachePinot
URL標題：http://www.dlmjj.cn/article/cdppcph.html