日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

Elasticsearch究竟要設(shè)置多少分片數(shù)，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿(mǎn)足客戶(hù)于互聯(lián)網(wǎng)時(shí)代的商河網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

0、引言

 在構(gòu)建Elasticsearch集群的初期如果集群分片設(shè)置不合理，可能在項(xiàng)目的中后期就會(huì)出現(xiàn)性能問(wèn)題。

Elasticsearch是一個(gè)非常通用的平臺(tái)，支持各種各樣的用例，并且為數(shù)據(jù)組織和復(fù)制策略提供了巨大靈活性。這種靈活性使得作為ELK新手的你將數(shù)據(jù)組織成索引和分片變得困難。雖然不一定會(huì)在首次啟動(dòng)時(shí)出現(xiàn)問(wèn)題，但由于數(shù)據(jù)量隨時(shí)間的推移，可能會(huì)導(dǎo)致性能問(wèn)題。集群所擁有的數(shù)據(jù)越多，糾正問(wèn)題就越困難，甚至有時(shí)可能需要重新索引大量數(shù)據(jù)。

當(dāng)我們遇到遭遇性能問(wèn)題的用戶(hù)時(shí)，可以追溯到關(guān)于數(shù)據(jù)索引的數(shù)據(jù)和群集數(shù)量的問(wèn)題并不罕見(jiàn)。 對(duì)于涉及multi-tenancy或使用基于時(shí)間的索引的用戶(hù)尤其如此。 在與用戶(hù)討論這個(gè)問(wèn)題時(shí)（會(huì)議、論壇形式），引申出的一些最常見(jiàn)的問(wèn)題是：

1）“我應(yīng)該有多少個(gè)分片？”
2）“我的分片應(yīng)該有多大”？

下面幫助您回答這些問(wèn)題，并為使用基于時(shí)間的索引的使用案例（ 日志記錄或安全分析 ）提供實(shí)用的指導(dǎo)。

1、什么是分片？

在開(kāi)始之前，讓我們約定文章中用到的一些概念和術(shù)語(yǔ)。 

Elasticsearch中的數(shù)據(jù)組織成索引。每一個(gè)索引由一個(gè)或多個(gè)分片組成。每個(gè)分片是Luncene索引的一個(gè)實(shí)例，你可以把實(shí)例理解成自管理的搜索引擎，用于在Elasticsearch集群中對(duì)一部分?jǐn)?shù)據(jù)進(jìn)行索引和處理查詢(xún)。

【刷新】當(dāng)數(shù)據(jù)寫(xiě)入分片時(shí)，它會(huì)定期地發(fā)布到磁盤(pán)上的新的不可變的Lucene段中，此時(shí)它可用于查詢(xún)?！@被稱(chēng)為刷新。更詳細(xì)的解讀請(qǐng)參考： 
http://t.cn/R05e3YR

【合并】隨著分段數(shù)（segment）的增長(zhǎng)，這些segment被定期地整合到較大的segments。 這個(gè)過(guò)程被稱(chēng)為合并（merging）。

由于所有段都是不可變的， 因?yàn)樾碌暮喜⒍涡枰獎(jiǎng)?chuàng)建，舊的分段將被刪除 ，這意味著所使用的磁盤(pán)空間通常在索引時(shí)會(huì)波動(dòng)。 合并可能資源相當(dāng)密集，特別是在磁盤(pán)I/O方面。

分片是Elasticsearch在集群周?chē)职l(fā)數(shù)據(jù)的單位。 Elasticsearch在重新平衡數(shù)據(jù)時(shí) （例如 發(fā)生故障后） 移動(dòng)分片的速度 取決于分片的大小和數(shù)量以及網(wǎng)絡(luò)和磁盤(pán)性能。

提示：避免有非常大的分片，因?yàn)榇蟮姆制赡軙?huì)對(duì)集群從故障中恢復(fù)的能力產(chǎn)生負(fù)面影響。 對(duì)于多大的分片沒(méi)有固定的限制，但是分片大小為50GB通常被界定為適用于各種用例的限制。

2、索引有效期（ retention period ）

由于段是不可變的，更新文檔需要Elasticsearch首先查找現(xiàn)有文檔，然后將其標(biāo)記為已刪除，并添加更新的版本。刪除文檔還需要找到文檔并將其標(biāo)記為已刪除。因此，刪除的文檔將繼續(xù)占據(jù)磁盤(pán)空間和一些系統(tǒng)資源，直到它們被合并，這將消耗大量的系統(tǒng)資源。

Elasticsearch允許從文件系統(tǒng)直接刪除完整索引，而不必明確地必須單獨(dú)刪除所有記錄。這是迄今為止從Elasticsearch刪除數(shù)據(jù)的最有效的方式。

提示：盡可能使用基于時(shí)間的索引來(lái)管理數(shù)據(jù)。根據(jù)保留期（retention period，可以理解成有效期）將數(shù)據(jù)分組。基于時(shí)間的索引還可以輕松地隨時(shí)間改變主分片和副本分片的數(shù)量（以為要生成的下一個(gè)索引進(jìn)行更改）。這簡(jiǎn)化了適應(yīng)不斷變化的數(shù)據(jù)量和需求。3、索引和分片不是空閑的？

【集群狀態(tài)】對(duì)于每個(gè)Elasticsearch索引，其映射和狀態(tài)的信息都存儲(chǔ)在集群狀態(tài)。 這些集群狀態(tài)信息保存在內(nèi)存中以便快速訪問(wèn)。 因此，如果在集群中擁有大量索引，可能導(dǎo)致大的集群狀態(tài)（特別是如果映射較大）。 所有更新集群狀態(tài)操作為了在集群中保證一致性，需要通過(guò)單個(gè)線(xiàn)程完成，因此更新速度將變慢。

提示：為了減少索引數(shù)量并避免大的乃至非常龐大的映射，請(qǐng)考慮將相同索引結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)在相同的索引中，而不是基于數(shù)據(jù)的來(lái)源將數(shù)據(jù)分割成獨(dú)立的索引。 在每個(gè)索引的索引數(shù)量和映射大小之間找到一個(gè)很好的平衡很重要。**

每個(gè)分片都有數(shù)據(jù)需要保存在內(nèi)存中并使用堆空間。 這包括在分片級(jí)別保存信息的數(shù)據(jù)結(jié)構(gòu)，也包括在段級(jí)別的數(shù)據(jù)結(jié)構(gòu)，以便定義數(shù)據(jù)駐留在磁盤(pán)上的位置。 這些數(shù)據(jù)結(jié)構(gòu)的大小不是固定的，并且將根據(jù)用例而有所不同。

然而，段相關(guān)開(kāi)銷(xiāo)的一個(gè)重要特征是它與分段的大小不成正比。 這意味著與較小的段相比，較大的段的每個(gè)數(shù)據(jù)量具有較少的開(kāi)銷(xiāo)，且這種差異很大。

【堆內(nèi)存的重要性】為了能夠每個(gè)節(jié)點(diǎn)存儲(chǔ)盡可能多的數(shù)據(jù)，重要的是盡可能多地管理堆內(nèi)存使用量并減少其開(kāi)銷(xiāo)。 節(jié)點(diǎn)擁有的堆空間越多，它可以處理的數(shù)據(jù)和分片越多。

因此，索引和分片從集群的角度看待不是空閑的，因?yàn)槊總€(gè)索引和分片都有一定程度的資源開(kāi)銷(xiāo)。

提示1：小分片會(huì)導(dǎo)致小分段(segment)，從而增加開(kāi)銷(xiāo)。目的是保持平均分片大小在幾GB和幾十GB之間。對(duì)于具有基于時(shí)間的數(shù)據(jù)的用例，通?？吹酱笮≡?0GB和40GB之間的分片。

提示2：由于每個(gè)分片的開(kāi)銷(xiāo)取決于分段數(shù)和大小，通過(guò)強(qiáng)制操作迫使較小的段合并成較大的段可以減少開(kāi)銷(xiāo)并提高查詢(xún)性能。一旦沒(méi)有更多的數(shù)據(jù)被寫(xiě)入索引，這應(yīng)該是理想的。請(qǐng)注意，這是一個(gè)消耗資源的（昂貴的）操作，較為理想的處理時(shí)段應(yīng)該在非高峰時(shí)段執(zhí)行。

提示3：您可以在集群節(jié)點(diǎn)上保存的分片數(shù)量與您可用的堆內(nèi)存大小成正比，但這在Elasticsearch中沒(méi)有的固定限制。 一個(gè)很好的經(jīng)驗(yàn)法則是：確保每個(gè)節(jié)點(diǎn)的分片數(shù)量保持在低于每1GB堆內(nèi)存對(duì)應(yīng)集群的分片在20-25之間。 因此，具有30GB堆內(nèi)存的節(jié)點(diǎn)最多可以有600-750個(gè)分片，但是進(jìn)一步低于此限制，您可以保持更好。 這通常會(huì)幫助群體保持處于健康狀態(tài)。

4、分片的大小如何影響性能？

在Elasticsearch中，每個(gè)查詢(xún)?cè)诿總€(gè)分片的單個(gè)線(xiàn)程中執(zhí)行。然而，可以并行處理多個(gè)分片，并可以在相同分片上執(zhí)行多個(gè)查詢(xún)和聚合。

【小分片的利弊】這意味著，在不涉及高速緩存時(shí)，最小查詢(xún)延遲將取決于數(shù)據(jù)、查詢(xún)的類(lèi)型、分片的大小。查詢(xún)大量小分片將使得每個(gè)分片的處理速度更快，但是隨著更多的任務(wù)需要按順序排隊(duì)和處理，它不一定要比查詢(xún)較小數(shù)量的更大的分片更快。如果有多個(gè)并發(fā)查詢(xún)，則有很多小碎片也會(huì)降低查詢(xún)吞吐量。

提示：從查詢(xún)性能角度確定最大分片大小的最佳方法是使用逼真的數(shù)據(jù)和查詢(xún)進(jìn)行基準(zhǔn)測(cè)試（真實(shí)數(shù)據(jù)而非模擬數(shù)據(jù)）。 始終使用查詢(xún)和索引負(fù)載進(jìn)行基準(zhǔn)測(cè)試，代表節(jié)點(diǎn)在生產(chǎn)中需要處理的內(nèi)容，因?yàn)閱蝹€(gè)查詢(xún)的優(yōu)化可能會(huì)產(chǎn)生誤導(dǎo)性的結(jié)果。

5、如何管理分片大?。?/strong>

當(dāng)使用基于時(shí)間的索引時(shí)，每個(gè)索引傳統(tǒng)上都與固定的時(shí)間段相關(guān)聯(lián)。 每日索引非常普遍，經(jīng)常用于持有時(shí)間區(qū)間短或每日量大的數(shù)據(jù)。 這些允許數(shù)據(jù)期限期間以良好的粒度進(jìn)行管理，并且可以方便地對(duì)每天更換調(diào)整volumes。

時(shí)間周期長(zhǎng)的數(shù)據(jù)，特別是如果每日不保存每天的索引數(shù)據(jù)，則通常會(huì)使用每周或每月的保存的碎片大小的增加。 這減少了隨著時(shí)間的流逝需要存儲(chǔ)在群集中的索引和碎片數(shù)量大?。ㄖ弊g有點(diǎn)費(fèi)勁此處）。

提示：如果使用固定期限的時(shí)間索引數(shù)據(jù)，可以根據(jù)時(shí)間周期和預(yù)期數(shù)據(jù)量調(diào)整所涵蓋的時(shí)間范圍，以達(dá)到目標(biāo)分片大小。

【均勻更新&快速變化的索引數(shù)據(jù)對(duì)比】具有固定時(shí)間間隔的基于時(shí)間的索引在數(shù)據(jù)量合理預(yù)測(cè)并且變化緩慢的情況下工作良好。 如果索引率可以快速變化，則很難保持均勻的目標(biāo)分片大小。

為了能夠更好地處理這種情況，推出了Rollover和Shrink API。這些增加了如何管理索引和分片的靈活性，尤其適用于基于時(shí)間的索引。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。