建站
咨詢
售后
建站咨詢
新聞中心
Linux集群命令分發(fā)執(zhí)行腳本
如果沒有運維人員或運維軟件，但是又面臨在一個集群中每臺機器都執(zhí)行一個命令時，總不能真的登錄每一臺吧。那這里就起一個簡單的命令分發(fā)執(zhí)行腳本。
目前成都創(chuàng)新互聯(lián)已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站托管運營、企業(yè)網(wǎng)站設(shè)計、監(jiān)利網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
0、確保腳本所在的機器能夠免密登錄到集群其他機器
SSH免密登錄配置
1、將集群的IP都寫入一個文件中
2、編寫命令分發(fā)腳本
如果機器數(shù)量少，可以替換第三行語句為
如果機器IP配置的映射名有規(guī)律，也可以替換第三行語句為
同時后面的 $i 替換為 hadoop$i?
3、測試
Linux HA 集群原理和配置-02
本文介紹在Linux HA集群中的仲裁和分區(qū)概念。
集群正常工作時，所有節(jié)點都在一個分區(qū)內(nèi)（partition），分區(qū)內(nèi)的所有節(jié)點將選舉出一個仲裁節(jié)點，這個仲裁節(jié)點負責(zé)向其他節(jié)點發(fā)送集群控制命令。當(dāng)網(wǎng)絡(luò)發(fā)生故障時，集群中的節(jié)點發(fā)現(xiàn)無法和仲裁節(jié)點通信，則會在可通信的范圍內(nèi)重新選舉一個新的仲裁節(jié)點。此時集群內(nèi)可能出現(xiàn)多個仲裁節(jié)點，每個仲裁節(jié)點的管理范圍為一個分區(qū)。
下文中將通過防火墻策略的設(shè)置模擬集群網(wǎng)絡(luò)中通信出現(xiàn)異常的各種情況，如：
通過防火墻策略可以精準控制兩兩節(jié)點之間的連通性，使我們能更準確的了解在網(wǎng)絡(luò)連通性發(fā)生變化對集群的影響。
在所有節(jié)點上啟動防火墻，并添加策略對整個管理網(wǎng)絡(luò)192.168.56.0/24放通。
保存上述策略，之后在實驗過程會使用iptables命名加入新策略模擬網(wǎng)絡(luò)通信異常效果，如果需要恢復(fù)網(wǎng)絡(luò)通信正常狀態(tài)，直接不保存策略重啟firewalld服務(wù)即可。
通過pcs status查看集群狀態(tài)：
上述結(jié)果顯示當(dāng)前集群只有一個分區(qū)，分區(qū)內(nèi)的節(jié)點包括全部3臺主機，仲裁節(jié)點是ha-host3，這表示集群間的通信是完好的。下圖顯示當(dāng)前集群狀態(tài)：
在ha-host1上添加以下策略：
該策略將使得ha-host1和ha-host3之間的通信中斷，在所有節(jié)點上查看集群狀態(tài)：
上面的結(jié)果顯示，ha-host1失去和當(dāng)前仲裁節(jié)點ha-host3的聯(lián)系之后，和ha-host2一起組成新的分區(qū)并選舉出ha-host2作為新的仲裁節(jié)點。有趣的是ha-host2和ha-host3的通信并未中斷，但是他被“優(yōu)先級較高的ha-host1搶走并推舉為老大”，剩下ha-host3獨自留在其自身所在的分區(qū)。此時ha-host3所在的分區(qū)提示了“partition WITHOUT quorum”，表示該分區(qū)中的節(jié)點數(shù)目不超過一半。
下圖顯示當(dāng)前集群狀態(tài)：
在ha-host1上再添加策略：
使其和當(dāng)前的仲裁節(jié)點ha-host2的通信中斷，集群狀態(tài)變?yōu)椋?/p>
發(fā)現(xiàn)ha-host2和ha-host3一起組成了新的分區(qū)，由于ha-host1所在分區(qū)節(jié)點數(shù)不足一半，無法啟動資源，虛擬ip資源vip被切換到了ha-host2上。下圖顯示當(dāng)前集群狀態(tài)：
如果再把ha-host2和ha-host3直接的通信中斷，此時3個節(jié)點間兩兩均無法通信。每個節(jié)點都是一個分區(qū)，每個分區(qū)的主機數(shù)均不過半，因此無法啟動任何資源，原先運行在ha-host2上的vip也停止了。
當(dāng)前集群狀態(tài)如下圖：
Linux集群使用命令
存儲NAS 文件操作
df -h查看空間使用情況
警惕超大 nohup.out
任務(wù)提交
任務(wù)提交前
qhost--查看集群負載狀態(tài)
qsub / qsub-sge.pl--提交任務(wù)
qstat--查看任務(wù)狀態(tài)
qdel / qmod--任務(wù)控制
任務(wù)查看
qhost -j---列出所有用戶在每個節(jié)點上的任務(wù)
qhost -q---列出每個節(jié)點上每個隊列的任務(wù)數(shù)
qhost -u username---列出某個用戶在每個節(jié)點上的任務(wù)
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh
任務(wù)查看2
qstat -u username---查看某個用戶的任務(wù)
qstat -u *,---查看所有用戶的任務(wù)
qstat –j jobs_ID---查看某個任務(wù)的詳細信息
查看.e和.o文件
.e：錯誤信息
.o：標準輸出
任務(wù)控制
qdel jobID---刪除某個任務(wù)
qdel -u username---刪除某個用戶的所有任務(wù)
qmod -s jobID--掛起某個任務(wù)
qmod -us jobID---繼續(xù)運行某個掛起的任務(wù)
按任務(wù)占用內(nèi)存大小選擇相應(yīng)的隊列
查看隊列 qstat -g c
QUEUE
PE.q--并行
cloud.q--云平臺
general.q--96G節(jié)點
middle.q--96G節(jié)點
great.q--大內(nèi)存節(jié)點
plus.q--大內(nèi)存節(jié)點
single.q--Trinity組裝
single._p.q---Trinity組裝（占用內(nèi)存較大）
TOP監(jiān)視
編輯于 2017-04-21
Linux集群常用指令
姓名：張昊楠? ?學(xué)號：21021210691
存儲NAS 文件操作
df -h查看空間使用情況
警惕超大 nohup.out
ls? ?當(dāng)前路徑下的文件列表
pwd? 查看當(dāng)前路徑
cd? ? 進入某個文件夾
任務(wù)提交
任務(wù)提交前
qhost--查看集群負載狀態(tài)
qsub / qsub-sge.pl--提交任務(wù)
qstat--查看任務(wù)狀態(tài)
qdel / qmod--任務(wù)控制
任務(wù)查看
qhost -j---列出所有用戶在每個節(jié)點上的任務(wù)
qhost -q---列出每個節(jié)點上每個隊列的任務(wù)數(shù)
qhost -u username---列出某個用戶在每個節(jié)點上的任務(wù)
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh
任務(wù)查看2
qstat -u username---查看某個用戶的任務(wù)
qstat -u *,---查看所有用戶的任務(wù)
qstat –j jobs_ID---查看某個任務(wù)的詳細信息
查看.e和.o文件
.e：錯誤信息
.o：標準輸出
任務(wù)控制
qdel jobID---刪除某個任務(wù)
qdel -u username---刪除某個用戶的所有任務(wù)
qmod -s jobID--掛起某個任務(wù)
qmod -us jobID---繼續(xù)運行某個掛起的任務(wù)
按任務(wù)占用內(nèi)存大小選擇相應(yīng)的隊列
查看隊列 qstat -g c
QUEUE
PE.q--并行
cloud.q--云平臺
general.q--96G節(jié)點
middle.q--96G節(jié)點
great.q--大內(nèi)存節(jié)點
plus.q--大內(nèi)存節(jié)點
single.q--Trinity組裝
single._p.q---Trinity組裝（占用內(nèi)存較大）
網(wǎng)站名稱：集群命令linux linux chia集群
標題路徑：http://www.dlmjj.cn/article/dojchis.html
