建站
咨詢
售后
建站咨詢
新聞中心
Flume是一個基于分布式的，有限的、可靠的、高吞吐的，流式數據傳輸框架，能夠收集、合并、路由和傳遞日志數據。它可以被用于搭建企業(yè)級數據管道，可以實現從收集數據到存儲數據的實時處理。在linux系統(tǒng)下，Flume可以方便用戶對大量實時日志數據進行管理和采集。本文將簡要介紹Linux系統(tǒng)下使用Flume的方法。
創(chuàng)新互聯建站專注于陳巴爾虎網站建設服務及定制，我們擁有豐富的企業(yè)做網站經驗。 熱誠為您提供陳巴爾虎營銷型網站建設，陳巴爾虎網站制作、陳巴爾虎網頁設計、陳巴爾虎網站官網定制、成都小程序開發(fā)服務，打造陳巴爾虎網絡公司原創(chuàng)品牌,更為您提供陳巴爾虎網站排名全網營銷落地服務。
1.準備工作
首先，在Linux系統(tǒng)下安裝Flume，并準備好需要監(jiān)控的日志資源。如果要監(jiān)控某個可寫入文件的日志源，可以使用tail指令來查看文件的實時變化。同時，還要根據需要配置Flume的全局配置文件，以及下游的保存設備的地址和端口等信息。
2.啟動Flume
可以借助以下Flume命令在Linux環(huán)境下啟動flume：
bin/flume-ng agent –c conf –f conf/flume-conf.properties –n a1
上述命令的功能是指定configuration files的位置，并指定Flume agent的name為a1，進而啟動agent a1。
3.Flume監(jiān)控文件內容
可以使用下面的配置令agent a1連接一個名為“tail”的source，并監(jiān)控指定的文件：
a1.sources.tail.type = exec
a1.sources.tail.command = tail -F /var/log/syslog
這里的a1.sources.tail表示設置agent a1的源，而a1.sources.tail.type表示設置其類型，這里設置為exec表示添加一個可執(zhí)行程序。a1.sources.tail.comand表示指定可執(zhí)行程序的命令，此處設置為使用tail指令來監(jiān)控/var/log/syslog文件。
4.通過Flume傳輸數據
以上已經介紹了如何監(jiān)控日志，接下來可以添加sink，將監(jiān)控到的數據進行處理并發(fā)送出去：
a1.sinks.k1.type = org.apache.hadoop.hive.jdbc.HiveDriver
a1.sinks.k1.channel = c1
a1.sinks.k1.hive.metastore.uris = jdbc:hive2://hive:10000/default
a1.sinks.k1.hive.db = default
a1.sinks.k1.hive.database = default
這里的a1.sinks.k1表示設置agent a1的sink，通過a1.sinks.k1.type指定sink的類型，這里表示為HiveDriver，能夠將數據寫入Hive中。a1.sinks.k1.channel指定channel的名稱，a1.sinks.k1.hive.metastore.uris指定Hive的metastore的地址，a1.sinks.k1.hive.db指定數據庫的名稱，本例中采用默認數據庫default。
5.結束Flume傳輸
最后，通過以下命令停止Flume傳輸程序：
# bin/flume-ng stop a1
上述命令指定停止agent a1，結束Flume傳輸。
到此為止，Linux系統(tǒng)下對日志數據進行采集和管理的整個過程就全部完成了。通過Flume，用戶可以方便地從實時日志數據中收集和傳輸必要的信息，實現企業(yè)級數據管道搭建，為其他Hadoop等數據處理起到很大的幫助。
成都創(chuàng)新互聯科技有限公司，是一家專注于互聯網、IDC服務、應用軟件開發(fā)、網站建設推廣的公司，為客戶提供互聯網基礎服務！
創(chuàng)新互聯（www.cdcxhl.com）提供簡單好用，價格厚道的香港/美國云服務器和獨立服務器。創(chuàng)新互聯成都老牌IDC服務商，專注四川成都IDC機房服務器托管/機柜租用。為您精選優(yōu)質idc數據中心機房租用、服務器托管、機柜租賃、大帶寬租用，可選線路電信、移動、聯通等。
標題名稱：Linux系統(tǒng)下Flume使用指南（flumelinux）
轉載源于：http://www.dlmjj.cn/article/cdgoeig.html
