新聞中心
背景
經(jīng)常需要查看日志,不僅是用來排錯,有些時(shí)候我還需要監(jiān)控系統(tǒng)來抓取特定日志來幫助減少我的工作負(fù)擔(dān),以及時(shí)監(jiān)控到異常出現(xiàn),并作出通知及響應(yīng),那么從大量日志中快速并精確篩選出想要的日志,并且精確提取信息,是一個必備的技能。我曾經(jīng)用內(nèi)置的事件查看器的篩選器進(jìn)行事件篩選,然后保存視圖,或者使用powershell get-winevent 進(jìn)行篩選,也使用logparser, 或者第三方的日志查看工具比如eventexplorer 進(jìn)行日志篩選。但是總是遇到幾個主要的問題:
創(chuàng)新互聯(lián)建站專注于白云企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,商城開發(fā)。白云網(wǎng)站建設(shè)公司,為白云等地區(qū)提供建站服務(wù)。全流程按需求定制開發(fā),專業(yè)設(shè)計(jì),全程項(xiàng)目跟蹤,創(chuàng)新互聯(lián)建站專業(yè)和態(tài)度為您提供的服務(wù)
從大量日志中過濾出極個別日志,每次執(zhí)行的事件總是太長。
不能靈活的或者更精確的進(jìn)行篩選。一般只能大概的匹配,然后再做一步處理。通常又遇到1的問題。
嘗試和比較
經(jīng)過一些嘗試和使用,個人覺得powershell 的get-winevent 最方便,因?yàn)楫吘故且粋€腳本語言,可以進(jìn)一步進(jìn)行處理,而且可以很靈活的處理。logparser 很快,但是如果精確提取某些日志的字段,就沒有那么容易了,windows 日志的EventData中的數(shù)據(jù)復(fù)雜多樣,靠幾個常規(guī)字段是沒有辦法靈活進(jìn)行處理的。
論速度的話,除了logparser,使用xml 篩選是最快速的。但是xml 篩選需要使用復(fù)雜的、受限的xpath 1.0 (被微軟實(shí)現(xiàn)后,有更多限制),雖然有點(diǎn)蹩腳又難懂,但是和時(shí)間節(jié)省算起,還是劃的來的,特別是重復(fù)任務(wù)。
一個比較好的開始是從下面鏈接開始。
https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/
正式實(shí)踐
一個比較常用場景是,我經(jīng)常需要精確過濾到哪個賬號最近鎖定了,哪臺計(jì)算機(jī)鎖定的,什么時(shí)候。我需要很快速的能查詢到鎖定日志。過去雖然我用get-winevent –filterhashtable 可以做到這些,但是速度實(shí)在太慢了,雖然我的域控只有4臺。我經(jīng)常和用戶說,如果你想知道你在哪臺計(jì)算機(jī)上鎖定了,請等待一段時(shí)間,我會把查詢結(jié)果用郵件發(fā)給你。不過現(xiàn)在使用xpath 過濾時(shí),我基本上可以在用戶打電話過來時(shí),告訴他這些信息。
下面XML 過濾AD安全日志中的最近一天的某個用戶名的鎖定日志
如果你只想過濾最近一天所有用戶的鎖定日志,那么這樣寫
上面過濾XML可以在 事件查看器的 篩選當(dāng)前日志--》XML---》手動編輯查詢中進(jìn)行測驗(yàn)。

OK ,為了方便使用,我們做成一個powershell function ,方便日常使用,直接上例子。
function get-lockedEvent{
<#
.SYNOPSIS
Function to filter user locked event which id=4740
.DESCRIPTION
This function search user locked events in DC security logs, this function need the domain admin priv.
.EXAMPLE
get-lockedEvent -loginname oaoperator -show
.EXAMPLE
PS C:\> get-lockedEvent -loginname oaoperator -summary
Count Name
----- ----
457 Oaoperator, OA
.EXAMPLE
PS C:\> get-lockedEvent -loginname oaoperator
Username LockedPC Datetime EventLocation
-------- -------- -------- -------------
Oaoperator OA 2018/9/27 10:27:40 dc02
Oaoperator OA 2018/9/27 10:32:40 dc02
#>
[cmdletbinding()]
param(
[parameter(Mandatory=$false)]
[string]
$loginname,
[Parameter(Mandatory=$false)]
[switch]
$summary,
[Parameter(Mandatory=$false)]
[switch]
$show
)
# filter Locked Events generated in 1 day and username eq loginname
$f2=@'
'@
# filter Locked Events generated in 1 day
$f1=@'
'@
if($loginname){
$f=$f2 -f $loginname
}else{
$f=$f1
}
$DCs=Get-ADDomainController -Filter *|%{$_.hostname}
$r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{
param(
$filter
)
$events=Get-WinEvent -FilterXml $filter
$events|%{
$e=[xml]$_.toxml()
[PSCustomObject]@{
'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text"
'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text"
'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime
'EventLocation'=$e.Event.System.Computer
}
}
}|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation'
if($summary){
$r=$r|Group-Object -Property Username,LockedPC -NoElement
}
if($show){
$r|Out-GridView
}else{
$r
}
}
另外一個實(shí)踐
由于最近有一些計(jì)劃任務(wù)的狀態(tài)需要監(jiān)控,而且考慮到這應(yīng)該是一個非常通用的需求,所以我想過濾計(jì)劃任務(wù)名稱匹配\qq_ent 開頭的,然后任務(wù)執(zhí)行結(jié)果不為0的日志,盡管我參考著下面的一些blog 鏈接,也讓我嘗試了好一會,我想應(yīng)該記錄下這些過程。
我們先來看看計(jì)劃任務(wù)日志的xml 內(nèi)容:
201 2 4 201 2 0x8000000000000000 144817 Microsoft-Windows-TaskScheduler/Operational ComputerName.xxx.com \qq_ent\store_to_db {110529FD-DBFD-4E59-B207-83DF8CC779B8} C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe 2147942401 22172
說下我們的任務(wù):
匹配 EventData 中Data 名稱為TaskName的,它的值應(yīng)該是\qq_ent\xxxx
匹配 EventData中 Data 名稱為ResultCode的,它的值應(yīng)該是>0 或者不等于0的
EventID=201
Provider Name=Microsoft-Windows-TaskScheduler
最后成型的過濾,和微軟的之前的例子不一樣。
我之前按照微軟的例子是這樣寫的,結(jié)果不對的。
注意事項(xiàng)
event log 中的Xpath 受限,能使用的函數(shù)有限,因此如果你想篩選字符串,你會發(fā)現(xiàn)starts-with contains 這些xpath 函數(shù)都不支持。盡量使用其他條件篩選,然后再使用powershell內(nèi)置過濾功能進(jìn)行過濾,當(dāng)然這要犧牲一些處理時(shí)間。
Xpath中的一些字符串要進(jìn)行轉(zhuǎn)義,比如你想比較一個數(shù)字,可能寫Data>0,那么> 要轉(zhuǎn)義成>
參考資料
https://blogs.technet.microsoft.com/heyscriptingguy/2011/01/24/use-powershell-cmdlet-to-filter-event-log-for-easy-parsing/
https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/04/data-mine-the-windows-event-log-by-using-powershell-and-xml/
https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/03/use-filterhashtable-to-filter-event-log-with-powershell/
https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/
本文名稱:Windows日志高級篩選實(shí)踐
文章鏈接:http://www.dlmjj.cn/article/igcooh.html


咨詢
建站咨詢
