對于大規(guī)模系統(tǒng)日志的日志模式提煉算法的優(yōu)化
大?。?/span>0.66 MB 人氣： 2017-11-21 需要積分：0
標簽：日志(10558)
LARGE框架是部署在中國科學院超級計算環(huán)境中的日志分析系統(tǒng)，通過日志收集、集中分析、結果反饋等步驟對環(huán)境中的各種日志文件進行監(jiān)控和分析。在對環(huán)境中系統(tǒng)日志的監(jiān)控過程中，系統(tǒng)維護人員需要通過日志模式提煉算法將大量的過往系統(tǒng)日志記錄縮減為少量的日志模式集合。然而隨著日志規(guī)模的增長以及messages日志文件的特殊性，原有的日志模式提煉算法已經難以滿足對大規(guī)模日志快速處理的需要。介紹了一種對于日志模式提煉算法的優(yōu)化方法，通過引入MapReduce機制實現(xiàn)在存在多個日志輸入文件的情況下對日志處理和模式提煉的流程進行加速。實驗表明，當輸入文件較多時，該優(yōu)化方法能夠顯著提高詞匯一致率算法的運行速度，大幅減少運行時間。此外，還對使用詞匯轉換函數(shù)時的算法運行時間和提煉效果進行了驗證。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
對于大規(guī)模系統(tǒng)日志的日志模式提煉算法的優(yōu)化下載
相關電子資料下載
- 鴻蒙開發(fā)系統(tǒng)基礎能力：ohos.hilog 日志打印 166
- 鴻蒙開發(fā)系統(tǒng)基礎能力：ohos.faultLogger 故障日志獲取 146
- 奇怪！應用的日志呢？？ 173
- 微軟將Xbox Wire更新日志遷移至Xbox Support網站 233
- 【嵌入式SD NAND】基于FATFS/Littlefs文件系統(tǒng)的日志框架實現(xiàn) 847
- 【嵌入式SD NAND】基于FATFS/Littlefs文件系統(tǒng)的日志框架實現(xiàn) 794
- 基于Clickhouse構建新一代日志存儲系統(tǒng) 454
- Windows事件日志查看器存在零日漏洞 287
- 潤和軟件HopeStage與日志易系統(tǒng)完成產品兼容性互認證 233
- 請問Spring Boot是如何快速過濾出一次請求所有日志的？ 245