Logreduce:用 Python 和机器学习去除日志噪音

时间:2019-09-01 来源:www.feijiazhuang.com

审计报告可以归档为单独的数据集,其中包含目标日志文件和记录在普通JSON文件中的异常行的分数。

Logreduce已经在运行,但是有很多机会可以改进该工具。未来的计划包括:

计划在日志文件中找到的许多带注释的例外,并生成公共域数据集以供进一步研究。日志文件中的异常检测是一个具有挑战性的主题,拥有用于测试新模型的通用数据集将有助于识别新的解决方案。重复使用带注释的异常模型来优化报告的距离。例如,当用户通过将距离设置为零将日志行标记为误报时,模型可能会在将来的报告中降低这些日志行的分数。针对存档例外采用指纹功能,以检测新报告何时包含已知异常。因此,服务可以通知用户该作业正在经历已知问题,而不是报告异常内容。问题解决后,服务可以自动重新启动作业。支持更多SOS报告基准发现接口,Jenkins构建,Travis CI等。

如果您有兴趣参与此项目,请通过#log-classify Freenode IRC频道与我们联系。欢迎反馈!

通过:

作者:Tristan de Cacqueray lujun9972译者:wxy校对:wxy

本文由LCTT编写,由Linux China推出