大数据专题

几种基于云计算的日志分析管理工具

  进入了大数据和云计算时代以来,网站或系统的日志分析也迎来了革新,下面介绍七种最新的日志分析工具,这些工具并不再像以往软件下载到你自己的服务器上,而是让你将日志远程上传到其SaaS平台上,它们通过Web页面提供日志分析结果给您。

上传日志到这些SaaS平台有几种方式:

1. API 通过你的代码调用其API

2. 设置你的服务器自动上传

3. 手动上传。

 

首先,通过命令:

ls -d /etc/*syslog*

查看你的Linux服务器使用的是什么日志,如果输出的是:

/etc/syslog.conf

那么就编辑/etc/syslog.conf,在其尾部加入:

*.* @logs.xxxx.com:41869

其中logs.xxxx.com:41869就是这些日志分析平台提供给你的远程访问端口,当然你需要在其平台上将你服务器的IP授权给它们访问。

Splunk>Storm

你可以无需在你自己网站或系统中安装Storm这种大数据分析,直接在该站点利用Storm为您进行日志分析,但是它的问题是有日志数据发送量限制,不管如何,如果你是个人小网站,也可以申请一个免费账号体验一把免费的大数据分析日志。

 

PaperTrails

PaperTrails提供一种简单的方式从多台机器上查看和搜索日志,有一个综合的易于使用的界面。它能将多台机器上的日志文件合并成单一的视图。非常相似在你的机器上看日志,它的目标是做一些简单实用,并且优雅。它也非常实惠。其缺点主要是基于文本的。如果你想寻找任何先进的整合、预测或报告的能力,可能是找错地方了。

 

Loggly

Loggly也是一个强大的日志分析,注重简单性和易用性。更适合于帮助开发者从日志中找到并解决操作问题。这使得开发者感觉非常友好。诸如此类创建自定义的性能和开发者仪表盘都是超级容易的事情。价格也是透明的,这使得起步使用更容易。不过从国内访问速度比较慢。

 

Logstash

Logstash是一个开源的工具,用于收集和管理日志文件。它是一个开源堆栈,其中包括使用云端ElasticSearch进行索引,前端与后端共同形成一个强大的日志管理解决方案。

对于一个开源的解决方案,它也很容易安装并开始使用,它是基于Java 7开发,不过Logstash过滤器是用Ruby编写的,Kibana是纯JavaScript,ElasticSearch有自己的REST API和JSON的模板。需要分隔的三个不同的机器上实施,这更增加了复杂性。

其安装手册见这里

 

Graylog2

它是一个基于后端存储MongoDB的以及ElasticSearch(类似于Logstash)的开放源代码的日志分析程序,它主要侧重于帮助开发人员从日志中发现应用程序错误并修复。包括 fluentd 和 Kafka选择。

 

Splunk

Splunk提供功能最丰富的收费解决方案。它有数百个应用程序,能够识别几乎每一种格式的日志数据,提供从安全到业务分析以及基础设施的监控各种功能。 Splunk的的搜索和图表工具功能丰富到如此地步,几乎没有数据不可以通过其UI或API获得的。

使用Spark和Scala分析Apache访问日志

 

猜你喜欢