6-GoAccess实现可视化并实时监控access日志

Author: haoransun
Wechat: SHR—97

前言

access日志 记录了用户非常重要的信息，可用它来分析、定位问题，也可用它来分析用户的运营数据，但是如果想要实时分析access 日志，相对比较困难。使用 cat、awk、sed 等命令做一些简单的日志分析统计，这样分析结果不理想也不全面，方法也极不高效。

GoAccess 这款工具以图形化的方式通过web socket协议，实时的将access日志的变迁反应到浏览器中。方便我们分析问题。

1 Nginx配置

为了提高 GoAccess 分析准确度，需要配置 nginx.conf 的 log_format 项。

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for" "$request_body"';

2 安装GoAccess

GoAccess 是这个工具的站点。如图所示：

先看一下之前静态web资源服务器所产生的access log日志格式

现在打开 GoAccess中的 Get started快速开始页面，依据文档下载安装。

先下载依赖包

yum install -y GeoIP-devel

或者

wget https://github.com/maxmind/geoip-api-c/releases/download/v1.6.11/GeoIP-1.6.11.tar.gz
tar -zxvf GeoIP-1.16.11.tar.gz
cd GeoIP-1.16.11
./configure
make
make install

下载安装包

wget https://tar.goaccess.io/goaccess-1.3.tar.gz
tar -xzvf goaccess-1.3.tar.gz
cd goaccess-1.3/
./configure --enable-utf8 --enable-geoip=legacy --with-openssl  //此处出现错误如下 安装下面依赖后回来继续安装即可
make
make install

出现错误：
configure: error: *** Missing development libraries for ncursesw

解决方法：
要使用–enable-utf8，你需要安装ncursesw，下面是安装命令：

[root@haoransun goaccess]# sudo yum install ncurses-devel

安装成功后：

3 配置

安装完成后，默认将配置文件goaccess.conf放置于/usr/local/etc路径，为了统一管理，使用mv /usr/local/etc/goaccess.conf /etc/命令将其移动到/etc目录下。

对配置文件做一些主要配置：

vim /etc/goaccess.conf

time-format %H:%M:%S
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"

其中，log-format 与 access.log 的 log_format 格式对应，每个参数以空格或者制表符分割。参数说明如下：

%t  匹配time-format格式的时间字段
%d  匹配date-format格式的日期字段
%h  host(客户端ip地址，包括ipv4和ipv6)
%r  来自客户端的请求行
%m  请求的方法
%U  URL路径
%H  请求协议
%s  服务器响应的状态码
%b  服务器返回的内容大小
%R  HTTP请求头的referer字段
%u  用户代理的HTTP请求报头
%D  请求所花费的时间，单位微秒
%T  请求所花费的时间，单位秒
%^  忽略这一字段

4 命令

查看 GoAccess 命令参数，如下：

$ goaccess -h
# 常用参数
-a --agent-list 启用由主机用户代理的列表。为了更快的解析，不启用该项
-d --with-output-resolver 在HTML/JSON输出中开启IP解析，会使用GeoIP来进行IP解析
-f --log-file 需要分析的日志文件路径
-p --config-file 配置文件路径
-o --output 输出格式，支持html、json、csv
-m --with-mouse 控制面板支持鼠标点击
-q --no-query-string 忽略请求的参数部分
--real-time-html 实时生成HTML报告
--daemonize 守护进程模式，--real-time-html时使用

5 控制台模式

$ goaccess -a -d -f /home/geek/nginx/logs/haoransun.log -p /etc/goaccess.conf

控制台下的操作方法：

F1 主帮助页面
F5 重绘主窗口
q 退出
1-15 跳转到对应编号的模块位置 
o 打开当前模块的详细视图
j 当前模块向下滚动
k 当前模块向上滚动
s 对模块排序
/ 在所有模块中搜索匹配
n 查找下一个出现的位置
g 移动到第一个模块顶部
G 移动到最后一个模块底部

6 HTML模式

上游服务器（14）： /home/geek/nginx 其中的 nginx.conf 配置为 127.0.0.1:8080 即仅能本机访问。

代理服务器（16）： /usr/local/geek/openstry/nginx 其中 nginx.conf 配置了 upstream 来标明上游服务器的ip地址+端口号，同时也设置了相应的缓存，具体查看前几节文章。

goaccess -a -d -f /home/geek/nginx/logs/haoransun.log  -p /etc/goaccess.conf -o /home/geek/nginx/html/go-access.html

浏览器输入

192.168.121.100:80/go-access.html 即可看到

上述配置都是在上游nginx服务器中完成的
此处是使用了代理服务器的80端口，由代理服务器替我们到上游服务器获取go-access.log 实时日志以html页面展示

由下图可看到，确实是由 代理服务器替我们拿到的数据

daemonize

GoAccess 已经为我们考虑到这点了，它可以以 daemonize 模式运行，并提供创建实时 HTML 的功能，只需要在启动命令后追加--real-time-html --daemonize参数即可。

goaccess -a -d -f /home/geek/nginx/logs/haoransun.log  -p /etc/goaccess.conf -o /home/geek/nginx/html/go-access.html --real-time-html --daemonize

# 监听端口7890
netstat -tunpl |grep "goaccess"
tcp        0      0 0.0.0.0:7890            0.0.0.0:*               LISTEN      13212/goaccess

以守护进程启动 GoAccess 后，使用 Websocket 建立长连接，它默认监听 7890 端口，可以通过--port参数指定端口号。

如果站点启用了 HTTPS, GoAccess 也需要使用 openssl，在配置文件goaccess.conf中配置ssl-cert和ssl-key项，并确保在安装过程中 configure 时已添加--with-openssl项来支持 openssl 。当使用 HTTPS 后 Websocket 通信时也应该使用 wss 协议，需要将ws-url项配置为wss://www.domain.com。

crontab

在某些场景下，没有这样的实时性要求，可采用 crontab 机制实现定时更新 HTML 报表。

# 每天执行

0 0 1 * * goaccess -a -d -f /home/geek/nginx/logs/haoransun.log  -p /etc/goaccess.conf -o /home/geek/nginx/html/go-access.html 2> /home/geek/nginx/logs/go-access.log

当access 日志被切割后，怎么合理使用 GoAccess 分析日志，--keep-db-files这个功能倒是可以尝试，这样就可以只分析新生产的日志文件了。

7 不足

尽管 GoAccess 很强大，但是它无法制定自定义监控规则，无法满足对站点更细粒度更全面的监控需求。此时就要使用到 ELK日志平台来分析站点的访问情况和流量分析。