使用GoAccess监控Nginx和Apache日志

作者姚伟斌

使用开源实时日志分析工具-GoAccess监控和分析Web服务器日志

如果您没有正确的工具，Web故障排除可能很有趣，但也可能令人沮丧。

如果您正在支持高流量的网站，通常需要分析和监视Web服务器日志以进行性能和容量规划。这对于Web工程师来说是必不可少的。

手动检查较小的日志文件大小是可以的，但是如果文件较大，那么浏览数百万行以查找指标将不会很有趣。

这就是为什么您需要工具 to facilitate administrator job并使其变得更加高效。

GoAccess是一个轻量级开源日志分析工具，支持多种日志格式，可与以下任何一种一起使用。

  • Nginx
  • Apache HTTP
  • AWS ELB, S3, CloudFront
  • Google云存储

您可以使用GoAccess分析哪些指标？

几乎可以在日志中捕获的所有内容。为了给您一个概念：

  • 请求的服务时间
  • 访问者的IP、DNS、主机
  • 访问者的浏览器和操作系统详细信息
  • 404未找到的详细信息
  • 顶部请求/访问者
  • 带宽
  • 静态文件
  • 地理位置
  • 状态代码
  • 等等..

是否正在寻找监视站点的这些指标？

很好！

您可以在哪个操作系统上安装？

GoAccess只有一个依赖项-ncurses。如果您可以安装，可以在任何操作系统上使用它。

它在以下发行版软件包中可用：

  • Ubuntu
  • Debian
  • Fedora
  • CentOS
  • FreeBSD/OpenBSD
  • Slackware
  • Arch Linux
  • Gentoo
  • MacOS
  • 通过Cygwin的Windows

但是，您也可以从源代码构建或使用Docker。

如果您是Docker的新手，我建议您参考这个Docker Mastery course。

在Ubuntu上安装GoAccess

  • 使用root权限登录Ubuntu服务器
  • 使用以下命令安装apt-get
apt-get install goaccess

很简单。

在CentOS上安装

登录到服务器并执行yum命令

yum install goaccess

在CentOS / Ubuntu上使用源码安装

喜欢从源码编译吗？

以下是步骤。

  • 如果使用CentOS，请安装以下依赖项
yum install gcc ncurses-devel glib2-devel geoip-devel tokyocabinet-devel
  • 如果使用Ubuntu
apt-get install libncursesw5-dev libgeoip-dev make
  • 使用wget下载最新的包
wget http://tar.goaccess.io/goaccess-1.2.tar.gz
  • 解压下载的文件
gunzip –c goaccess-1.2.tar.gz | tar xvf –
  • 进入新创建的文件夹，该文件夹是您在解压后获得的
cd goaccess-1.2
  • 使用以下命令编译
./configure --enable-geoip=legacy --enable-utf8
make
make install

做得好，您已经安装了GoAccess，并准备好分析日志。

 

验证安装

安装后，只需在命令提示符上执行goaccess，它应该打印如下的用法。

GoAccess – 1.2
用法：goaccess [文件名] [选项 …] [-c] [-M] [-H] [-q] [-d] [ …] 该命令还可以提供以下选项：
日志和日期格式选项
 –date-format=     – 指定日志日期格式。例如，％d /％b /％Y
 –log-format=       – 指定日志格式。内部引号需要
                                   转义，或使用单引号。
 –time-format=     – 指定日志时间格式。例如，％H：％M：％S
用户界面选项
 -c –config-dialog             – 提示日志/日期/时间配置窗口。
 -i –hl-header                 – 高亮显示活动面板。
 -m –with-mouse                – 在主仪表板上启用鼠标支持。
 –color=   – 指定自定义颜色。有关更多信息，请参见man页面
                                   上的详情和选项。
 –color-scheme=         – 方案：1 => 灰色，2 => 绿色，3 => Monokai。
 –html-custom-css=   – 在HTML报告中指定自定义CSS文件。
 –html-custom-js=     – 在HTML报告中指定自定义JS文件。
 –html-prefs=        – 设置默认的HTML报告首选项。
 –html-report-title=    – 设置HTML报告页面标题和头部。<br />  –json-pretty-print            – 使用制表符和换行符格式化JSON输出。<br />  –max-items                    – 每个面板显示的最大项目数。<br />                                  有关限制，请参见man页面。<br />  –no-color                     – 禁用彩色输出。<br />  –no-column-names              – 在终端输出中不写列名。<br />  –no-csv-summary               – 在CSV输出中禁用摘要指标。<br />  –no-progress                  – 禁用进度指标。<br />  –no-tab-scroll                – 禁用通过TAB滚动面板。<br />  –no-html-last-updated         – 隐藏HTML上次更新字段。<br /> 服务器选项<br />  –addr=                  – 指定要绑定服务器的IP地址。<br />  –daemonize                    – 作为守护程序运行（如果启用了–real-time-html）。<br />  –fifo-in=               – 读取命名管道（FIFO）的路径。<br />  –fifo-out=              – 写入命名管道（FIFO）的路径。<br />  –origin=                – 确保客户端在WebSocket握手时发送指定的来源头部<br />                                  。<br />  –port=                  – 指定要使用的端口。<br />  –real-time-html               – 启用实时HTML输出。<br />  –ssl-cert=          – 指定TLS / SSL证书的路径。<br />  –ssl-key=           – 指定TLS / SSL私钥的路径。<br />  –ws-url=                 – WebSocket服务器响应的URL。<br /> 文件选项<br />  –                              – 要解析的日志文件从标准输入中读取。<br />  -f –log-file=       – 输入日志文件的路径。<br />  -l –debug-file=     – 将所有调试消息发送到指定的文件。<br />  -p –config-file=    – 自定义配置文件。<br />  –invalid-requests=  – 将无效的请求记录到指定的文件中。<br />  –no-global-config             – 不加载全局配置文件。<br /> 解析选项<br />  -a –agent-list                – 启用按主机的用户代理列表。<br />  -d –with-output-resolver      – 在HTML | JSON输出上启用IP解析器。<br />  -e –exclude-ip=           – 排除一个或多个IPv4 / 6. 允许IP<br />                                  范围，例如192.168.0.1-192.168.0.10<br />  -H –http-protocol=    – 如果找到，则设置/取消HTTP请求协议。<br />  -M –http-method=      – 如果找到，则设置/取消HTTP请求方法。<br />  -o –output=file.html|json|csv – 输出HTML，JSON或CSV文件。<br />  -q –no-query-string           – 忽略请求的查询字符串。删除<br />                                  查询字符串可以大大减少内存<br />                                  消耗。<br />  -r –no-term-resolver          – 禁用终端输出的IP解析器。<br />  –444-as-404                  – 将非标准状态码444视为404。<br />  –4xx-to-unique-count          – 将4xx客户端错误添加到唯一访问者<br />                                  计数。<br />  –all-static-files             – 在查询字符串中包括静态文件。<br />  –crawlers-only                – 仅解析和显示爬行器。<br />  –date-spec=          – 日期特定性。可能的值：`date`<br />                                  （默认）或`hr`。<br />  –double-decode                – 解码双重编码的值。<br />  –enable-panel=         – 启用解析/显示给定面板。<br />  –hour-spec=</p> <hr> <p>           – 小时特定性。可能的值：`hr`<br />                                  （默认）或`min`（十分之一分钟）。<br />  –ignore-crawlers              – 忽略爬行器。<br />  –ignore-panel=         – 忽略解析/显示给定的面板。<br />  –ignore-referer=      – 忽略引荐人的计数。允许使用通配符<br />                                  ，例如，*.bing.com<br />  –ignore-status=<CODE>         – 忽略解析给定的状态码。<br />  –num-tests=           – 要测试的行数。> = 0（默认值为10）<br />  –process-and-exit             – 解析日志并在不输出数据的情况下退出。<br />  –real-os                      – 显示真实操作系统名称。例如，Windows XP，Snow<br />                                  Leopard。<br />  –sort-panel=PANEL,METRIC,ORDER – 在初始加载时对面板进行排序。例如：<br />                                  – sort-panel=VISITORS,BY_HITS,ASC。请参阅<br />                                  man页面以获取面板/字段列表。<br />  –static-file=      – 添加静态文件扩展名。例如：.mp3。<br />                                  扩展名区分大小写。<br /> GeoIP选项<br />  -g –std-geoip                 – 较少内存的标准GeoIP数据库<br />                                 消耗。<br />  –geoip-database=        – 指定路径到GeoIP数据库文件。即，<br />                                  GeoLiteCity.dat，GeoIPv6.dat …<br /> 其他选项<br />  -h –help                      – 此帮助。<br />  -V –version                   – 显示版本信息并退出。<br />  -s –storage                   – 显示当前存储方法。例如，B +<br />                                  树，Hash。<br />  –dcf                          – 当未使用`-p`时，显示默认配置的路径<br />                                  文件。<br /> 可以通过运行`man goaccess`找到示例。<br /> 有关详细信息，请访问：http://goaccess.io<br /> GoAccess版权所有（C）2009-2016 Gerardo Orellana</p> <h2>使用GoAccess分析Nginx和Apache</h2> <p>分析access.log的最快方法之一是使用<code>-f</code>参数。</p> <p>例如：</p> <pre>goaccess -f access.log</pre> <p>上述命令会打开access.log文件。这将显示整体仪表板和以下15个部分。</p> <ul> <li>每天的独立访问者</li> <li>请求的文件</li> <li>静态请求（字体，图像，PDF等）</li> <li>未找到（404）的请求</li> <li>访问者的IP/主机详细信息</li> <li>访问者的操作系统</li> <li>浏览器详细信息</li> <li>时间分布</li> <li>引荐来源</li> <li>HTTP状态码</li> <li>地理位置</li> </ul> <p><img decoding="async" src="data:image/svg+xml,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20viewBox='0%200%200%200'%3E%3C/svg%3E" class="perfmatters-lazy" data-src="http://yaoweibin.cn/wp-content/uploads/2023/08/20230830165234-64ef73d237e40.png"/><noscript><img alt="blank" onload="Wpfcll.r(this,true);" src="https://yaoweibin.cn/wp-content/plugins/wp-fastest-cache-premium/pro/images/blank.gif" decoding="async" data-wpfc-original-src="http://yaoweibin.cn/wp-content/uploads/2023/08/20230830165234-64ef73d237e40.png"/></noscript></p> <p>如果所选文件实时更新，则可以注意到终端上的指标会更新。在这里，您可以查看需要分析的指标。</p> <h2>通过HTTP(s)进行实时监控</h2> <p>GoAccess允许您将输出重定向到HTML文件，您可以将其用作实时监控。当您不想每次需要验证某些指标时都登录服务器时，这非常方便。</p> <pre>goaccess /var/log/nginx/access.log -o /var/www/yaoweibin.com/htdocs/real-time.html --log-format=COMBINED --real-time-html</pre> <p>上述命令将输出重定向到real-time.html文件，该文件位于htdocs下。由于它是htdocs，所以每当我需要查看指标时，可以从https://yaoweibin.cn/real-time.html访问此文件。</p> <p><img decoding="async" src="data:image/svg+xml,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20viewBox='0%200%200%200'%3E%3C/svg%3E" class="perfmatters-lazy" data-src="http://yaoweibin.cn/wp-content/uploads/2023/08/20230830165235-64ef73d351298.png"/><noscript><img alt="blank" onload="Wpfcll.r(this,true);" src="https://yaoweibin.cn/wp-content/plugins/wp-fastest-cache-premium/pro/images/blank.gif" decoding="async" data-wpfc-original-src="http://yaoweibin.cn/wp-content/uploads/2023/08/20230830165235-64ef73d351298.png"/></noscript></p> <p>一个漂亮的仪表盘！</p> <p>不过，在生产环境中我不建议这样做。我相信您不希望有人阅读您的Web服务器日志，您可能希望采取以下限制。</p> <ul> <li>使用用户名和密码保护文件</li> <li>仅允许来自您的IP的访问</li> <li>使用自定义端口的其他URL，并将其放在防火墙后面，这样只有允许的IP/用户才能访问</li> </ul> <p>GoAccess看起来是一个功能强大的开源日志分析工具。它轻量且免费，所以请放心尝试。</p> <p>您可能还对查看 <a href="https://yaoweibin.cn/cloud-based-log-analyzer/" data-lasso-id="78421" data-wpel-link="internal">cloud-based log analyzer</a> 感兴趣。</p> <div id='jp-relatedposts' class='jp-relatedposts'> <h3 class="jp-relatedposts-headline"><em>相关</em></h3></div></div><footer class="entry-footer"> </footer></div></article> <div class="entry-author entry-author-style-center"> <div class="entry-author-profile author-profile vcard"> <div class="entry-author-avatar"> <img alt src="data:image/svg+xml,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20viewBox='0%200%2080%2080'%3E%3C/svg%3E" class="avatar avatar-80 photo perfmatters-lazy" height="80" width="80" decoding="async" data-src="https://secure.gravatar.com/avatar/718d32aa664077102b64f911e90703fd?s=80&d=mm&r=g" data-srcset="https://secure.gravatar.com/avatar/718d32aa664077102b64f911e90703fd?s=160&d=mm&r=g 2x"/><noscript><img alt='' src='https://secure.gravatar.com/avatar/718d32aa664077102b64f911e90703fd?s=80&d=mm&r=g' srcset='https://secure.gravatar.com/avatar/718d32aa664077102b64f911e90703fd?s=160&d=mm&r=g 2x' class='avatar avatar-80 photo' height='80' width='80' decoding='async'/></noscript></div><b class="entry-author-name author-name fn">姚伟斌</b> <p class="entry-author-occupation author-occupation">程序猿</p> <div class="entry-author-description author-bio"> <p>我是姚伟斌，也被称为文景。我的专业领域涵盖了开放源代码的深度探索、网络编程和网络建站。我热衷于分享我的编程和建站实践经验，尤其擅长于Nginx和Proxy服务器的管理。此外，我还对Python和NodeJS这两种编程语言有着深刻的理解和独到的见解。</p> <p>最近，我致力于爬虫技术的研究，探索如何通过高效的数据抓取为项目增添价值。我的目标是通过持续的学习和创新，为开放源代码社区贡献我的力量，并帮助那些对网络编程和网站建设感兴趣的人士。</p></div><div class="entry-author-follow author-follow"></div></div></div><nav class="navigation post-navigation" aria-label="文章"> <h2 class="screen-reader-text">文章导航</h2> <div class="nav-links"><div class="nav-previous"><a href="https://yaoweibin.cn/gpt%e7%bf%bb%e8%af%91prompt-%e5%91%8a%e5%88%ab%e6%9c%ba%e7%bf%bb%e6%84%9f" rel="prev"><div class="post-navigation-sub"><small><span class="kadence-svg-iconset svg-baseline"><svg aria-hidden="true" class="kadence-svg-icon kadence-arrow-left-alt-svg" fill="currentColor" version="1.1" xmlns="http://www.w3.org/2000/svg" width="29" height="28" viewBox="0 0 29 28"><title>上一页 上一页

【分享】高质量GPT翻译Prompt，告别“机翻感”

类似文章

CAPM认证：你需要了解的一切

CAPM认证：你需要了解的一切

作者姚伟斌

booster and can significantly enhance your prospects. It demonstrates your commitment to project management and validates your skills and knowledge in this field. With a CAPM certification, you can stand out from the competition and increase your chances of landing a job or getting promoted. So, if you’re serious about pursuing a career in project management, obtaining a CAPM certification is a smart move.