share facebook facebook2 twitter menu hatena pocket slack

2013.01.16 WED

BashのHistoryをFluentdのDataCounterで集計してみた

鈴木 宏康

WRITTEN BY鈴木 宏康

以前、BashのHistoryをSyslogに出力(CentOS6)の記事を紹介しましたが、実際のログは次のようになります。

# cat /opt/suz-lab/var/log/syslog/all.log | grep bash
Jan 13 21:15:43 ip-10-200-32-46 -bash: HISTORY: PID=22858 UID=0 less /tmp/tail.syslog.20130113.b4d324ea9e0a8bf03
Jan 13 21:16:13 ip-10-200-32-46 -bash: HISTORY: PID=22858 UID=0 cat /tmp/tail.syslog.20130113.b4d324ea9e0a8bf03 | grep bash
Jan 13 21:23:37 ip-10-200-32-46 -bash: HISTORY: PID=22858 UID=0 cat /tmp/datacounter.syslog.20130113.b4d324ee14fb0be93
Jan 13 21:27:48 ip-10-200-32-46 -bash: HISTORY: PID=22858 UID=0 cat /opt/suz-lab/var/log/syslog/all.log

今回、Fluentdのfluent-plugin-datacounter_DataCounterプラグインを利用して、このログから単位時間あたり、
どれだけのコマンドが実行されたか集計してみました。

○SyslogのログをFluentdでtail

設定ファイルは下記の通りです。

# cat /etc/td-agent/td-agent.conf

type tail
format syslog
path /opt/suz-lab/var/log/syslog/all.log
pos_file /opt/suz-lab/var/lib/td-agent/pos/tail.syslog.pos
tag tail.syslog


type copy

type file
path /tmp/tail.syslog

加工されたログは次の通りです。(JSON形式)

# cat /tmp/tail.syslog.20130113.b4d324ea9e0a8bf03 | grep bash
...
2013-01-13T20:27:02+09:00 tail.syslog {"host":"ip-10-200-32-46","ident":"-bash","message":"HISTORY: PID=22858 UID=0 vi td-agent.conf"}
2013-01-13T20:29:38+09:00 tail.syslog {"host":"ip-10-200-32-46","ident":"-bash","message":"HISTORY: PID=22858 UID=0 ls"}
2013-01-13T20:29:53+09:00 tail.syslog {"host":"ip-10-200-32-46","ident":"-bash","message":"HISTORY: PID=22858 UID=0 less td-agent.conf"}
2013-01-13T21:09:04+09:00 tail.syslog {"host":"ip-10-200-32-46","ident":"-bash","message":"HISTORY: PID=22858 UID=0 cat /etc/td-agent/td-agent.conf"}
...

「”ident”:”-bash”」のものを集計する形になります。

○DataCounterプラグインのインストール

FluentdがCentOS6にFluentdをインストールの記事で紹介した方法でインストールされていることを前提とします。

プラグインはgemでインストールします。

# /usr/lib64/fluent/ruby/bin/gem install fluent-plugin-datacounter
Fetching: fluent-plugin-datacounter-0.4.0.gem (100%)
Successfully installed fluent-plugin-datacounter-0.4.0
1 gem installed
Installing ri documentation for fluent-plugin-datacounter-0.4.0...
Installing RDoc documentation for fluent-plugin-datacounter-0.4.0...

○DataCounterプラグインでBashのHistoryを集計

設定ファイルは下記の通りです。

# cat /etc/td-agent/td-agent.conf

type tail
format syslog
path /opt/suz-lab/var/log/syslog/all.log
pos_file /opt/suz-lab/var/lib/td-agent/pos/tail.syslog.pos
tag tail.syslog


type copy

type file
path /tmp/tail.syslog


type datacounter
unit minute
aggregate all
count_key ident
pattern1 history ^-bash$
tag datacounter.syslog



type copy

type file
path /tmp/datacounter.syslog

加工されたログは次の通りです。(1分ごとに集計されています)

# cat /tmp/datacounter.syslog.20130113.b4d324ee14fb0be93
...
2013-01-13T21:14:55+09:00 datacounter.syslog {"unmatched_count":8,"unmatched_rate":0.13,"unmatched_percentage":100.0,"history_count":0,"history_rate":0.0,"history_percentage":0.0}
2013-01-13T21:15:55+09:00 datacounter.syslog {"unmatched_count":8,"unmatched_rate":0.13,"unmatched_percentage":88.88888888888889,"history_count":1,"history_rate":0.01,"history_percentage":11.11111111111111}
2013-01-13T21:16:55+09:00 datacounter.syslog {"unmatched_count":11,"unmatched_rate":0.18,"unmatched_percentage":91.66666666666667,"history_count":1,"history_rate":0.01,"history_percentage":8.333333333333334}
2013-01-13T21:17:55+09:00 datacounter.syslog {"unmatched_count":8,"unmatched_rate":0.13,"unmatched_percentage":100.0,"history_count":0,"history_rate":0.0,"history_percentage":0.0}
...

こちらの記事はなかの人(suz-lab)監修のもと掲載しています。
元記事は、こちら

鈴木 宏康

鈴木 宏康

愛知県生まれ。東京工業大学大学院修士課程修了。在学時より、ベンチャー企業でインターネットに関する業務に携わり、現在はクラウド(主にAmazon Web Services)上での開発・運用を軸とした事業の、業務の中心として活躍。