share facebook facebook2 twitter menu hatena pocket slack

2014.09.27 SAT

sensu-server のログを CloudWatch Logs に送ってみましたが…

川原 洋平

WRITTEN BY川原 洋平

どうも、自称 sensu 芸人の かっぱ (@inokara) です。

はじめに

sensu-server のデバッグしてて sensu-server の過去ログをさかのぼって見たいなーって思ったので fluentd を介して CloudWatch Logs に送ってみたら…って思ってやってみました。

準備

特に難しいことはありません。(既に td-agent が CentOS 6 の環境にセットアップされているという前提で記載します。)

fluent-plugin-cloudwatch-logs のインストール

/usr/lib64/fluent/ruby/bin/gem install fluent-plugin-cloudwatch-logs --no-ri --no-rdoc -V

fluent-plugin-cloudwatch-logs の設定

リージョンと API キーの設定
echo "export AWS_REGION=us-east-1" >> /etc/sysconfig/td-agent
echo "export AWS_ACCESS_KEY_ID=AKxxxxxxxxxxxxxxxxxxxxxx"  >> /etc/sysconfig/td-agent
echo "export AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxx"  >> /etc/sysconfig/td-agent
fluentd(td-agent.conf)の設定

/etc/td-agent/td-agent.conf

include conf.d/*.conf
fluentd(td-agent.conf)の設定(2)

fluent-plugin-cloudwatch-logs で CloudWatch Logs に sensu-server.log を送る設定をします。
/etc/td-agent/conf.d/sensu-server.conf

<source>
  type tail
  format json
  path /var/log/sensu/sensu-server.log
  tag sensu.server.log
  pos_file /tmp/sensu.server.log.pos
</source>

<match sensu.server.log>
  type cloudwatch_logs
  log_group_name sensu
  log_stream_name sensu-server-log
  auto_create_stream true
</match>

fluentd(td-agent)の再起動

sudo service td-agent restart

しばらくすると…

Log Groups に…

sensu-server のログを Amazon CloudWatch へ: Log Groupsをチェック

Streame に…

sensu-server のログを Amazon CloudWatch へ: Streame をチェック

sensu-server のログが

sensu-server のログを Amazon CloudWatch へ: sensu-server のログが表示

ログを放り込むことは出来ましたが…

求ム検索機能

そもそもログの中から任意のログを抽出したいというのがそもそもの目的でしたので…以下の資料でも言及されているように…

検索機能が欲しいところですなあ。

時間を遡ることが出来るので

とりあえず、下図のように手軽に時間を遡ることが出来ますので、ちょっと昔のログとかを見たいと思って時間で grep とかしなくても良いのは嬉しいです。
sensu-server のログを Amazon CloudWatch へ: 過去のログをさかのぼれる

元記事はこちらです。
sensu-server のログを CloudWatch Logs に送ってみましたが…