share facebook facebook2 twitter menu hatena pocket slack

2016.03.14 MON

AWSのCloudTrailやVPCFlowLogsなどのわけわからんログ達をSplunkでわけわかるようにする

WRITTEN BY齊藤 愼仁

splunk_aws_log001

シンジです。Splunkはログの可視化で超有名なソフトウェアですが、AWSのログ達も同じく可視化してくれますので、今回はSplunkを使ってAWSのログのみを可視化してみます。

さすがにcloudpackのSplunkは見せられないので

シンジのアカウントに絞って見てみます。

とりあえずセットアップ

Amazon Linuxで行けます。Splunkの公式サイトにアカウント登録して、ダウンロードしてきます。ここで登録したときのアカウント名とパスワードは、その後しょっちゅう使いますので覚えておいて下さい。で、wgetのコマンドまで発行してくれる親切仕様です。

http://www.splunk.com/

今日時点で最新は
splunk-6.3.2-aaff59bb082c-linux-2.6-x86_64.rpm
ですね。

yum localinstall splunk-6.3.2-aaff59bb082c-linux-2.6-x86_64.rpm

こんなかんじで。

セキュリティグループを設定しよう

TCP
514

TCP
8000

TCP
9997

SSH
22

です。

起動しよう

cd /opt/splunk/bin/splunk
./splunk start --accept-license

完。

ブラウザでアクセスしよう

http://アドレス:8000

で、アクセスできます。ちなみに後ろに/ja-JP/を付けると日本語になります。
Splunkの初期パスワードは

admin
chengeme

です。

AWSなAppを追加する

その他のAppを追加するで、AWS関連のAppを2つ追加します。

splunk_aws_log006

この2つだけあればOKです。

Splunkマジ多機能なので

AD連携とかSAML-SSOとかWindowsのログみたりLinuxのログみたりネットワーク機器のログ見たりいろいろ出来るのですが、今回はAWSのログにフォーカスして見てみます。

AWS Configを可視化する

splunk_aws_log001

ぐわんぐわん動くので面白いです。ここからドリルダウンできます。

利用状況を可視化する

splunk_aws_log002

AWSのログは全部可視化出来ます。

VPC Flow Logs を可視化する

splunk_aws_log003

通信量の状況を見てみたり、

splunk_aws_log004

リジェクトしたIPアドレスをリスト化できたりします。

アラートも飛ばせます

splunk_aws_log005

標準でもかなり豊富に用意されてます。

他にも山ほど見られるのですが多すぎるので

是非ご自身でやってみてください。当然ですが、AWS ConfigやCloudTrailの設定などなどが有効になっていないと見られませんよ〜

ちなみに有償アプリなので

無料期間は1日500MBまでのログ転送と、60日間の利用期限があります。60日経過後は、一部の機能が無効化されます。

買おうと思ったら

代理店さん(シンジ的にはマクニカネットワークさん)に連絡しましょう。1日1GBだと結構お安いです。1日何GB転送させたいかで料金が変わります。購入すると数日後にライセンスファイルが送られてきますので、それをWebからポチポチして読み込み〜って飲ませるだけです。簡単〜〜

ログ量がかなり多いと

ログの検索対象の総容量が数テラとか行くと、検索するときにCPUもメモリもディスクもしんどいので、結構なサイズのインスタンスが必要になります。t系だと無理ゲーです。個人のアカウントでブログ書いてるくらいなら全然余裕ですけどね。

ちなみにBillingも見られますが

細かく見るならやっぱりNTT docomo Cost Visualizerの方が便利だな〜と思いました

AWSの利用状況&費用を10分で可視化して監視する | ロードバランスすだちくん
https://blog.animereview.jp/cost-visualizer/

元記事はこちら

AWSのCloudTrailやVPCFlowLogsなどのわけわからんログ達をSplunkでわけわかるようにする

齊藤 愼仁

cloudpack 社内インフラ担当、情報セキュリティ責任者。HPCを経て現職に至る。無類の猫好きで、すだち君という名の猫を飼っている。