こんにちは、技術２課の川田です。
AWSをやりたくて、４月よりサーバーワークスに参加しています。前職では、あるSIerにてSplunkのエンジニアをやっていました。入社の選考過程で知ったのですが、サーバーワークスでもSplunkを扱っているという話で、せっかくですので、昔取った杵柄をここで披露していきたいと思います。
ということで、Splunkに関する記事を定期的に投稿していこうと思います。
今回の目次は、以下の通りです。
- Splunkとは
- 今回のお話
- その１ とりあえず検証環境にログを入れよう
- その２ AppやAdd-onの有無を確認しよう
Splunkとは
そもそもSplunkについて簡単に紹介しますと、Splunkとは「ログの取り込み」「取り込んだログのデータベース化」「データベースとなったログを利用したダッシュボードの作成」を一連で行えるミドルウェアとなっています。マーケットでは、「Elasticsearch（+kibana）」と競合するような製品になります。
今回のお話
そして今回は、Splunkでログ取り込む前に実施したいことについて、お話したいと思います。
技術力のあるエンジニアであれば、Splunkへ簡単にログを取り込むことができると思います。しかし、簡単である一方で非常に気をつけるべき作業でもあると私は考えています。例えば、一度取り込んだログの取り込み先データベース（Splunkではindexといいます）を変更したい、分析フォーマット（Splunkではsourcetypeといいます）を変更したい、ログの一部のみを削除して再取り込みしたい、といったことをSplunkで行うのは、なかなかに億劫となります。
そういったことを避けるため、今回の私の話を参考にして頂きたいです。
その１ とりあえず検証環境にログを入れよう
いきなり本番環境のSplunkにログを取り込むのはやめましょう。
Splunkでは有償版と同等機能をもったFreeライセンスが公開されており、WindowsやMacのクライアント端末でも動作可能です。（前述の公式サイトに行けば、Freeライセンスは簡単に見つけられますよ。）取り込みたいログがある場合、いきなり本番環境に持っていくのでなく、この検証環境に入れてみましょう。そして検証環境にて、実際にsourcetypeやfieldの定義を試してみるべきです。
それらのSplunkの基本的な設定項目が定まったのち、本番環境にログを入れましょう。
その２ AppやAdd-onの有無を確認しよう
Splunkでは、様々なログのApp（ダッシュボード集）やAdd-on（sourcetype定義集やfield定義集）が公開されており、その殆どが無料で利用できます。
どういったものがあるのか、以下のsplunkbaseというサイトで検索が可能です。取り込むログに関するAppやAdd-onの有無を、ログ取り込み前に必ず確認しましょう。そしてもしそれらが用意されているのであれば、積極的に利用していくべきです。
Appはダッシュボード集になるため、求める分析と異なる場合には利用を見送ってもいいでしょうが、Add-onに関しては必ず利用していきたいです。Add-onを利用すれば、煩わしいログのfield定義作業が不要になるだけでなく、分析が便利となるその他様々な設定が既に定義されています。またAppの利用には、その分析対象のログに紐づくAdd-onの利用を前提としている場合が多いです。Splunk利用後しばらくしてAppを追加しようとしたら、紐づくAdd-onを使っていないためAppを利用できない、なんてことが起こりえます。
前述の検証環境にて、AppやAdd-onの利用も含めて、本番環境へログを取り込む前に試してみるべきでしょう。
今回はここまで。今後はSplunkの基礎的な概念（用語）の解説や、Splunkのサーチ処理言語であるSPLについて、お話していくつもりです。
それでは、よいSplunkライフを。
