6. ALog EVAを使う
6.1. ALog EVAの概要
本章ではALog EVAのマッピング機能や仕組みについて説明します。
6.1.1. ALog EVAとは
ALog EVAでは以下の3つを組み合わせながら設定します。
1
収集方式を決定する
2
収集するログの形式の決定しフォーマットの定義をする
3
どのようなアクセスログにするか、出力結果を定義する
6.1.2. ログのフォーマットについて
ALog EVAでは、5つのログフォーマットを用意しています。
ログフォーマットの選択肢
説明
プレーンテキスト 各種
Syslog
JSON
6.1.3. 収集可能なログについて
6.1.3.1. ログの収集方式
ALog EVAでは、4つの収集方式から選択し、ログを収集します。
ログの収集方式
説明
対象サーバのイベントログを収集
マネージャーサーバのローカルフォルダーから収集
対象サーバの共有フォルダーから収集
対象サーバにSCP接続して収集
注意
以下のファイルはALog EVAでは収集・マッピングできません。
バイナリファイル
6.1.3.2. ログの収集方式とログフォーマットの組み合わせについて
ログ収集方式とログフォーマットには、組み合わせがあります。 また、収集方式によって収集できるログフォーマットが異なります。 それぞれの対応表と、差分収集が可能な条件、注意事項を説明します。
ログの収集方式とログフォーマットの各組み合わせにおける収集可能なログファイルの条件
「ログの収集方式」と「ログフォーマット」を組み合わせた場合の動作仕様について説明します。
ログの収集方式
ログフォーマット
イベントログ形式(evt/evtx)
対象サーバのイベントログを収集
組み合わせ不可
evtxファイル
マネージャーサーバのローカルフォルダーから収集
対象サーバの共有フォルダーから収集
対象サーバにSCP接続して収集
注意
※はいかなる条件下においても差分収集することができません。
注意
ZIPファイルはDeflate32形式、書庫内のファイルエントリは１つのみとしてください。 tarファイルには対応していません。
注意
注意
ヒント
ヒント
6.1.3.3. 差分収集の条件
収集方式によって差分収集に必要な条件が異なります。
【対象サーバのイベントログを収集】
収集方式「対象サーバのイベントログを収集」を選択した場合は、常に差分収集します。
【マネージャーサーバのローカルフォルダーから収集 / 対象サーバの共有フォルダーから収集】
収集方式「マネージャーサーバのローカルフォルダーから収集」、「対象サーバの共有フォルダーから収集」を選択した場合に、差分収集するためのログファイルに対する条件を示します。 差分収集は[収集したファイルを削除する]設定のチェックを外した(削除しない)場合に行われます。
ログファイルへの書込みは、末尾への追記のみであり、追記の際、ファイル更新日時が更新されていること
新たに出力されたログレコードは、ログファイルの末尾に追記されており、その際、ファイルの作成日時は維持され、ファイルの更新日時は新しくなっている必要がある
ログのローテートは、ファイルの移動またはリネームによって実施されていること（※ローテート機能がある場合）
ログファイルが一定サイズに到達、または一定期間が経過したなどの条件により、ローテートされる場合、移動またはリネームが実施される必要があるその際、ファイルの作成日時は維持されている必要がある
[収集したファイルを削除する]設定のチェックを外した(削除しない)場合に、ファイルの途中から切り出して収集した際、破損してしまうようなログファイルを対象にしていないこと
尚、上記の前提条件を満たさない場合は、具体的に以下のような問題が発生する可能性があります。
前提条件
前提条件が満たされない場合に発生する問題
【対象サーバにSCP接続して収集】
収集方式「対象サーバにSCP接続して収集」を選択した場合に、差分収集するためのログファイルに対する条件を示します。 差分収集は[収集したファイルを削除する]設定のチェックを外した(削除しない)場合に行われます。
ログファイルへの書き込みは、末尾への追記方式であること
新たに出力されたログレコードは、ログファイルの末尾に追記されている必要がある
[収集したファイルを削除する]設定のチェックを外した(削除しない)場合に、ファイルの途中から切り出して収集した際、破損してしまうようなログファイルを対象にしていないこと
尚、上記の前提条件を満たさない場合は、具体的に以下のような問題が発生する可能性があります。
前提条件
前提条件が満たされない場合に発生する問題
6.1.4. ライセンスについて
ALog EVAでは、他のALog製品とは異なり、対象サーバ（デバイス）から1日に収集するログの総容量に応じたライセンスが必要です。 対象サーバ（デバイス）数が増加した場合であっても、1日に収集するログの総容量が保有するライセンスのレンジ内に収まる場合は、追加のライセンスは必要ありません。
収集した日別のログ総容量の確認は、ホーム画面の「EVA変換ログ量」、管理画面内の「統計情報」で確認することができます。
[ホーム画面] 「ライセンス」パネル内に表示
[管理画面]-[統計情報]
6.2. 対象サーバ追加
ALog EVAでログ収集の対象サーバを追加する場合の手順について説明します。 事前に「ALogをインストールする」を参照し、ALogのインストールとライセンス登録を行ってください。
6.2.1. 対象サーバの追加手順
ALog EVAでログを収集する対象サーバの追加は以下の手順で行います。
Webコンソールにログインし、画面上部のメニューから[管理]を選択する
画面左側のメニューから[対象サーバ]をクリックする
[追加]ボタンをクリックする
対象サーバ追加ウィザードが起動するので、[次へ]ボタンをクリックする
「サーバの選択」で、[EVA]を選択し、[次へ]ボタンをクリックする
対象サーバのサーバ名を指定し、［次へ］ボタンをクリックする
同名のサーバで複数の対象サーバ登録を行う場合(1台のサーバ内で複数種類のログを収集する場合)[名称設定]ボタンをクリックし、接続時に利用する対象サーバのサーバ名（ホスト名またはIPアドレスなど、接続時に利用できるサーバ名）を指定する[サーバ名]はそれぞれ一意になるように命名する
ヒント
[新規にログ設定を作成する]にチェックを入れ、[次へ]ボタンをクリックする。なお、テンプレートを使用してマッピングなどを行う場合は[テンプレートを使用する]にチェックを入れる
ログ収集方式には4つの方法があり、「対象サーバのイベントログを収集」、「対象サーバの共有フォルダーから収集」、「マネージャーサーバのローカルフォルダーから収集」、「対象サーバにSCP接続して収集」のいずれかから選択する
[ログ収集方式]で選択した方式により対象サーバ追加の手順が異なるので、該当する収集方式の手順に従い、対象サーバ追加ウィザードを進めていく
[対象サーバのイベントログを収集]
※本方式はWindows Server用です
項目
設定内容
ログ収集方式
[対象サーバのイベントログを収集]を選択する
イベントログ名(チャネル)
取得したいイベントログの[イベント ビューアー] - [プロパティ] から「フルネーム」を確認して設定する
アカウント
対象サーバにおいて管理者権限のあるアカウントを設定する
収集したファイルを削除する
[削除しない/削除する/指定した期間後に削除する(日単位)]から選択する
注意
同一フォルダーに出力された複数のイベントログを同じタイミングで収集した場合、処理がバッティングし、正常に収集できない場合があります。 収集対象とするイベントログが複数ある場合は、出力先のフォルダーを別々にしてください。 同一フォルダーに複数のイベントログを出力しなければならない場合は、「タスクの設定」画面で収集処理の時間が重ならないようにスケジュールを調整してください。
[対象サーバの共有フォルダーから収集]
項目
設定内容
ログ収集方式
[対象サーバの共有フォルダーから収集]を選択する
アカウント
収集アカウントを設定する。共有フォルダー内の収集するログに対して、読み取り/削除が行える権限が必要
フォルダー
収集するログが格納されている共有フォルダーを指定する
ファイル名
収集したファイルを削除する
[削除しない/削除する/指定した期間後に削除する(日単位)]から選択する
[マネージャーサーバのローカルフォルダーから収集]
項目
設定内容
ログ収集方式
[マネージャーサーバのローカルフォルダーから収集]を選択する
フォルダー
収集するログが格納されているローカルフォルダーを指定する
ファイル名
収集したファイルを削除する
[削除しない/削除する/指定した期間後に削除する(日単位)]から選択する
注意
本方式ではALogの管理者アカウント(共通アカウント)でログを収集します。マネージャーサーバの管理者アカウントは、収集するログの読み取り、削除が行える権限が必要です。
[対象サーバにSCP接続して収集]
パスワード認証
公開鍵認証
項目
設定内容
ログ収集方式
[対象サーバにSCP接続して収集]を選択する
認証方式
[パスワード認証 / 公開鍵認証]を選択する
ユーザー名
SCP接続に使用するユーザーアカウントを指定する
パスワード
秘密鍵ファイルパス
秘密鍵パスフレーズ
ポート番号
ポート番号を指定する
ログディレクトリ
収集するログが格納されているディレクトリを指定する
ファイル名
ログファイル収集にsudoが必要
収集時にスーパーユーザー権限が必要なログファイルを削除する場合はチェックをつける
作業ディレクトリ
ログ収集のために一時的に使用するディレクトリを指定する
収集したファイルを削除する
収集したログを収集後に削除する場合はチェックをつける
コマンドテストを実行する
ヒント
公開鍵で認証する場合はあらかじめ対象サーバに公開鍵を設定してください。注意
1つの対象サーバに対し、複数のマネージャーサーバから「対象サーバにSCP接続して収集」方式で収集する場合、「作業ディレクトリ」は異なるディレクトリを指定する必要があります。
ログの収集タスクの[スケジュールタイプ]および、[開始時刻]を指定する。スケジュールタイプを「繰り返し」を選択した場合は、タスクスケジュールの[間隔]および[開始日]を指定し、[次へ]ボタンをクリックする
収集するログのファイル形式を選択する。次に[プレビュー]ボタンをクリックする事でプレビュー画面が表示される。その際、入力するログの一部をサンプルデータとして収集する
収集するログのフォーマットに応じて、下表の手順に従い、対象サーバ追加ウィザードを進めていく
ファイル形式
手順
プレーンテキスト
CSV/TSV/DSV
イベントログ
必要に応じて、[イベントID]に取得対象とするイベントIDを指定し、[次へ]ボタンをクリックする（複数指定可）
JSON
[文字コード]を指定し、[次へ]ボタンをクリックする
Syslog
[文字コード]を指定し、[次へ]ボタンをクリックする
ヒント
後続の画面においても[プレビュー]ボタンをクリックし、サンプルデータ（入力するログの一部）を収集することはできますが、この段階で収集することで後続処理でのファイルの読み込みが必要なくなる上、内部関数（F()）などの処理があらかじめ評価され、入力補助が有効に利用できるようになります。
注意
書き込み(レコードの追記)が継続しているログファイルを収集する場合は、[入力ファイルにヘッダーを含む]にチェックを入れないでください。 このオプションは入力ファイルの1行目をマッピング処理から除外するため、ヘッダー以外のログ行を除外してしまうことがあります。
アクセスログの各項目（「時刻」、「ユーザー」、「サーバ」、「対象」、「操作」、「詳細」）にマッピングする列や文字列などを選択、または個別に定義する。
ALog EVAで提供される関数および、MicrosoftC# の関数の一部を利用できる。設定方法の詳細は、「ログのマッピング」 を参照
ヒント
ALog EVAでは、以下のnamespaceを持つMicrosoft C#の関数を利用することが可能です。
System
System.Collections.Generic
System.Linq
System.Text.RegularExpressions
テンプレートを選択している場合、「テンプレートのマッピング値を使用する」チェックボックスが表示される。
チェックON： 選択したテンプレートのマッピング値をそのまま使用する。バージョンアップでテンプレートの内容が変更になった場合に対象サーバを編集せずに追随することができる
チェックOFF：テンプレートのマッピング値を変更できる
[プレビュー]ボタンをクリックし、入力したログが期待したとおりにマッピングされているかを[出力]の内容で確認する。[出力]が期待通りになっている事を確認したら、「マッピング設定 – 出力」画面にある[次へ]ボタンをクリックする
期待どおりにマッピングが出来ていない場合は、「マッピング設定 – 出力」で行ったマッピング設定を修正して、プレビュー画面右下の[再描画]ボタンをクリックし、再度[出力]の内容を確認する
マッピング設定とプレビューを繰り返し、希望するログに調整を行う
ヒント
サンプルとするログを変更する場合は、プレビュー画面の[サンプルデータの変更]ボタンをクリックして、取り込むログを指定します。 詳細は「サンプルデータの指定方法」を参照してください。
ヒント
サンプルデータを最新の情報にしたい場合は、[サンプルデータの変更]から「対象サーバからサンプルファイルを収集」をクリックしてください。
注意
マッピングで指定できる式評価外の文字は、文字種によってエスケープシーケンスで入力する必要があります。 詳細は「特別な文字列のエスケープ方法」を参照してください。
「対象サーバ追加ウィザードの完了」の画面が表示されたら、設定内容に誤りがないことを確認し、[完了]ボタンをクリックする
6.2.2. プレビュー画面の見方とサンプルデータの指定方法
6.2.2.1. プレビュー画面の見方
サンプルデータの変更や入力したログを指定されたファイル形式などに従って変数に割り当てた状態を表示する「ログの入力部」
「マッピング設定 – 出力」の定義に従って、出力されるアクセスログのマッピング結果を表示する「アクセスログの出力部」
プレビュー画面
項目
説明
ログの入力部
サンプルデータ
入力
アクセスログの出力部
出力
ヒント
対象サーバ追加ウィザードのダイアログとプレビューのダイアログは、ブラウザ上で同時に表示して並べることが可能です。 並べながらマッピング設定の調整を行ってください。
6.2.2.2. サンプルデータの指定方法
1. 対象サーバ追加ウィザードの「マッピング設定 – 入力」または、「マッピング設定 – 出力」画面の左下にある[プレビュー]ボタンをクリックする
「プレビュー」画面の右上にある[サンプルデータの変更]ボタンをクリックする
対象サーバから、入力するログファイル（サンプルデータ）を収集する場合は、「対象サーバからサンプルファイルを収集」をクリックする
ログ収集設定で指定した方法によってログファイル（サンプルデータ）を取得する入力するログファイルを任意の格納先から指定する場合は、「サンプルファイルをアップロード」をクリックする
注意
[サンプルファイルをアップロード]から指定するファイルは、圧縮されていないものを指定してください。
ヒント
「対象サーバからサンプルファイルを収集」では、収集方式が「対象サーバの共有フォルダーから収集」、「マネージャーサーバのローカルフォルダーから収集」または「対象サーバにSCP接続して収集」を指定していた場合、指定フォルダーおよび指定ファイルにマッチするファイル名で、かつ更新日時が最も新しい1ファイルを収集します。「対象サーバのイベントログを収集」を指定していた場合は、指定したイベントログ名のカレントログをそのまますべて収集します。そのため、最大サイズを大きく設定している場合、サンプルデータの取得に時間を要することがあります。
(「サンプルファイルをアップロード」ボタンをクリックした場合) [参照]ボタンをクリックして、アップロードするログファイルを指定し、[アップロード]ボタンをクリックする
6.2.3. ログ収集の動作確認
Webコンソールの[管理]をクリックし、「ステータス」画面を表示する
「ステータス」画面で、対象サーバの一覧から動作を確認したい対象サーバの[タスク操作]ボタン、[開始]ボタンをクリックする。開始後、収集が完了するか確認する
「ステータス」画面で、管理サーバの一覧から「ログ変換」の[タスク操作]ボタン、[開始]ボタンをクリックし、変換が完了するか確認する
注意
「対象サーバにSCP接続して収集」方式で収集に失敗する場合、必要なコマンドが対象サーバ環境で不足している可能性があります。「サーバ編集」画面の「コマンドテストを実行する」にチェックを入れ[OK]ボタンをクリックすることで、不足しているコマンドがないか確認できます。
6.2.4. 登録した対象サーバの設定変更
すでに登録されている対象サーバの各設定を変更する場合は、以下の手順で行います。
「管理」画面の[対象サーバ]から「対象サーバ」画面を表示し、設定を変更したいサーバをクリックする
「サーバ編集」画面が表示されるので、各設定を適宜変更する。変更後、[プレビュー]ボタンをクリックする
プレビュー画面で意図したとおりにアクセスログが出力されるかを確認する
意図したとおりにマッピングが出来ていない場合は、マッピング設定の 入力/出力を修正して、プレビュー画面右下の[再描画]ボタンをクリックし、再度[出力]の内容を確認する
マッピング設定とプレビューを繰り返し、希望するアクセスログとなるよう調整する
マッピング設定が確定したら、プレビュー画面を閉じて、「サーバ編集」画面下部にある[OK]ボタンをクリックする
6.3. ログのマッピング
本章ではALog EVAで収集したログの入出力およびマッピングについて説明します。
6.3.1. マッピング設定 – 入力
6.3.1.1. ログフォーマットの選択
ログフォーマット
項目
説明
プレーンテキスト
文字コード
入力されるログファイルの文字コードを指定する
自動フォーマット設定
CSV/TSV/DSV
文字コード
入力されるログファイル(テキスト)の文字コードを指定する
区切り文字
入力ファイルにヘッダーを含む
この設定を有効にすると、ファイルの最初の行はファイルのヘッダーとして扱われ、マッピング処理の対象から除外される
空のフィールドを除外
コメント行の先頭文字
ここで指定した文字が行頭に出現した場合、当該行はコメント行として扱われ、マッピング処理の対象から除外される
イベントログ
イベントID
Syslog
文字コード
入力されるSyslog形式のログファイルの文字コードを指定する
JSON
文字コード
入力されるJSON形式のログファイルの文字コードを指定する
注意
V8.2.0以前に「プレーンテキスト」を選択している対象サーバでは、V8.3.0以降のバージョンアップを行うと編集画面で「プレーンテキスト(旧方式)」と表示されます。 「プレーンテキスト(旧方式)」を使用している場合、「プレーンテキスト」への切り替えを推奨します。
ヒント
6.3.1.2. [自動フォーマット設定]
ポイント
難しい正規表現を自分で考えなくても、サンプルデータをもとにデータのフォーマットを表す正規表現をALogが自動で考える
候補から希望する正規表現を選択するだけでいい
1つのデータに対し、複数のフォーマットを設定できる
使い方
1
適切なサンプルデータを指定する
2
[時刻フォーマット]タブ で時刻の正規表現を決定する
3
[フォーマット(数字)]タブ で時刻以外の正規表現を決定する
4
プレビューで確認する、必要に応じてフォーマット設定を調整する
ヒント
サンプルデータは先頭から2000行分を表示します。
注意
6.3.1.2.1. [時刻フォーマット]タブ
サンプルデータから時刻フォーマットを抽出するため[自動抽出]ボタンをクリックする
ALogが自動でフォーマットを抽出することを確認
サンプルデータの時刻部分がマークされる
「正規表現文字列」欄に正規表現が表示される
変更したい場合は、「正規表現文字列」欄を手動で変更し[自動抽出]ボタンをクリックする
ヒント
Microsoft C#で使われる一般的な正規表現文字列が使用可能です。
自動判別できる時刻フォーマットは 自動判別可能な時刻フォーマット と同様です。
1つの対象サーバに対し、時刻フォーマットは1つのみ設定できます。
ヒント
6.3.1.2.2. [フォーマット(数字)]タブ
[追加]ボタンをクリックし、フォーマットタブを作成、この時点でALogが自動でフォーマットを抽出することを確認
サンプルデータ内に存在するフォーマットの正規表現が「正規表現文字列の候補一覧」に表示される
このとき自動生成される正規表現は、時刻として指定した箇所の次の文字からとなる
候補一覧をクリックしながら、希望の正規表現を決定する
「正規表現文字列」欄に正規表現が表示される
クリックしていくと、サンプルデータにマークされ可視化されるため、どの行のどの部分が抽出されているかがわかる
マークのカラーは左下のグループ名と連動している
フォーマット名、正規表現文字列、グループ名を必要に応じて変更し、プレビューで確認する
フォーマット名についてそのログを指し示すわかりやすい名前を付ける例：1つ目のフォーマットに「LOGIN」、2つ目のフォーマットに「LOGOUT」など出力の設定では初期状態で操作欄に入る設定になっている正規表現文字列についてMicrosoft C#で使われる一般的な正規表現を使用して変更することができるグループ名についてグループ名は、次に設定する「マッピング設定 - 出力」において関数として使用される出力側でわかりやすくしたい場合は事前にここで変更する同一フォーマット内で同じグループ名を設定することはできない複数フォーマットでは同じグループ名を設定することができる
ヒント
出力設定画面に遷移した際、初回はフォーマット設定で作成したグループ名は自動で詳細キー、詳細値欄に入力されます。複数フォーマットで同一のグループ名が複数存在していた場合、詳細キーに表示されるのは一つのみです。※戻るボタン等を押して出力設定画面への遷移が二回目以降の場合は詳細キー、詳細値欄への自動入力はされません。
複数のフォーマットを作成したい場合は、この作業を繰り返す
複数のフォーマットを作成する例サンプルデータのログが100行あり、最初に定義したフォーマット1では10行目~30行目のログが抽出できなかった場合、フォーマット2を作成して10行目~30行目のログを抽出する
タブ数の制限はない
同じ行のログで複数のフォーマット設定で抽出された場合、左側のフォーマット設定タブの内容を優先する
6.3.2. マッピング設定 - 出力
6.3.2.1. マッピング処理の概要
6.3.2.2. デコーダ部
ALog EVAの「デコーダ部」では、以下のような処理を行っています。
6.3.2.2.1. 行の分割処理
注意
6.3.2.2.2. 列の分割処理および列の展開
6.3.2.3. マッピング部
ALog EVAの「マッピング部」について説明します。
6.3.2.3.1. アクセスログのフォーマット
No.
項目
説明
1
時刻
2
ユーザー
3
サーバ
4
対象
5
操作
6
詳細
ヒント
固定の文字列の指定は、時刻、ユーザー、サーバ、対象、操作および、詳細の各項目で行えます。
ヒント
注意
詳細項目のキー名の先頭は半角英字、続く文字は半角英数字しか使えません（記号は利用不可）。
注意
「サーバ」および「操作」には、マッピングの際、改行を含む文字列が指定されないようにしてください。
6.3.2.3.2. 「マッピング – 出力」の設定例
ALog EVAの「マッピング – 出力」では、以下のように設定（例）を行います。
No.
項目
設定例の説明
1
時刻
2
ユーザー
上記では、「ユーザー」の列に「firewall」を割り当てるために「{F(4)}」を指定している
3
サーバ
4
対象
上記では、「対象」の列に「{F(5)}」を指定することで、第5列目の情報をそのまま割り当てている
5
操作
6
詳細
ヒント
注意
日付、時刻が別の列として現れる場合、時刻の自動判別には、日付と時刻の間にスペースが必要です。
注意
注意
6.3.2.4. マッピング設定で使用可能な関数
6.3.2.4.1. ALog EVAが標準で用意している関数
関数
説明
string F(int idx)
分割した列のidx番目（カウントは1から）の文字列を取得する
string[] F(int start, int end)
DateTime Now()
関数が呼び出されたときの時間をそのまま文字列として出力する
DateTime Now(TimeSpan offset)
関数が呼び出されたときの時間をOffsetで指定した差分を加味して文字列として出力する
string Server()
対象サーバ設定で指定したサーバ名を文字列として出力する
int LineCount()
string RawLine()
マッピングで１行に相当する行のすべての文字列を取得する
int FCount()
分割した列の総数を返す
string InputFileName()
収集したファイル名をそのまま出力する
6.3.2.4.2. CSV/TSV/DSV形式のログのみに使用できる関数
CSV/TSV/DSV形式のログに対しては以下の関数も使用できます。
関数
説明
string F(string rowName)
6.3.2.4.3. イベントログ形式のログのみに使用できる関数
イベントログ形式のログに対しては以下の関数も使用できます。
関数
説明
string F("TimeCreated")
イベントが作成された日時を取得する
string F("ProviderName")
イベントを発行したイベント プロバイダーの名前を取得する
string F("ProviderID")
このイベントを発行したイベント プロバイダーのグローバル一意識別子 (GUID) を取得する
string F("EventID")
このイベントの識別子を取得する
string F("Version")
イベントのバージョン番号を取得する
string F("Level")
イベントのレベルを取得します。レベルは、イベントの重要度を示す
string F("Task")
アプリケーションまたはイベントを発行するコンポーネントの一部のタスクの識別子を取得する
string F("Opcode")
string F("Keywords")
イベントのキーワードのマスクを取得する
string F("EventRecordID")
ログのイベントのイベント レコード識別子を取得する
string F("ProcessID")
イベントを記録したイベント プロバイダーのプロセス ID を取得する
string F("ThreadID")
イベント プロバイダーが実行されているスレッドのスレッド識別子を取得する
string F("Channel")
このイベントが記録される場所、イベントログの名前を取得する
string F("Computer")
このイベントが記録されたコンピューターの名前を取得する
string F(<Name>)
イベントログをXML形式で参照した際の<system>要素内にある上記以外の子要素名を指定することで、その値を取得する
string Description()
string DF(int idx)
string DF()
string[] DF(int start, int end)
int DFCount()
当該のイベントログ行に含まれる詳細項目の総数を返す
注意
6.3.2.4.4. JSON形式のログのみに使用できる関数
JSON形式のログに対しては以下の関数が使用できます。
関数
説明
string F(<JSONパス書式>)
以下の記号を用いて特定のオブジェクトの値を取得する事も可能
記号
意味
$
オブジェクトや要素のルート
. or [ ]
子オペレーター
[ ]
配列の指定
例： JSONパスが /store/book[0]/titleの値を取得したい場合 「$.store.book[0].title」
注意
JSON形式では、添え字（数字）によるF()関数の指定が利用できません。
6.3.2.4.5. プレーンテキストのログのみに使用できる関数
プレーンテキストのログに対しては以下の関数が使用できます。
関数
説明
string FormatName()
自動フォーマット設定画面で指定したフォーマット名を使用することが可能
string F(string GroupName)
6.3.2.4.6. 良く使う関数例
(1)複数のフィールドを結合する – Join関数
関数
説明
{string.Join(":", F(3,5))}
{string.Join("-",DF(5,-1))}
(2)1つのフィールド内を特定の区切り文字で分離する – Split関数
関数
説明
{F("ProviderName").Split('-')[3]}
「ProviderName」のフィールドを区切り文字「-」ごとに分割し、左から数えて4個目の値を抽出する (左から0、1、2、3と数える)
{F(2).Split(' ')[0]}
F2のフィールドを区切り文字「 」(半角スペース)ごとに分割し、左から数えて0個目の値を抽出する(左から0と数える)
注意
Join関数/Split関数等の関数による文字列操作が行われる場合、変換タスクのパフォーマンスに影響があります。 同環境で上記の関数を使用しない場合と比較し約70%程度となることを確認しています。(設定する関数の複雑さにより変動します。) ログ出力量によりマシンスペックが追加で必要になる場合がありますので構築時に注意してください。
6.3.2.4.7. 関数「ReplaceByFile」の使用方法
ここでは、ユーザー欄のアカウントを氏名に置換する例を用いて使用方法を説明します。
以下の様な置換前と置換後の文字列がセットになったCSVファイルを用意する
(ファイルの配置先は D:\UserData\User.csv とします)
Webコンソール-対象サーバの追加ウィザード、もしくは編集画面を開き、「マッピング設定-出力」の欄に下記のように設定する
※この例では「ユーザー欄」に入力する。その他の欄はそれぞれ必要なマッピング設定を行う
コピー用 {ReplaceByFile(F(2), @"D:\UserData\User.csv", 0, "{1} {2}", ReplaceByFileOptions.IgnoreCase)}
引数
記述する内容
1
入力文字列
「マッピング設定-入力」で指定したログデータにおける列を指定する。プレビュー画面を見て確認可能
2
ファイル名
手順1で用意した置換用テーブルとして扱うCSVファイルをフルパスで指定する
3
キーインデックス
手順1で用意したファイルにおける検索対象としたい列の番号を指定する。0からカウントする
4
出力フォーマット
置換後の出力フォーマットを指定する。{列番号} という形で手順1にて用意したファイルの列番号を指定する。0からカウントする
5
オプション値
「IgnoreCase」と指定すると、ログのデータと置換用テーブルにおける文字列の、大文字小文字を比較せずに置換する
【解説】上記のように記述することで、F(2)の文字列がCSVファイルの1列目の値と一致した場合に、「2列目の項目、全角スペース、3列目の項目」をユーザー欄に出力するIgnoreCaseオプションを指定しているため、大文字小文字を無視してF(2)の文字列とCSVの1列目の値を比較するまた、一つもマッチしなかった場合、最初の引数に指定した文字列（この例ではF(2)の文字列）がそのまま出力される
F(2)の値
出力結果
Domain.co.jp\s-sato
佐藤 詩織
domain.co.jp\k-kato
加藤 光一
test.co.jp\t-tanaka
test.co.jp\t-tanaka
設定完了後、運用前に収集タスクと変換タスクを実行し、置換が期待した通りに行われているか確認する
6.3.2.4.8. 関数「KeySearch」の使用方法
「KeySearch」という関数は、入力データで順序に規則性のない「キー=値」のような組み合わせが複数出力されている場合に、「キー 名」を指定することで「キー名」で検索し、紐づく「値」を返すものです。
日付(F1) |
ホスト (F2) |
メッセージ (F3) |
|
|---|---|---|---|
1 行目 |
Jan 6 |
10.249.3.13 |
version="1.0" class="high"uid="0" |
2 行目 |
Jan 6 |
10.249.3.13 |
class="high" |
3 行目 |
Jan 6 |
10.249.3.13 |
sshd="15880" version="1.1" class="high"uid="0" |
メッセージ部分は複数の情報が含まれています。キーによっては存在する行と存在しない行があり得ます。 この中から「version の情報があった場合に値を出したい」という要望がある場合、メッセージ部の順番指定では切り出すことができません。 このようなときに 「KeySearch(F(3), "version=")」と指定すると、メッセージ内で「version」を探し、それに紐づく値を返すことができます。
関数返り値 |
|
|---|---|
1 行目 |
1.0 |
2 行目 |
(なし) |
3 行目 |
1.1 |
オプション引数 |
初期値 |
解説 |
|---|---|---|
delimiter |
「 」(空白)
「\t」(タブ)
|
ここで指定するのは「キーと値の組み合わせ」の間で分割する区切り文字である
通常このパラメタを変更する必要はないが、特殊な文字、例えば「,」などで区切られている場合にはdelimiter="," と指定する
|
escapeChar |
「\」 |
クォートの中でエスケープが必要な際に、エスケープの開始文字を指定する
デフォルト値は「\」キャラクタで、後続に指定する被エスケープ文字(escapedChars）をエスケープするシーケンス開始として認識する
|
escapedChars |
「"」「'」「\」 |
ここで指定される文字は、前述のescapeChar の後続で指定される「エスケープされる文字」を指定する |
quotes |
「"」「'」 |
Key に対する値が発見された場合に、それらの文字が「クォートされている」ときの、クォート文字を指定する |
注意
6.3.2.5. 時刻のマッピング処理
注意
時刻に代入しようとする文字列が自動判別可能な時刻フォーマットまたは、任意に指定した時刻フォーマットに該当しない場合、変換処理がエラーとなります。 プレビュー画面で変換後の時刻の文字列を確認し、正しい時刻フォーマットになっているかを確認してください。
6.3.2.5.1. 自動判別可能な時刻フォーマット
ALog EVAでは、標準で以下の時刻フォーマットを自動で判別できます。
No.
フォーマット
例示
1
1999/12/31 23:59:59.123
2
1999/12/31 9:59:59.123
3
1999-12-31 23:59:59.123
4
1999-12-31 9:59:59.123
5
1999/12/31 23:59:59
6
1999/12/31 9:59:59
7
1999-12-31 23:59:59
8
1999-12-31 9:59:59
9
19991231 235959123
10
19991231 235959
11
MMM dd HH:mm:ss.FFFFFFF
Dec 02 23:59:59.123
12
MMM d HH:mm:ss.FFFFFFF
Dec 2 23:59:59.123
13
MMM dd HH:mm:ss
Dec 02 23:59:59
14
MMM d HH:mm:ss
Dec 2 23:59:59
15
M d HH:mm:ss
12 2 23:59:59
16
MMMM d HH:mm:ss
December 2 23:59:59
注意
上記フォーマットにおいてss(秒指定)の部分は正のうるう秒を判定する事が可能です。例えば23:59:60となった場合、翌日の00:00:00となります。注意
MMMの指定に関して、ログ内で年にあたる情報が無い場合、変換時の月と、ログに示される月を比較し、自動的に年を補填します。 変換時点で経過した月の場合は今年を、経過していない月の場合は前年を自動的に補填します。
6.3.2.5.2. 独自書式での時刻フォーマット指定の例
以下にユーザーが独自に時刻フォーマットの書式を設定することで読み込める日時書式を例示します。
時刻フォーマットの例
設定値
1999/12/31 23:59:59 +09:00
yyyy/MM/dd HH:mm:ss zzz
Dec 31 1999 23:59:59
MMM dd yyyy HH:mm:ss
6.3.2.6. 除外フィルター
除外フィルターの条件は、Microsoft C#のbool（真偽値）を返す式で定義する必要があります。
6.3.2.6.1. 除外フィルターの指定の例
注意
除外フィルターの条件式は、マッチした場合に出力対象とするのではなく、出力対象外にするという点にご注意ください。
注意
除外フィルターの条件式がboolを返さない場合、[エラー時のふるまい]の設定の如何に関わらず、falseと評価され、除外されずに処理対象となります。
6.3.2.7. エラー時のふるまい
「エラー時のふるまい」設定には2つの選択肢がありますが、それぞれ以下のように動作します。
設定の選択肢
設定値
エラーを無視し、フィールドを空文字にする
警告を発し、エラー行をスキップする
注意
時刻がエラーとなった場合、[エラー時のふるまい]の設定に関わらず、行全体が無効になります。 この仕様は、ALog EVAが「時刻のないログは、アクセスログとして許容しない」という前提に基づいて動作しているためです。
注意
「エラーを無視し、フィールドを空文字にする」を設定した状態で詳細項目の一つがエラーとなった場合は、そのエラーとなった詳細項目だけが無効となり、他の正常な詳細項目はアクセスログに展開されます。
6.3.2.7.1. エラーとなるケース
以下のようなケースでは、マッピング処理においてエラーとなります。
◆サーバ名に「{F(99)}」を指定したが、入力対象となるログの特定の行の列は99列未満だった場合
「警告を発し、エラー行をスキップする」に設定している場合は、警告を発しこの行を無効とします。一方、「エラーを無視し、フィールドを空文字にする」に設定している場合は、サーバ名が空文字になります。（他の項目はエラーが無い限り出力されます）
◆「{F(5)」のように文法ミスをした場合
この場合は、[エラー時のふるまい]の設定に関わらず、ログ変換タスクそのものが失敗します。
6.3.2.8. 空の詳細項目を出力しない
ALog EVAでは、[マッピング設定-出力]の詳細項目(詳細キーと詳細値をセットで定義している部分)に指定した内容で変換処理が行われた結果、詳細項目が「空」になるケースに対し、「空」の場合は詳細キー自身を表示しないようにする設定が可能です。
＜例＞
「詳細キー：To 、詳細値：{_To}」と設定した際、変換において{_To}に相当する内容が無く結果的に詳細欄に「To:」と表示されるケースが存在します。このケースで「空の詳細項目を出力しない」にチェックをつけると、詳細欄に「To:」という文字列自体が含まれないようになります。
注意
プレビューの際には、マッピング設定自体の正しさをプレビューするために、この設定項目の設定によらず、詳細値が「空」でもそれに対応した詳細キーが表示されます。
6.3.2.9. 重複する行を1行に マージする
制限事項がありますので、「ログ変換時のマージ処理について」 を確認してください。
注意
「重複する行を1行にマージ」にチェックが入っている場合、プレビュー画面でもマージ処理を行います。 ただし、プレビュー対象となるサンプルログの中にエラーとなる行が存在する場合、プレビュー画面ではマージされずに表示されます。 マージ結果を確認したい場合は、サンプルログに存在するエラーの原因を解消した上で再表示してください。
6.3.2.10. 特別な文字列のエスケープ方法
「マッピング設定―出力」設定にて「時刻」、「ユーザー」、「サーバ」、「対象」、「操作」、「詳細」には、以下のエスケープシーケンスが利用されます。 (これはMicrosoft C#における補間文字列の仕様と同等です。)
エスケープ
文字列名
\'
単一引用符（シングルクォーテーション）
\"
二重引用符（ダブルクォーテーション）
円記号
\0
Null
\a
警告
\b
バックスペース
\f
フォーム フィード
\n
改行
\r
キャリッジ リターン
\t
水平タブ
\U
サロゲート ペアの Unicode エスケープ シーケンス (例：\Unnnnnnnn)
\u
Unicode エスケープ シーケンス (例：\u0041 は "A"に相当)
\v
垂直タブ
\x
Unicode エスケープ シーケンス (可変長である点を除き "\u" に類似)
{{
波括弧（左辺） (このエスケープシーケンスは除外フィルターでは使用しない)
}}
波括弧（右辺） (このエスケープシーケンスは除外フィルターでは使用しない)
6.3.3. EVAテンプレート
6.3.3.1. 主な標準テンプレート
テンプレートの種類
説明
イベントログ(System)
イベントログ(Application)
イベントログ (Security)
ALog Syslog Receiver (CSV出力)
ALog Syslog Receiverにより、受信したsyslogデータをCSV出力した場合に利用するテンプレート
Webサーバ (Apache)
Apacheウェブサーバが出力するログを収集、変換するためのテンプレート
DHCPv4サーバ(Windows)
Windows ServerOSにて提供されるDHCP機能が出力するログを収集、変換するためのテンプレート
DBサーバ(PostgreSQL/Symfoware)
PostgreSQL及びSymfoware Server（Openインターフェイス）がCSV形式で出力する監査・システムログファイルを収集、変換するためのテンプレート
HPE 3PAR File Persona
HPE 3PAR File Persona 向けJSON形式のファイル監査ログを収集、変換するためのテンプレート
6.3.3.2. 作成したテンプレートの追加
「管理」画面の[対象サーバ]をクリックして「対象サーバ」画面を表示し、テンプレートとして追加したいマッピング設定が行われているサーバをクリックする
「サーバ編集」画面が表示されるので、左下部の[テンプレートとして保存]ボタンをクリックする
[テンプレート名]に任意の名称を入力し、適宜、[説明]にテンプレートの説明を追加して、[保存]ボタンをクリックする（2つのチェックボックスにはどちらか片方は必ずチェックをつける必要がある）
テンプレートが正常に保存されたことを確認し、[閉じる]ボタンをクリックする
「サーバ編集」画面に戻るので、[キャンセル]ボタンをクリックし、画面を閉じる
6.3.3.3. 作成したテンプレートの削除
「対象サーバの追加手順」の手順「1.～6.」を行い、「ログ設定方法の選択」画面を表示する
[テンプレートを使用する]にチェックを入れ、プルダウンメニューからテンプレートの一覧を表示し、削除したいテンプレートのごみ箱アイコンをクリックする
6.3.3.4. テンプレートのインポート/エクスポート
テンプレートをインポートしたり、エクスポートしたりすることができます。詳細は「設定のインポート/エクスポート」を参照してください。