Elastic Stack 6 : Filebeat インストール2018/02/12

	任意のログファイルのデータ収集機能を提供する Filebeat をインストールします。
[1]	Filebeat をインストールします。事前に Elasticsearch リポジトリ設定済みであることが前提です。

[root@dlp ~]#

yum -y install filebeat

[2]	基本的な設定をして Filebeat を起動します。

[root@dlp ~]#

vi /etc/filebeat/filebeat.yml

# 21行目：収集するファイルを設定

# ログを収集する場合は enabled: true に変更

# デフォルトは以下のように /var/log/*.log ファイルとなっている

# 特定のキーワードを含む行/ファイルを対象/除外にする場合はそれぞれコメント解除して設定

- type: log

  # Change to true to enable this prospector configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /var/log/*.log
    #- c:\programdata\elasticsearch\logs\*

  # Exclude lines. A list of regular expressions to match. It drops the lines thh
at are
  # matching any regular expression from the list.
  #exclude_lines: ['^DBG']

  # Include lines. A list of regular expressions to match. It exports the lines
that are
  # matching any regular expression from the list.
  #include_lines: ['^ERR', '^WARN']

  # Exclude files. A list of regular expressions to match. Filebeat drops the fii
les that
  # are matching any regular expression from the list. By default, no files are
dropped.
  #exclude_files: ['.gz$']

.....
.....

# 117行目：Kibana を使用する場合はコメント解除して出力先を指定

# Kibana で SSL 有効の場合は証明書に登録したホスト名と合わせる

setup.kibana:
.....
  host: "https://dlp.srv.world:5601"

# 143行目：出力先を指定する

# デフォルト出力先は以下のように localhost の Elasticsearch

# Logstash に出力する場合はコメントアウトして output.logstash 行関連を有効にする

output.elasticsearch:
  # Array of hosts to connect to.l
  hosts: ["localhost:9200"]

.....
.....

#output.logstash:
  # The Logstash hosts
  #hosts: ["localhost:5044"]

[root@dlp ~]#

vi /etc/filebeat/filebeat.reference.yml

# 15行目：収集する項目を設定

- module: system
  # Syslog
  syslog:
    enabled: true

.....
.....

  # Authorization logs
  auth:
    enabled: true

# 1236行目：Kibana を使用する場合はコメント解除して出力先を指定

# Kibana で SSL 有効の場合は ssl 系設定をコメント解除

# 自己署名の SSL 証明書の場合は ssl.verification_mode を none に要変更

setup.kibana:

  # Kibana Host
  # Scheme and port can be left out and will be set to the default (http and 5601)
  # In case you specify and additional path, the scheme is required: http://localhost:5601/path
  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
  host: "dlp.srv.world:5601"

  # Optional protocol and basic auth credentials.
  protocol: "https"
  #username: "elastic"
  #password: "changeme"

  # Optional HTTP Path
  #path: ""

  # Use SSL settings for HTTPS. Default is true.
  ssl.enabled: true

  # Configure SSL verification mode. If `none` is configured, all server hosts
  # and certificates will be accepted. In this mode, SSL based connections are
  # susceptible to man-in-the-middle attacks. Use only for testing. Default is
  # `full`.
  ssl.verification_mode: none

[root@dlp ~]#

systemctl start filebeat

[root@dlp ~]#

systemctl enable filebeat

[3]	データが取り込まれているか確認しておきます。

# index 一覧

[root@dlp ~]#

curl localhost:9200/_cat/indices?v

health status index                       uuid       pri rep docs.count docs.deleted store.size pri.store.size
yellow open   filebeat-6.2.1-2018.02.14   uzqg8...   3   1      29867            0      4.1mb          4.1mb
yellow open   packetbeat-6.2.1-2018.02.14 -O8vG...   3   1       1681            0    661.4kb        661.4kb
yellow open   sshd_fail-2018.02           ghhQe...   5   1         31            0    249.2kb        249.2kb
yellow open   test_index                  CIPjY...   5   1          1            0        6kb            6kb
green  open   .kibana                     sV0Ds...   1   0        231            2      308kb          308kb
yellow open   metricbeat-6.2.1-2018.02.14 OhrZT...   1   1      25201            0      4.5mb          4.5mb

# indexのドキュメント一覧

[root@dlp ~]#

curl localhost:9200/filebeat-6.2.1-2018.02.14/_search?pretty

{
  "took" : 15,
  "timed_out" : false,
  "_shards" : {
    "total" : 3,
    "successful" : 3,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 29867,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "filebeat-6.2.1-2018.02.14",
        "_type" : "doc",
.....
.....

[4]	Kibana を稼働させている場合は、データインポートが可能です。

[root@dlp ~]#

filebeat setup --dashboards

Loaded dashboards