Ubuntu 22.04
Sponsored Link

Elastic Stack 8 : Filebeat स्थापित करें2023/09/26

 
Filebeat इंस्टॉल करें जो आसानी से लॉग फ़ाइल डेटा को El या Logstash पर भेजता है।
[1] Filebeat स्थापित करें। इसके पहले Elasticsearch रिपॉजिटरी को कॉन्फ़िगर करें।
root@dlp:~#
apt -y install filebeat
[2] बुनियादी सेटिंग्स कॉन्फ़िगर करें और Filebeat प्रारंभ करें।
root@dlp:~#
vi /etc/filebeat/filebeat.yml
# पंक्ति 28 : डेटा एकत्र करने के लिए आइटम सेट करें
# यदि लॉग एकत्रित करते हैं, तो [@enabled: true] पर जाएँ
# डिफ़ॉल्ट रूप से, /var/log/*.log फ़ाइलें भेज दी जाती हैं

- type: filestream

  # Unique ID among all inputs, an ID is required.
  id: my-filestream-id

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /var/log/*.log
    #- c:\programdata\elasticsearch\logs\*

  # Exclude lines. A list of regular expressions to match. It drops the lines that are
  # matching any regular expression from the list.
  # Line filtering happens after the parsers pipeline. If you would like to filter lines
  # before parsers, use include_message parser.
  #exclude_lines: ['^DBG']

  # Include lines. A list of regular expressions to match. It exports the lines that are
  # matching any regular expression from the list.
  # Line filtering happens after the parsers pipeline. If you would like to filter lines
  # before parsers, use include_message parser.
  #include_lines: ['^ERR', '^WARN']

.....
.....

# पंक्ति 108 : यदि Kibana का उपयोग करें, तो टिप्पणी हटाएं और आउटपुट होस्ट निर्दिष्ट करें
# यदि Kibana पर SSL सक्षम है, तो होस्टनाम प्रमाणपत्रों में होस्टनाम के समान होना चाहिए
# [username] और [password] व्यवस्थापक उपयोगकर्ता का है
# यदि स्व-हस्ताक्षरित प्रमाणपत्र का उपयोग कर रहे हैं, तो निर्दिष्ट करें [ssl.verification_mode: none]

setup.kibana:
.....
  host: "https://dlp.srv.world:5601"
  protocol: "https"
  username: "elastic"
  password: "password"
  ssl.enabled: true
  ssl.verification_mode: none

# पंक्ति 144: Elasticsearch का आउटपुट निर्दिष्ट करें
# [username] और [password] व्यवस्थापक उपयोगकर्ता का है
# [ssl.certificate_authorities] Elasticsearch इंस्टालेशन द्वारा उत्पन्न कैसर्ट है

output.elasticsearch:
  # Array of hosts to connect to.l
  hosts: ["https://dlp.srv.world:9200"]

  protocol: "https"
  username: "elastic"
  password: "password"
  ssl.certificate_authorities: "/etc/elasticsearch/certs/http_ca.crt"

.....
.....

root@dlp:~#
vi /etc/filebeat/filebeat.reference.yml
# पंक्ति 15 : डेटा एकत्र करने के लिए आइटम सेट करें

- module: system
  # Syslog
  syslog:
    enabled: true

.....
.....

  # Authorization logs
  auth:
    enabled: true

# पंक्ति 4720 : यदि Kibana का उपयोग करें, तो टिप्पणी हटाएं और आउटपुट होस्ट निर्दिष्ट करें
# यदि Kibana पर SSL सक्षम है, तो SSL संबंधित पंक्तियों पर टिप्पणी हटाएँ
# [username] और [password] व्यवस्थापक उपयोगकर्ता का है
# यदि स्व-हस्ताक्षरित प्रमाणपत्र का उपयोग कर रहे हैं, तो निर्दिष्ट करें [ssl.verification_mode: none]

setup.kibana:

  # Kibana Host
  # Scheme and port can be left out and will be set to the default (http and 5601)
  # In case you specify and additional path, the scheme is required: http://localhost:5601/path
  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
  host: "https://dlp.srv.world:5601"

  # Optional protocol and basic auth credentials.
  protocol: "https"
  username: "elastic"
  password: "password"

  # Optional HTTP Path
  #path: ""

  # Use SSL settings for HTTPS. Default is true.
  ssl.enabled: true

.....
.....

  # after very careful consideration. It is primarily intended as a temporary
  # diagnostic mechanism when attempting to resolve TLS errors; its use in
  # production environments is strongly discouraged.
  # The default value is full.
  ssl.verification_mode: none

root@dlp:~#
systemctl enable --now filebeat
[3] स्थिति सत्यापित करें कि डेटा सामान्य रूप से एकत्र किया गया है।
# सूचकांक सूची

root@dlp:~#
curl -u elastic --cacert /etc/elasticsearch/certs/http_ca.crt https://127.0.0.1:9200/_cat/indices?v

Enter host password for user 'elastic':
health status index                                  uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .ds-metricbeat-8.5.0-2022.11.09-000001 MRfmgqLxSGCLapOAJDDZww   1   1      12862            0     15.2mb         15.2mb
yellow open   .ds-packetbeat-8.5.0-2022.11.09-000001 ooN-ezjvT_-j19g8hmYkwQ   1   1      14229            0      5.5mb          5.5mb
yellow open   .ds-filebeat-8.5.0-2022.11.09-000001   KNL7VJaXTK-hk7ZVxyty3Q   1   1       6765            0        1mb            1mb
yellow open   test_index                             Yw-_PdilSIueIBLM9KmihQ   1   1          1            0      6.4kb          6.4kb

# सूचकांक पर दस्तावेज़ सूची

root@dlp:~#
curl -u elastic --cacert /etc/elasticsearch/certs/http_ca.crt https://127.0.0.1:9200/.ds-filebeat-8.5.0-2022.11.09-000001/_search?pretty

Enter host password for user 'elastic':
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 6765,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : ".ds-filebeat-8.5.0-2022.11.09-000001",
        "_id" : "cFZjW4QBpfPiykRa5VVv",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2022-11-09T07:56:18.231Z",
          "input" : {
            "type" : "filestream"
          },
          "ecs" : {
            "version" : "8.0.0"
          },
          "host" : {
            "name" : "dlp.srv.world",
            "mac" : [
              "52-54-00-97-AA-CC"
            ],
            "hostname" : "dlp.srv.world",
            "architecture" : "x86_64",
            "os" : {
              "platform" : "ubuntu",
              "version" : "22.04.1 LTS (Jammy Jellyfish)",
.....
[4] यदि Kibana चल रहा है,, नमूना डैशबोर्ड में डेटा आयात करना संभव है।
root@dlp:~#
filebeat setup --dashboards

Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
मिलान सामग्री