Vector 日志采集与处理

简介 Vector 是一个高性能日志与指标采集代理,它从各种 source 收集数据,经过 transform 处理后发送到 sink(如 Loki、ClickHouse、Kafka、Elasticsearch 等) 它的特点是高吞吐、低延迟、无需依赖 JVM、轻量好部署,非常适合边缘节点和容器环境 本文主要讲述 Events 和 Compnents 1. 配置结构概览 Vector 有两种数据模型 (Data Model), 又称事件(Events): Logs: 用于表示结构化或非结构化日志数据 metrics: 用于表示指标数据 Vector 的配置由三个核心部分 (Compnets) 组成: sources:数据采集源 transforms:数据处理与解析 sinks:输出目标 2. Data model(events) Log events Here’s an example representation of a log event (as JSON): { "log": { "custom": "field", "host": "my.host.com", "message": "Hello world", "timestamp": "2020-11-01T21:15:47+00:00" } } Metric event 此处留给以后撰写 3. Compnents 3.1 source 详细配置请见 👉 Sources reference ...

August 20, 2024 · 2 min · 232 words · Guangyang Zhong