Giới thiệu

BlackHole Forwarder là thành phần trung gian trong hệ thống SIEM. Nó nhận dữ liệu từ nhiều nguồn (MQTT, rsyslog, Kafka, gRPC), xử lý và chuyển tiếp đến các hệ thống backend.

Forwarder hoạt động như một gateway tập trung quản lý luồng dữ liệu từ nhiều Agent hoặc thiết bị mạng.

Tính năng chính

Thu thập dữ liệu

• MQTT Broker: Embedded MQTT broker để nhận dữ liệu từ Agent
• Rsyslog Server: Thu thập syslog từ thiết bị mạng qua UDP/TCP
• Kafka Consumer: Đọc dữ liệu từ Kafka topics
• gRPC Server: Nhận dữ liệu qua gRPC protocol
• SNMP: Polling và trap reception từ thiết bị mạng

Xử lý dữ liệu

• Transforms: Pipeline xử lý với filter, remap, route, dedupe, reduce, throttle
• Routing: Định tuyến sự kiện đến nhiều sinks dựa trên điều kiện
• Buffering: Queue persistent để đảm bảo dữ liệu không bị mất

Tích hợp

• Multiple Sinks: MQTT, Kafka, gRPC, BlackHole (OpenSearch)
• Registry: Đồng bộ cấu hình từ server trung tâm
• Service: Chạy như Windows Service hoặc systemd service

Nền tảng hỗ trợ

Nền tảng	Chi tiết
Windows	Windows 10/11, Windows Server 2016+. Architecture x64.
Linux	Ubuntu, CentOS, RHEL, Debian, Alpine. Architecture x86_64, ARM64. Hỗ trợ musl libc.

Yêu cầu hệ thống

Thành phần	Tối thiểu	Khuyến nghị
CPU	1 core	2+ cores
Memory	2GB RAM	4GB+ RAM
Disk	5GB free	20GB+ free
Network	Ổn định	Băng thông cao

Bảo mật

• Xác thực với Registry bằng API key
• TLS/SSL cho tất cả kết nối
• Proxy authentication (Basic Auth)
• MQTT authentication

Logging

• Structured logging với tracing crate
• Log rotation tự động
• Các level: debug, info, warn, error