クライアントアプリのログ収集のための覚書

データ処理パイプライン（データ収集・集約）

• fluentd
  • ライセンス: Apache License Version 2.0
  • 特徴:
    • Ruby 製
    • バッファリング機能
    • ロードバランス機能
  • C言語製の Fluent Bit がある
  • C++ ライブラリ
    • ライセンス: BSD 2-Clause license
    • libfluent
      • 参考:
        • libfluetを使ってC++プログラムからfluentdにログをとばす(Qiita)
        • m-mizutani/libfluent(Github)
    • fluent-logger-cpp
      • ライセンス: Apache License Version 2.0
      • 参考:
        • todayman/fluent-logger-cpp(Github)
  • 参考:
    • fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど）(Qiita)
• Logstash
  • ライセンス: Apache License Version 2.0
  • 特徴:
    • Java製
  • バッファリング機能がないため、バッファリングしたい場合 Apache Kafka と併用する必要あり
• FileBeat
  • C++ ライブラリ
    • なし?
• Apatch Flume
  • C++ ライブラリ
    • なし?
    • Avro と Apatch Thrift などからのRPCでFlumeエージェントにイベントを渡すことが可能

• Vector

  • ライセンス: MPL-2.0 license
  • 特徴:
    • Rust製
    • 高速かつ省メモリ
    • luaやwasm による拡張が可能
  • C++ ライブラリ
    • なし?
  • 参考:
    • Vectorとは(Zenn)
    • vectordotdev/vector(Github)

• 備考

  • クライアント向けのC++ ライブラリがなくても、入力としてTCPソケットが対応していればログの送信自体は可能

参考文献

• ログ収集ツールの比較
• リアルタイムのログ収集アーキテクチャーを調べる

分散ストーリーミング送受信処理基盤

• Apache Kafka
  • ライセンス:
    • Apache License 2.0
  • 特徴:
    • Java, Scala 製
  • 参考:
    • Apache Kafkaの概要とアーキテクチャ(Qiita)

検索エンジン

• Elasticsearch
  • ライセンス: Elastic License, SSPL

参考文献

• Fluentd + Elasticsearch + Kibanaでログを可視化
• Fluentd＋Elasticsearch＋Kibanaで作るログ基盤の概要と構築方法
• KafkaとKibanaでデータのリアルタイム可視化（C++アプリ→Kafka→Logstash→Elasticsearch→Kibanaの構築方法）(Qiita)
• LogstashやFluentdで、正規表現の書き方による性能問題を防ぐには(note)
• Logstash, Fluentd, Fluent Bit, or Vector? How to choose the right open-source log collector