AI用語集
人工知能の完全辞典
Apache Kafka
高スループットと低遅延でリアルタイムのデータストリームを処理するために設計されたオープンソースの分散ストリーミングプラットフォーム。メッセージブローカーやログストレージシステムとして使用される。
Apache Flink
状態管理とExactly-Onceセマンティクスを備えた複雑イベント処理機能を提供する分散ストリーム・バッチ処理フレームワーク。リアルタイムアプリケーション向け。
ウィンドウ処理
連続するデータストリームを時間ベースまたはカウントベースのウィンドウに分割し、データのサブセットに対して集計や分析を行うストリーム処理の基本技術。
バックプレッシャー
コンシューマーがデータのペースに追いつけない場合に、データプロデューサーの速度を調整するフロー制御メカニズム。システムの飽和を防止する。
ウォーターマーク
データストリームに組み込まれる時間マーカーで、イベント時間の進行を追跡し、ストリーム処理システムでの遅延データを管理する。
ステートフル処理
イベント間で永続的な状態を維持する処理パラダイム。データストリームでの集計、結合、複雑なパターン検出に不可欠。
Exactly-Onceセマンティクス
障害発生時でもストリーム内の各イベントが正確に一度だけ処理されることを保証する処理保証。At-Least-Once配信とコンシューマー側の重複排除を組み合わせる。
CEP（複合イベント処理）
複数のイベントストリームから意味のあるパターンと複雑な相関関係をリアルタイムで識別し、即時のアクションをトリガーするイベント処理技術。
マイクロバッチ処理
短い間隔でイベントのマイクロバッチを収集してデータストリームを処理するハイブリッドアプローチで、バッチ処理と純粋なイベント駆動処理の両方の利点を組み合わせたもの。
イベントソーシング
すべての状態変更を不変のイベントシーケンスとして記録するアーキテクチャパターンで、過去の状態の再構築やシステムの完全な監査を可能にする。
Apache Storm
極めて低いレイテンシを実現するために設計された分散リアルタイムストリーム処理システムで、データストリームを変換・分析するためのspoutとboltのトポロジーを使用する。
変更データキャプチャ（CDC）
トランザクショナルデータベースからのデータ変更をリアルタイムストリーミングシステムにキャプチャして伝播する技術で、継続的な同期と分析を可能にする。
イベント時間と処理時間
イベント時間がイベントが発生した時点に対応し、処理時間がシステムによって処理される時点を指す、2つの基本的な時間概念。
ストリーム分析
継続的なデータストリームに高度な分析技術を適用して、インサイトの抽出、異常検出、リアルタイムでの意思決定を行う分野。
ストリーミングデータパイプライン
データが中間保存なしに複数の変換・エンリッチメント段階を通過する継続的処理に特化して設計されたデータパイプラインアーキテクチャ。
メッセージキュー
メッセージのプロデューサーとコンシューマー間の非同期通信を保証するミドルウェアコンポーネントで、分散アーキテクチャにおけるイベントの信頼性のある配信を保証する。
リアルタイムETL
リアルタイムのデータストリーム上で継続的に実行されるデータ抽出、変換、ロードのプロセスであり、定期的に実行される従来のバッチETLとは対照的です。
Apache Beam
バッチ処理とストリーム処理の両方を統合したデータ処理フレームワークで、Flink、Spark、Dataflowなどの複数のランナー上で実行可能な抽象的なプログラミングモデルを提供します。