AI用語集
人工知能の完全辞典
Amazon S3
AWSの高度にスケーラブルなクラウドオブジェクトストレージサービスで、99.999999999%の耐久性を提供し、異なるアクセスパターンに適したストレージクラスを持つビッグデータの主要リポジトリとして使用されます。
Amazon EMR
動的クラスター上でApache Spark、Hadoop、Prestoなどのビッグデータフレームワークを実行するためのAWSマネージドサービスで、インフラストラクチャ管理を簡素化しつつ大規模な分散処理を可能にします。
Amazon Redshift
AWSの完全マネージドなクラウドデータウェアハウスで、大規模並列処理（MPP）アーキテクチャを使用し、複雑な分析クエリに最適化されたパフォーマンスでペタバイト規模のデータを分析します。
Amazon Athena
AWSのサーバーレス対話型クエリサービスで、標準SQLを使用してS3内のデータを直接分析でき、インフラストラクチャ管理や事前のデータロードが不要です。
AWS Glue
AWSのサーバーレスETLサービスで、データの発見、準備、ロードを自動化し、中央データカタログとApache Sparkベースの統合変換機能を提供します。
Azure Data Lake Storage
Azureの大規模スケーラブルで安全なデータリポジトリで、ビッグデータ分析ワークロードに最適化され、データレイクのストレージ容量とファイルシステムのパフォーマンスを組み合わせています。
Azure Synapse Analytics
Azureの統合ハイブリッド分析プラットフォームで、データウェアハウス、データ統合、ビッグデータ分析を統合し、同じ環境内でSQLとSparkの処理機能を提供します。
Azure Databricks
Azure内のApache Sparkベースの統合分析サービスで、ビッグデータ処理、機械学習、リアルタイム分析のためのコラボレーティブ環境を提供し、最適化されたクラスターを備えています。
Google Cloud Storage
Google Cloudの統合オブジェクトストレージサービスで、高可用性、耐久性、パフォーマンスを提供し、アクセス頻度に応じて最適化された様々なストレージクラスを備えたビッグデータ向けサービス。
Google BigQuery
Google Cloudのサーバーレスデータウェアハウスで、インタラクティブなSQLクエリを用いてペタバイト規模のデータをリアルタイムで分析可能。サーバーレスアーキテクチャにより需要に応じて自動的にスケーリング。
Google Dataproc
Google Cloudのマネージドサービスで、Apache SparkとHadoopを高速にプロビジョニング可能なクラスターで実行。GCPエコシステムとのネイティブ統合とビッグデータ処理向けのコスト最適化を提供。
Google Dataflow
Google Cloudのサーバーレスストリームおよびバッチ処理サービスで、Apache Beamベース。自動スケーリングと簡素化された管理により分散データパイプラインを実行可能。
Snowflake
マルチクラウド対応のData Cloudプラットフォームで、ストレージと計算が分離されたアーキテクチャを採用した完全マネージドデータウェアハウス。独立したスケーリングと安全なデータ共有を実現。
ELTパイプライン
現代的なデータ統合パターンで、データをまずクラウドデータウェアハウスに生データとしてロードし、その後その計算能力を活用して変換を行う。大規模ボリュームでのパフォーマンスを最適化。
オートスケーリングクラスター
クラウドビッグデータプラットフォームがワークロードに応じて動的に計算ノード数を調整する能力。手動介入なしでコストとパフォーマンスを最適化。
サーバーレス分析
基盤インフラがクラウドプロバイダーによって完全に管理されるデータ分析パラダイム。ユーザーはサーバーやクラスターの管理なしに分析ロジックに集中可能。