ETLソフトウェアの主な目的は、分散したソースからデータを中央のデータリポジトリに移動し、包括的かつ一貫性のあるデータコレクション全体にわたって分析を実行することです。通常、この中央データはデータウェアハウスに保存されます。データウェアハウス内のデータは、構造化された記録システム（SoR）データの場合もあれば、非構造化または半構造化されたビッグデータの場合もあります。こうした集約されたデータを保存するデータウェアハウスは、クラウド上に配置されるケースが増えています。SnowflakeとAmazon Redshiftはどちらも、これらのジョブを管理できるデータウェアハウスソフトウェアを提供しています。
ジャンプ先:
- スノーフレークとは何ですか?
- Amazon Redshift とは何ですか?
- SnowflakeとAmazon Redshiftのアーキテクチャ
- 自動化とカスタマイズ
- クラウドの相互運用性
- データ共有
- データウェアハウスにおけるSnowflakeとAmazon Redshiftの選択
スノーフレークとは何ですか?
Snowflakeは、データウェアハウス、データレイク、そしてデータアプリケーション開発を単一のプラットフォームで実現する、フルマネージドSaaS（サービスとしてのソフトウェア）です。ユーザーのニーズに合わせて処理能力とストレージ容量を自動的に拡張し、バッチ処理とリアルタイム処理の両方でデータを処理し、バッチデータ、リアルタイムデータ、そして共有データの安全な共有と利用を実現します。アーキテクチャとプログラムには、SQL言語とデータ構造を採用しています。マルチクラウド環境にも対応し、非常にユーザーフレンドリーで堅牢なSQLインターフェースを提供します。また、ハードウェアやソフトウェアを含む、基盤となるウェアハウスプラットフォームのインストール、構成、管理といった煩雑な作業からスタッフを解放します。
参照: Dremio vs Snowflake: 2つの最高のETLツールの比較 (TechRepublic)
Amazon Redshift とは何ですか?
Amazon Redshift は、AWS クラウドコンピューティング プラットフォーム上に構築されたクラウドベースのデータウェアハウス ソフトウェアです。他の AWS 製品やツールとの統合性に優れているため、データとアプリケーションの大部分を AWS クラウド プラットフォーム上でホストしている企業に最適です。Amazon Redshift は、構造化データと非構造化データの両方を、リアルタイム モードとバッチ モードの両方で処理します。大規模なデータセットを並列処理で処理し、自動化とスケーリング機能が組み込まれていますが、インストール、設定、管理には IT 部門の介入が必要になる場合があります。その一方で、Amazon Redshift は、実行するワークロードを柔軟に設計および最適化できるようにします。
SnowflakeとAmazon Redshiftのアーキテクチャ
Snowflakeは、データを別のデータリポジトリに保存し、サイズ、スケーリング、処理の実行を独立して別の場所で行うことで、ストレージと処理を分離します。処理機能とデータ機能が分離されているため、いつデータを処理しているのか、いつ処理していないのかを把握できます。
Amazon Redshiftは、マネージドストレージアップデートを備えたRA3インスタンスを通じて、データとストレージを分離しています。これにより、お客様は使用したストレージ分のみをお支払いいただけます。また、マテリアライズドビュー、クエリの自動書き換え、ショートクエリアクセラレーション、同時実行スケーリングなどの機能についても、料金が発生することはありません。
参照: Databricks vs. Snowflake: ETLツールの比較 (TechRepublic)
自動化とカスタマイズ
Snowflakeは、データウェアハウスとクエリ処理の多くの部分を手動で実装・管理する煩わしさから解放します。カスタムSQLクエリ言語を使用していますが、SQLは多くの組織が専門知識を持つ言語です。また、Snowflakeはデータ管理を完全に管理し、ジョブに合わせて処理とストレージを自動的に拡張します。これにより、社内管理の時間を節約し、企業は多数のクエリを簡単に実行できるようになります。
Snowflakeと同様に、Amazon Redshiftは高度な自動化機能を備え、SQLを使用しています。しかし、Redshiftは企業にデータと処理の設定および管理方法の選択肢も提供しています。これは、クエリ負荷が高く、それに合わせて調整する必要がある場合に役立ちます。データは必要に応じて手動でパーティション分割および分散でき、セキュリティは組織のセキュリティとガバナンスの要件に合わせてカスタマイズできます。データと処理をより直接的に制御したい組織や、AWSクラウドを頻繁に利用する組織にとって、Amazon Redshiftは最適な選択肢です。
クラウドの相互運用性
Snowflake はマルチクラウド環境で適切に動作するため、組織がさまざまなクラウドで運用されており、このすべてのデータをまとめてクエリする必要がある場合、Snowflake は最適な選択肢です。
Amazon RedshiftはAWSが開発したデータウェアハウスおよびクエリツールであり、AWS上でデータの大半をホストし、AWSクラウド内で最適な機能と相互運用性を求める企業に最適です。AWSクラウドを頻繁に利用している企業であれば、Amazon Redshiftは最適な選択肢です。
参照:採用キット: クラウド エンジニア(TechRepublic Premium)
データ共有
Snowflakeでは、簡単なポイントアンドクリック操作でデータベースをコピーし、読み取り専用アクセスを他のユーザーと共有できます。これは、データの価値を迅速かつ自動的に活用する方法です。データ共有の終了時には、ユーザーはデータのプロビジョニングを解除できます。これにより、データは元のデータ構造のまま保護され、コスト削減にもつながります。
Amazon Redshiftは2020年にデータ共有を導入し、ETLを必要とせずにデータへの安全なアクセスを実現しました。さらに、2021年にはAWS Data Exchangeとの統合を導入し、Amazon Redshift内でサードパーティのデータを検索、サブスクライブ、クエリできるようになりました。
データウェアハウスにおけるSnowflakeとAmazon Redshiftの選択
SnowflakeとAmazon Redshiftはどちらも、データ変換および転送プロセスの一部としてETLツールと共に導入できる、実績のあるデータウェアハウスおよび処理ソフトウェアです。これら2つのデータウェアハウスおよび処理パッケージを評価する際には、主にマルチクラウドか単一クラウド（AWS）か、そして高度に自動化されたソフトウェア（カスタマイズオプションが少ない）とIT環境に合わせてカスタマイズできる柔軟性が高いソフトウェアとの間のトレードオフを考慮する必要があります。例えば、Amazon Redshift Serverlessは2021年にプレビュー版としてリリースされ、ユーザーはデータウェアハウスインフラストラクチャをセットアップおよび管理することなく、分析を実行および拡張できます。コストの観点から見ると、SnowflakeとAmazon Redshiftはどちらも効率的に管理できるため、組織にとって最適なプラットフォームはどれかによって選択は大きく異なります。
