こんにちはヤク学長です。
☆この記事はAWSアソシエイトZERO3版を網羅しています☆
本記事の目的は、「アソシエイト試験に合格するため」または「合格した方が知識を思い出す」ことを目的としています。
【本記事のもくじ】
まず、AWSに真剣に取り組むための概要を解説します。
下記の方法で、簡単に概要を抑えることができます。
- １．EFSとは
- ２．EFSの2つのファイルストレージサービス
- ３．Kinesisとは
- ４．ユーザー管理サービス
- ５．Amazon FSxとは
それでは、上から順番に見ていきます。
なお、本上記の方法を抑えれば成果が出ます。
今回からは「ストレージとデータ処理を全体的に学ぶ」として機能や特徴を学んでいきましょう。
基本的な機能や仕組みを理解し、ストレージとデータ処理について理解していきましょう。
記事の内容は「転載 & 引用OK」問題ありません。
１．EFSとは
EFS (Elastic File System)は、AWSが提供する、永続的なネットワーク接続を介してアクセス可能なファイルシステムのサービスです。
EFSは、複数のAmazon EC2インスタンスからの読み取り/書き込みアクセスをサポートし、インスタンス間でデータ共有が可能です。
EFSは、データの拡張性、高可用性、セキュリティなど、様々な要件に対応するため、アプリケーション、データ、ワークロードの様々な要件を満たすために使用されます。
EFSの特徴
EFS (Elastic File System)の特徴は次のとおりです：
- スケーラビリティ: EFSは、必要に応じて自動的に容量を増やすことができます。
- ネットワーク接続: EFSは、複数のAmazon EC2インスタンスからの読み取り/書き込みアクセスをサポートし、インスタンス間でデータ共有が可能です。
- 高可用性: EFSは、自動的に冗長性を提供するため、データを確実に保証します。
- パフォーマンス: EFSは、NFSv4プロトコルを使用して高速なパフォーマンスを提供します。
- セキュリティ: EFSは、AWS Key Management Serviceとの統合や複数のセキュリティグループによるアクセス制御などを通じて、データのセキュリティを強化します。
- 柔軟性: EFSは、Amazon EC2インスタンス、AWS Lambdaなど、様々なAWSサービスから利用することができます。
基本性能
EFS (Elastic File System)の基本性能は次のとおりです：
- 容量: EFSは、最大容量に基づいて適切なスロットル制限を設定することにより、永続的な容量を提供します。
- パフォーマンス: EFSは、NFSv4プロトコルを使用することにより、高速な読み取り/書き込みアクセスを提供します。同時に、IOPS (Input/Output Operations Per Second)と帯域幅に関する柔軟な性能オプションがあります。
- 可用性: EFSは、自動的に冗長性を提供するため、99.99%の高い可用性を保証します。
- 保証: EFSは、AWSのService Level Agreementに基づいて保証されています。
これらの基本性能は、EFSの使用目的やアプリケーション要件に応じて調整することができます。
EFSのデータ保存
EFS (Elastic File System)は、永続的なネットワーク接続を介してアクセス可能なファイルシステムのサービスです。EFSは、データをAmazon S3などのAWSストレージサービスとは異なる方法で保存します。EFSは、複数のAmazon EC2インスタンスからの読み取り/書き込みアクセスをサポートし、インスタンス間でデータ共有が可能です。
EFSは、高可用性と信頼性を保証するために、複数のAvailability Zoneにデータを冗長的に保存します。これにより、データの故障保証が可能になり、高速な読み取り/書き込みアクセスが保証されます。EFSは、自動的に容量を増やすことができますので、データのグローバルなアクセスと共有が可能な、拡張可能なファイルシステムを提供します。
EFSの設定
EFS (Elastic File System)は、AWS Management Console、AWS CLI、AWS CloudFormationなどを使って簡単に設定することができます。以下は、EFSの一般的な設定手順です：
AWS Management Consoleを使用する場合:
- [EFS]を選択し、[Create file system]を選択します。
- [Create file system]画面で、必要な設定を選択します（例：Performance mode、VPC、Subnet）。
- [Create file system]を選択します。
- [Amazon EC2]インスタンスとEFSのマウントポイントを作成します。
- AWS CloudFormationテンプレートを作成します。
- [Create Stack]を選択し、AWS CloudFormationテンプレートをアップロードします。
- [Amazon EC2]インスタンスとEFSのマウントポイントを作成するために必要な設定を選択します。
これらの手順は、一般的なEFSの設定手順であり、必要な設定に応じて変更することができます。
ファイルシステム
ファイルシステムは、コンピューター内のデータを管理するための方法を定義するものです。ファイルシステムは、データを物理的なストレージデバイス（ハードドライブなど）に格納するための方法を指定し、そのデータを検索、読み取り、書き込みするためのインタフェースを提供します。
ファイルシステムは、様々な形式があり、NTFS、FAT、EXTなどがあります。各ファイルシステムは、異なる特長を持ち、異なる用途に適しています。例えば、NTFSはWindowsオペレーティングシステム用のデフォルトファイルシステムであり、高いセキュリティと柔軟性を提供しますが、FATはシンプルな構造を持ち、異なるオペレーティングシステム間でのデータ移動に適しています。
EFS (Elastic File System)は、AWSが提供するクラウドベースのネットワーク接続型ファイルシステムです。EFSは、NFS（Network File System）プロトコルを使用し、複数のAmazon EC2インスタンスからアクセスできる共有のファイルシステムを提供します。
マウントターゲット
マウントターゲットは、Amazon Elastic File System (EFS) に接続するためのエンドポイントを提供するものです。EFSのマウントターゲットは、EC2インスタンスからEFSファイルシステムへのアクセスを提供するために使用されます。
EFSマウントターゲットは、VPC内に作成され、EFSファイルシステムに接続するために使用するIPアドレスを提供します。EFSマウントターゲットは、NFS（Network File System）プロトコルを使用して、EC2インスタンスからEFSファイルシステムにアクセスすることができます。
EFSマウントターゲットを作成するには、VPC内にマウントターゲットを作成するためのステップを実行する必要があります。これには、VPC内にマウントターゲット用のサブネットを作成することが含まれます。作成されたマウントターゲットは、EFSファイルシステムをマウントすることができるようになります。
パフォーマンスモード
Amazon Elastic File System (EFS) には、2つのパフォーマンスモードがあります。これらは、Max I/OとGeneral Purposeです。
Max I/O パフォーマンスモードは、高いI/O性能が必要なワークロードに適しています。このモードは、高いI/O要件を持つアプリケーション、データベース、Big Data分析などの用途に適しています。Max I/Oパフォーマンスモードは、高速なI/O性能を実現するために、高いI/Oボトルネックを持つストレージを使用します。
General Purpose パフォーマンスモードは、一般的な用途に適しています。このモードは、I/O要件が高くないワークロード、例えば、コンテンツストレージ、動画ストリーミングなどの用途に適しています。General Purposeパフォーマンスモードは、低価格を重視するユーザー向けです。
EFSパフォーマンスモードは、新しいEFSファイルシステムを作成する際に選択することができます。このモードは、後で変更することも可能ですが、一部の制限がある場合があります。適切なパフォーマンスモードを選択することで、EFSのパフォーマンスを最大化し、アプリケーションの要件に合わせた最適なソリューションを構築することができます。
バースト機能
Amazon Elastic File System (EFS) のバースト機能は、EFSのパフォーマンスを向上させるものです。この機能は、通常はEFSの使用量が低いときに、高速なI/Oパフォーマンスを提供するために使用されます。
EFSのバースト機能は、EFSファイルシステムに保存されているデータから空き容量を確保することで、一時的に高速なI/Oパフォーマンスを提供します。この機能は、一般的に長期間の使用では利用されませんが、短期間で高速なI/Oパフォーマンスが必要な場合に役立ちます。
EFSのバースト機能は、Max I/OパフォーマンスモードのEFSファイルシステムには標準で搭載されていますが、General PurposeパフォーマンスモードのEFSファイルシステムには搭載されていません。EFSファイルシステムに使用するパフォーマンスモードを選択する際に、EFSのバースト機能について考慮する必要があります。
EFSクライアント
Amazon Elastic File System (EFS) クライアントは、EFSファイルシステムを構成するサーバーや仮想マシンからEFSファイルシステムにアクセスするために使用されます。EFSクライアントは、EFSファイルシステムをマウントすることで、OSからEFSファイルシステムを同じように扱うことができます。
EFSクライアントは、Amazon LinuxやUbuntu、Red Hat Enterprise Linuxなどの多くのOSに対応しています。また、EFSクライアントは、AWS CLI、NFSクライアント、AWS SDKなどを使用して、開発者が独自のアプリケーションを開発することもできます。
EFSクライアントは、EFSファイルシステムを使用するアプリケーションに必要なI/Oパフォーマンスを提供するために最適化されています。EFSクライアントは、EFSファイルシステムを使用するアプリケーションに合わせて、適切なスループットと遅延を提供することができます。
プロビジョンスループット
Amazon Elastic File System (EFS) のプロビジョンスループットは、EFSファイルシステムの構成時に割り当てられるI/Oパフォーマンスのことです。EFSは、General PurposeおよびMax I/Oパフォーマンスモードという2つのパフォーマンスモードを提供しており、これらのモードによって割り当てられるプロビジョンスループットが異なります。
General Purposeパフォーマンスモードでは、EFSファイルシステムに割り当てられるプロビジョンスループットは標準的なI/O要件を満たすために十分です。このモードは、大量のランダムアクセスが必要なアプリケーションや、一般的なデータ保存に最適です。
Max I/Oパフォーマンスモードでは、EFSファイルシステムに割り当てられるプロビジョンスループットは高速なI/O要件を満たすために十分です。このモードは、高速なシーケンシャルアクセスが必要なアプリケーションや、大量のデータを短期間に保存する必要があるアプリケーションに最適です。
EFSのプロビジョンスループットは、EFSファイルシステムに保存されるデータとアプリケーションの要件に合わせて適切なパフォーマンスモードを選択することが重要です。
EFSのユースケース
Amazon Elastic File System (EFS) は、複数のサーバーまたは仮想マシンにわたって共有されるデータストレージとして使用されます。EFSは、以下のようなユースケースで利用することができます。
- WebアプリケーションやAPI: EFSを使用することで、複数のWebサーバー間で共有されるアプリケーションデータを保存することができます。
- データ分析: EFSを使用することで、複数の仮想マシンにわたって分析作業を行う際に、データを共有することができます。
- 同期されたコンテンツ保存: EFSを使用することで、複数の仮想マシンからのアクセスを受け付け、同期されたコンテンツを保存することができます。
- バックアップとDR: EFSを使用することで、複数の仮想マシンにわたってバックアップ作業を行い、DRシナリオで使用することができます。
- クラスター化アプリケーション: EFSを使用することで、複数のノードから共有されるデータを保存することができます。
これらのユースケースに加えて、EFSは、弾力性とスケーラビリティを提供するため、他にも多くのアプリケーションで利用することができます。
２．EFSの2つのファイルストレージ
Amazon Web Services (AWS) 上で提供されているファイルストレージサービスです。 EFSは、次の3つのタイプのファイルストレージがあります ※EFSは割愛します。
Amzon FSx For Windows File Server
Amazon FSx for Windows File Serverは、Amazon Web Services (AWS) 上で提供されているWindowsベースのNAS (Network Attached Storage) システムです。
このサービスは、Windows エンタープライズ向けのワークロードに適しています。FSx for Windows File Serverは、Microsoft Server Message Block (SMB) プロトコルを使用してWindowsユーザーとアプリケーションを接続し、高速で安定したファイル共有を提供します。
FSx for Windows File Server は、毎日のバックアップと簡単なデータの復元、Windows Server failover clustering、AWS Directory Service との統合などの機能も提供します。
Amzon FSx For Lustre
Amazon FSx for Lustre は、アマゾン ウェブ サービス (AWS) が提供する高性能ファイル システムであり、ハイ パフォーマンス コンピューティング (HPC)、機械学習、データ分析などの要求の厳しいワークロード向けの高速でスケーラブルなストレージ ソリューションを提供します。
これは、一般的なオープンソースの Lustre ファイル システムに基づいています。
FSx for Lustre は、データへの低レイテンシ、高スループット アクセスを提供するため、大規模なデータセットの高速処理を必要とするアプリケーションに適しています。
Amazon S3 などの他の AWS サービスとシームレスに統合し、ハイパフォーマンス コンピューティングのニーズに完全なソリューションを提供します。 さらに、FSx for Lustre は POSIX 準拠と、NFS や SMB を含む複数のプロトコルをサポートし、データへのアクセスと転送を容易にします。
増大するデータ量対応
Amazon Web Services (AWS) でデータ量が増大する場合、以下の措置が考えられます：
- Amazon S3 でのデータのスケーリング：S3 はデータ量が増えるとスケーリングすることができます。
- Amazon Redshift への移行：Redshift は大量のデータを高速に分析するためのデータウェアハウスサービスです。
- Amazon Glue の使用：Glue は、データを抽出、変換、ロード (ETL) するためのサービスです。
- Amazon EMR の使用：EMR は、大量のデータを処理するための Apache Hadoop、Apache Spark、Apache Hive クラスタを構築するためのサービスです。
- Amazon Kinesis の使用：Kinesis は、リアルタイムストリームデータを処理するためのサービスです。
これらのサービスは、AWS の多様なツールを活用することで、データ量が増加する問題に対応することができます。
ビッグデータに必要な技術
ビッグデータ処理に必要な技術には以下があります:
- 分散型ストレージシステム: Hadoop HDFS, Apache Cassandra, Amazon S3 など。
- 分散型計算フレームワーク: Apache Spark, Apache Flink, Apache Storm など。
- NoSQL データベース: MongoDB, Cassandra, Amazon DynamoDB など。
- データウェアハウス: Amazon Redshift, Google BigQuery, Snowflake など。
- エクスプローラテイブデータ分析: Apache Impala, Apache Drill, Apache Hive など。
- リアルタイムストリーミング処理: Apache Kafka, Amazon Kinesis, Apache Flink など。
- データ科学・分析用のプログラミング言語: Python, R, Scala, SQL など。
- 大規模データ処理のためのツールやフレームワーク: Apache Hadoop, Apache Spark, Apache HBase, Apache Pig など。
これらの技術を組み合わせて用いることで、ビッグデータを効率的かつスムーズに処理することができます。
データレイクの活用
データレイクは、大量のデータを一元的に管理し、効率的に分析するためのアーキテクチャです。活用することで、以下のようなメリットがあります:
- データの一元管理: データレイクにより、異なるデータソースからのデータを統合して一元的に管理することができます。
- データ分析の効率化: データレイクにより、大量のデータを効率的かつスムーズに分析することができます。
- データの信頼性の向上: データレイクにより、データの信頼性が向上します。データのクレンジングや検証を行うことで、正確な分析結果を得ることができます。
- データ活用の向上: データレイクにより、データを活用することができます。様々なデータ分析手法を採用して、データからの洞察を得ることができます。
- 意思決定支援: データレイクにより、データからの洞察を得た情報をもとに、的確な意思決定ができるようになります。
これらのメリットを活用することで、データレイクを活用することでビジネス上のメリットがあることが期待されます。
データウェアハウス型のデータ処理基盤
データウェアハウス型のデータ処理基盤は、データ処理を効率化するためのアーキテクチャです。この基盤を構築することで、以下のようなメリットがあります:
- データの統合: 複数のデータソースからのデータを統合することができます。
- ビジネスインテリジェンス: ビジネスインテリジェンスツールを使用することで、データを分析し、洞察を得ることができます。
- 効率的なデータ処理: データウェアハウスは、大量のデータを効率的に処理することができます。
- 柔軟な分析: データウェアハウスは、柔軟な分析を可能にするために設計されています。
- データの信頼性: データウェアハウスには、データのクレンジングや検証機能が備わっています。これにより、データの信頼性が向上します。
これらのメリットを活用することで、データウェアハウス型のデータ処理基盤を活用することでビジネス上のメリットがあることが期待されます。
データレイク型のデータ処理基盤
データレイク型のデータ処理基盤は、データ処理において、データの構造化・非構造化を問わず、すべてのデータを一元的に管理することを目的としたアーキテクチャです。この基盤を構築することで、以下のようなメリットがあります:
- データの可視化: データレイク型の基盤を活用することで、データを可視化することができます。
- データの統合: 複数のデータソースからのデータを統合することができます。
- データの利用: データレイク型の基盤を活用することで、データを効率的に利用することができます。
- データの保存: データレイク型の基盤を活用することで、データを長期的に保存することができます。
- 柔軟な分析: データレイク型の基盤は、柔軟な分析を可能にするために設計されています。
これらのメリットを活用することで、データレイク型のデータ処理基盤を活用することでビジネス上のメリットがあることが期待されます。
データウェアハウス型とデータレイク型の違い
データウェアハウス型とデータレイク型は、データ処理のアーキテクチャにおいて異なる考え方を持っています。
データウェアハウス型は、ビジネスの要件に基づいて、特定のビジネスプロセスに特化したデータを整理して保存することを目的としたアーキテクチャです。
一方、データレイク型は、すべてのデータを一元的に管理することを目的としたアーキテクチャです。データの構造化・非構造化を問わず、すべてのデータを統合・可視化・利用することができます。
つまり、データウェアハウス型はビジネス特化型のアプローチであり、データレイク型は一般的なアプローチです。
Apacheシリーズ
Apacheシリーズは、オープンソースソフトウェアによって構成される多数のWebサーバ・アプリケーションサーバ・ミドルウェア・データベースサーバなどのソフトウェア製品の総称です。
Apacheシリーズの代表的な製品としては、Apache HTTP Server (Apache Webサーバ)、Apache Tomcat (Javaベースのアプリケーションサーバ)、Apache Hadoop (分散処理基盤)、Apache Spark (大規模データ処理フレームワーク)、Apache Hive (SQLベースのビッグデータ処理基盤)などがあります。
Apacheシリーズのソフトウェアは、多くのプラットフォームに対応しており、拡張性・信頼性・安定性・実績などが高いことから、多くの企業・組織・開発者に利用されています。
Apache Hadoop
Apache Hadoopは、分散処理基盤の一つです。Hadoopは大量のデータを分散させて、処理するためのフレームワークを提供します。
Hadoopは、主に大量のデータの処理に用いられます。特に、ビッグデータやNoSQLデータベースなどのデータ処理に適しています。
Hadoopは、2つの主要なコンポーネントで構成されています。一つはHadoop Distributed File System (HDFS)で、もう一つはMapReduceです。HDFSは、大量のデータを分散させて格納することができる分散ファイルシステムであり、MapReduceは分散処理フレームワークです。
Hadoopは、オープンソースソフトウェアとして提供されており、多くの企業・組織・開発者に利用されています。
Apache Spark
Apache Spark は、ビッグ データ処理用のオープンソースの分散コンピューティング フレームワークです。
インメモリ コンピューティングと並列処理を利用して、大量のデータを迅速かつ効率的に処理するように設計されています。
Spark は、データを処理するための高レベル API を提供し、開発者が複雑なデータ処理タスクを単純で簡潔なコードとして記述できるようにします。 これにより、Spark は、データ処理、機械学習、グラフ処理、ストリーム処理など、幅広いビッグ データ処理タスクのためのアクセスしやすく効率的なソリューションになります。
また、その処理機能に加えて、Hadoop や Apache Cassandra などの他の一般的なビッグ データ テクノロジともうまく統合されます。 これにより、ユーザーは Spark をビッグ データ処理の統合ソリューションとして活用し、その処理機能をこれらの他のテクノロジのデータ ストレージおよび管理機能と組み合わせることができます。
全体として、Apache Spark は、その高速なパフォーマンス、使いやすさ、および他の一般的なビッグ データ テクノロジとの統合により、産業界および学界でビッグ データ処理に広く使用されています。
AWSのデータレイク構成
AWSのデータレイク構成は、大量のデータを効率的に処理するためのインフラストラクチャを構築することを目的とした構成です。この構成には、多数のAWSサービスが含まれます。例えば、Amazon S3、Amazon Glue、Amazon Athena、Amazon Redshiftなどです。
これらのサービスは、大量のデータを格納するためのストレージサービス、データの前処理・変換・抽出を行うためのサービス、データの分析・可視化・検索を行うためのサービスなどを提供します。
AWSのデータレイク構成は、大量のデータを扱うアプリケーションを開発する上で非常に有用なツールとなります。開発者は、この構成を使用することで、大量のデータを効率的に処理し、結果を短時間で得ることができます。
３．Kinesisiとは
Amazon Kinesis は、AWS が提供するクラウドベースのマネージド サービスで、大規模なストリーミング データをリアルタイムで簡単に収集、処理、分析できます。
Kinesis は、IoT デバイス、ログ、ソーシャル メディア フィードなどのさまざまなソースからストリーミング データを取り込み、処理するための柔軟でスケーラブルなプラットフォームを提供します。
このサービスは、Kinesis Streams、Kinesis Firehose、Kinesis Video Streams など、データを Kinesis に入れるための複数の API を提供します。
データが Kinesis に取り込まれると、Apache Spark Streaming、AWS Lambda、Amazon Kinesis Data Analytics などのツールを使用してリアルタイムで処理および分析できます。
これにより、リアルタイム分析の実行、リアルタイム ダッシュボードへのフィード、リアルタイム アクションのトリガーが可能になります。
Kinesis は、ユーザーがあらゆる規模のリアルタイム データ ストリームを簡単に処理および分析できるようにする、高可用性、耐久性、およびスケーラブルなサービスであり、ログおよびイベント データ分析、リアルタイム データ分析、 IoT やその他のアプリケーション向けの時間メトリックとレポート、およびリアルタイムデータ処理が可能です。
Kinesisの3つのサービス
Amazon Kinesisには、3つのサービスがあります。
- Kinesis Streams: 実時間でデータを収集、処理、分析するためのサービスです。開発者は、Kinesis Streamsを使用することで、大量のストリーミングデータを格納し、実時間で分析することができます。
- Kinesis Firehose: シンプルで使いやすいデータストリーミングサービスです。開発者は、Kinesis Firehoseを使用することで、簡単にデータをストリーミングし、Amazon S3やAmazon RedshiftなどのAWSサービスと統合することができます。
- Kinesis Video Streams: 高品質のビデオストリームを収集、処理、分析するためのサービスです。開発者は、Kinesis Video Streamsを使用することで、ビデオストリームを実時間で収集し、処理することができます。
これらのサービスは、AWSを使って実時間データストリーミングを行う開発者にとって非常に便利なツールとなっています。開発者は、Kinesisを使って、簡単に大量のデータを収集し、実時間で分析することができます。
Amazon Kinesis Data Streams
Amazon Kinesis Data Streams は、AWS が提供するリアルタイム データ ストリーミング サービスです。
ログ、ソーシャル メディア フィード、IoT デバイス データなどの大量のストリーミング データをリアルタイムで収集、処理、分析できます。
Kinesis Data Streams を使用すると、データレコードのストリームを作成し、リアルタイムでストリームにデータを追加し、データが到着したら処理および分析できます。
このサービスは、データをストリームに入れたり、ストリームからデータを読み取ったりするための API を提供し、アプリケーションとの統合を容易にします。
データが Kinesis Data Stream に入ったら、Apache Spark Streaming、AWS Lambda、Amazon Kinesis Data Analytics などのツールを使用して、データをリアルタイムで処理および分析できます。
これにより、リアルタイム分析を実行し、リアルタイム ダッシュボードにフィードし、データに基づいてリアルタイム アクションをトリガーできます。
Kinesis Data Streams は、1 秒あたり数百万のデータ レコードを処理できる、可用性が高く、耐久性があり、スケーラブルなサービスであり、ログとイベント データの分析、リアルタイムのメトリクスとレポートなど、幅広いユースケースで人気のある選択肢となっています。
Kinesisのデータ処理順序
Amazon Kinesisにおけるデータ処理の順番は次のような手順を含みます：
- データ生成：IoTデバイス、モバイルアプリ、Webサーバーなどからデータが生成されます。
- データ取り込み：生成されたデータがAmazon Kinesis Data Streamsに送信され、ストリームに格納されます。
- データ処理：Amazon Kinesis Data Streamsは、データを複数のコンシューマに利用可能にすることで処理されます。これにはリアルタイム分析を行うアプリケーション、データをデータベースに格納するデータパイプライン、その他の到着するデータを処理するアプリケーションなどが含まれます。
- データ分析：処理されたデータは、洞察を抽出して意思決定を支援するために分析されます。これはAmazon Kinesis Data Analytics、Apache Spark Streaming、または他のデータ分析ツールを使って行われます。
- データ保存：処理され、分析されたデータは、将来の分析のためにデータレイク、データベース、その他のデータ保存ソリューションに格納されます。
特定の使用ケースや要件によっては、データ処理の順番が変わる場合もありますが、一般的な考え方としては、データがAmazon Kinesis Data Streamsに取り込まれ、リアルタイムで処理され、その後分析され、将来の使用のために保存されます。
Amazon Kinesis Data Filehose
Amazon Kinesis Data Firehoseは、Amazon Web Services (AWS) の大量のデータストリームを効率的に捕捉、変換、転送するためのサービスです。Kinesis Data Firehoseは、リアルタイムデータストリームを収集し、S3、Redshift、Elasticsearch、Splunkなどの様々なデータ倉庫に直接転送することができます。
これにより、データ分析、ビジネスインテリジェンス、機械学習モデルトレーニングなどのアプリケーションを開発するために必要なデータを簡単に取得することができます。Kinesis Data Firehoseは、高速で容量制限のないデータの転送、高可用性、簡単なセットアップ、管理、およびメンテナンスを実現することができます。
Amazon Kinesis Data Analytics
Amazon Kinesis Data Analyticsは、Amazon Web Services (AWS) のリアルタイムデータストリーム分析用のサービスです。Kinesis Data Analyticsは、Kinesis Data Streamsを使用してデータを収集し、SQLを使用して分析することができます。分析結果はリアルタイムで提供されます。
Kinesis Data Analyticsを使用することで、ビジネスにとって重要なインサイトを取得し、リアルタイムでデータ駆動型の決定を行うことができます。このサービスは、高速で効率的なデータ分析、簡単なセットアップ、管理、およびメンテナンスを実現することができます。
４．ユーザー管理サービス
Amazon Web Services (AWS) には、以下のようなユーザー管理サービスがあります:
- AWS Identity and Access Management (IAM)：AWSアカウントに関連するユーザー、グループ、ロール、ポリシーの管理を行います。
- Amazon Cognito：モバイルアプリケーションやウェブアプリケーションのユーザー認証、認可、同期管理などを提供します。
- Amazon Active Directory：オンプレミスにあるMicrosoft Active Directoryと同等のサービスを提供します。このサービスは、AWSの仮想環境において、同じようにWindowsドメインサービスを使用できるようになります。
- AWS Single Sign-On：AWSアカウントを使用して、他のアプリケーションにシングルサインオン（SSO）することができます。
これらのサービスを使用することで、AWS上のリソースへのアクセス制御やユーザー認証などのユーザー管理タスクを簡単に行うことができます。
AWS Active Drirectory
Amazon Active Directoryは、AWS上に提供されるMicrosoft Active Directoryと同等のサービスです。このサービスは、オンプレミスにあるActive Directoryと同様に、Windowsドメインサービスを使用できるようにすることで、AWS上の仮想環境において、ユーザー認証やグループポリシーの管理などのタスクを実現することができます。このサービスを使用することで、AWSリソースへのアクセス制御やユーザー認証などが簡単に行えるようになります。
AWS Active Drirectoryの選択
Amazon Active Directoryの選択に関しては以下の要素を考慮することが重要です:
- 使用目的: Amazon Active Directoryが必要なのは、AWS上にユーザー認証やグループポリシーの管理を行いたいという場合です。
- インフラストラクチャー: あなたのインフラストラクチャーが既存のActive Directoryとシームレスに統合できるかどうかを確認することが重要です。
- ユーザー数: Amazon Active Directoryは、大量のユーザー数を管理することができますが、特定の数のユーザー数に適しているかどうかを確認することが重要です。
- コスト: Amazon Active Directoryを利用する場合、AWS利用料金がかかります。利用するユーザー数や使用目的に応じて、利用料金を把握することが重要です。
これらの要素を考慮することで、Amazon Active Directoryがあなたのニーズに最適かどうかを判断することができます。
Simple AD
Simple ADとは、Amazon Web Services (AWS) に提供される簡単な Windows ベースの Active Directory (AD) のことです。Simple AD は、小規模なオンプレミス環境に適しています。
ユーザーアカウントやグループなど、既存の Active Directory 管理と同じように管理することができます。Simple AD は、AWS Directory Service に属しており、AWS 上でのユーザー認証やグループポリシーの管理などに利用することができます。
AD Connector
AD Connectorは、Amazon Web Services (AWS) に提供される Active Directory (AD) 連携サービスのことです。AD Connectorを使用すると、オンプレミス環境の Active Directory インフラストラクチャーを AWS クラウド上でも利用することができます。
これにより、オンプレミスとクラウド間の認証やグループポリシーの管理などが、同じように行えます。AD Connectorは、AWS Directory Service に属しており、AWS 上でのユーザー認証やグループポリシーの管理などに利用することができます。
AWS Managed Microsoft AD
AWS Managed Microsoft ADは、Amazon Web Services (AWS) によって管理される Microsoft Active Directory (AD) のサービスです。このサービスを使用することで、AWS 上で Microsoft AD の機能を利用することができます。AWS Managed Microsoft AD を利用することで、Microsoft AD の管理や運用などの負荷が軽減されます。また、このサービスを使用することで、AWS 上でのユーザー認証やグループポリシーの管理などが容易に行えます。
AWS SSOの利用
AWS Single Sign-On (SSO)は、企業内のユーザーに対して、AWSアカウントへのシングルサインオンアクセスを提供するサービスです。これにより、ユーザーは1つのユーザー名とパスワードを使用して、複数のAWSアカウントへのアクセスを簡素化できます。利用することで、セキュリティ管理とアクセス管理が簡略化され、ユーザーの作業効率が向上します。
Security Token Service
Security Token Service (STS)は、セキュリティトークンサービスのことです。
AWSでは、このサービスを利用することで、ユーザーやアプリケーションに対して、一時的なアクセスキーを提供することができます。
この一時的なアクセスキーを使用することで、AWSリソースに安全かつ権限付与されたアクセスを行うことができます。STSは、アプリケーションやサービス間の認証と認可を簡素化するために利用することができます。
Cognite
Amazon Cognitoは、AWSによって提供されるユーザー認証および同期サービスです。
このサービスは、モバイルアプリケーションやウェブアプリケーションを開発する際に、ユーザーアカウントの管理や認証を簡素化することを目的としています。
Amazon Cognitoは、ユーザーアカウントの登録やサインイン、パスワードのリセットなどの認証フローを提供することができます。
また、ユーザーアカウントのデータを同期することで、アプリケーション間でのユーザーエクスペリエンスを向上させることができます。
５．Amazon FSxとは
Amazon FSxは、AWSが提供するフルマネージドのサービスで、ファイルシステムを簡単にセットアップし実行することができます。このサービスは2つのタイプのファイルシステムを提供します：Amazon FSx for Windows File ServerとAmazon FSx for Lustreです。
Amazon FSx for Windows File Serverは、SMBプロトコルと互換性がある、完全にマネージドのWindowsファイルシステムで、Windowsアプリケーションに共有ファイルアクセスを提供します。
Amazon FSx for Lustreは、機械学習、高性能コンピューティング、ビデオ処理などの要求の厳しいワークロードに最適化された高性能ファイルシステムです。
Amazon FSxを利用することで、顧客は、高可用性、スケーラビリティ、耐久性があるファイルシステムを簡単にセットアップし実行することができますが、インフラストラクチャの管理に関心を払わなくてもよくなります。これにより、顧客はアプリケーションやデータにフォーカスすることができ、基礎となるインフラストラクチャに関心を払わずに済みます。
Amazon FSxの2つのストレージサービス
Amazon FSx は、Amazon FSx for Windows File Server と Amazon FSx for Lustre の 2 種類のファイル システムを提供し、これらのファイル システムは両方とも異なるストレージ サービスを使用します。
Amazon FSx for Windows File Server は、基盤となるストレージ サービスとして Amazon Simple Storage Service (Amazon S3) を使用します。
Amazon FSx for Lustre は、基盤となるストレージ サービスとして Amazon Elastic Block Store (Amazon EBS) を使用します。
Amazon FSx for Windows File Server と Amazon FSx for Lustre も、ログとモニタリングの目的で Amazon CloudWatch を使用します。
実は、他にも２つサービスがありますので一緒にご紹介します。
Amazon FSx For Windows File Server
Amazon FSx for Windows File Serverは、AWSが提供するフルマネージドのサービスで、Windowsアプリケーションに共有ファイルアクセスを提供する完全マネージドのWindowsファイルシステムです。
SMBプロトコルと互換性があり、高可用性、スケーラビリティ、耐久性があるファイルシステムを簡単にセットアップし実行することができます。
Amazon Simple Storage Service (Amazon S3)を基礎とするストレージサービスを使用します。これにより、顧客はアプリケーションやデータにフォーカスすることができ、基礎となるインフラストラクチャの管理に関心を払わずに済みます。
Amazon FSx For Lustre
Amazon FSx for Lustreは、AWSが提供するフルマネージドのサービスで、高性能なファイルシステムを提供します。このサービスは、高速なデータ読み取りと書き込みを必要とするワークロード（例えば、機械学習、高性能コンピューティング）に最適化されています。Amazon Elastic Block Store (Amazon EBS)を基礎とするストレージサービスを使用します。顧客はアプリケーションやデータにフォーカスすることができ、基礎となるインフラストラクチャの管理に関心を払わずに済みます。
Amazon FSx For NetApp ONTAP
Amazon FSx for NetApp ONTAPは、AWSが提供するフルマネージドのサービスで、NetApp ONTAPをベースにしたフルマネージドのフレキシブルなファイルシステムを提供します。
このサービスは、企業アプリケーションに必要な高可用性、データ保護、データ持続性、拡張性などの機能を提供します。
Amazon Simple Storage Service (Amazon S3)も利用可能で、顧客はアプリケーションやデータにフォーカスすることができ、基礎となるインフラストラクチャの管理に関心を払わずに済みます。
Amazon FSx For Open ZFS
Amazon FSx for OpenZFSは、AWSが提供するフルマネージドのサービスで、OpenZFSをベースにしたフルマネージドのフレキシブルなファイルシステムを提供します。このサービスは、高性能なデータ処理ワークロードに最適化されており、業界標準のデータ保証アルゴリズムと互換性があります。Amazon Simple Storage Service (Amazon S3)を利用して、顧客はアプリケーションやデータにフォーカスすることができ、基礎となるインフラストラクチャの管理に関心を払わずに済みます。
というわけで、今回は以上です。
引き続きで、徐々に発信していきます。
コメントや感想を受け付けています。ちょっとした感想でもいいので嬉しいです。
それでは、以上です。
