コネクション
Amazon S3(S3)
概要
S3に接続してファイルを読み込み、内容をデータセットに展開します。
接続手順
以下の手順に従い、コネクションを使用するために必要な情報を取得し、ecforce AIdp管理画面にて設定を行ってください。
※コネクション作成画面を別タブで開き、情報の取得とコネクションの設定を同時に行うことを推奨します。
Step 1:S3バケットを準備する
Step 2:コネクションを作成する
Step 1:S3バケットを準備する
- AWSマネジメントコンソールにログインする
- 「AWSマネジメントコンソール > 全てのサービス」をクリックする
-
サービス一覧の中から「S3」を選択し、「バケットを作成する」をクリックする
作成したバケットの名前は、コネクション作成画面の項目「Bucket」に設定してください。
- 作成したバケットの詳細ページの「アクセス許可」タブをクリックする
-
バケットポリシーの「編集」をクリックし、以下のバケットポリシーを設定する
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::{your-bucket-name}/*", "arn:aws:s3:::{your-bucket-name}" ] } ] } - 作成したバケットにアクセスできる IAM Userを作成する
※現状、IAM Roleを使用した認証は対応していません - IAMユーザーの設定画面にある「セキュリティ認証情報」タブの「アクセスキーを作成」をクリックする
-
作成した「アクセスキー」と「シークレットアクセスキー」をコピーする
コピーした値は、コネクション作成画面の以下の項目に設定してください。
・「アクセスキー」の値 →「AWS Access Key ID」
・「シークレットアクセスキー」の値 →「AWS Secret Access Key」
Step 2:コネクションを作成する
- ecforce AIdp管理画面にて、「コネクション > コネクションを作成 > インポート用コネクションを作成する」をクリックする
- 「S3」を選択して「決定」をクリックする
以下の項目を入力して、「接続確認をして保存」をクリックする
| 項目 | 説明 |
|---|---|
| 接続先サービス | 選択した接続先サービス名が表示されます。 |
| 接続先名 | 接続先の名前を設定できます。 ※管理用の名前です。 |
| 説明 | 接続先の説明が設定できます。 |
| 項目 | 説明 |
|---|---|
| Bucket | Step 1:S3バケットを準備するの手順3で作成したバケットの名前を設定してください。 |
| The list of streams to sync | 「追加」をクリックして以下の項目を設定してください。 Format:取り込むファイルの形式 ※ 「CSV Format」が推奨です Name:任意の名前 ※データセット名として設定されます Globs:S3バケット内で取り込むファイル名の形式をglob形式で記述する ※デフォルトは「** 」で、 フォルダ内の全てのファイルを対象とします Days To Sync If History Is Full:ファイル ストアの状態履歴がいっぱいの場合の同期日数 Input Schema:ファイルから抽出されたレコードを検証するために使用されるスキーマ Schemaless:チェックをいれると、同期する際にストリームのスキーマに対してレコードの検証や構造化が行われなくなります Validation Policy:レコードがストリーム スキーマに準拠していない場合の同期動作を指示する検証ポリシーの名前 |
| Start Date ※オプション |
開始日を設定してください。 |
| AWS Access Key ID ※オプション |
Step 1:S3バケットを準備するの手順8でコピーした「アクセスキー」を設定してください。 |
| AWS Secret Access Key ※オプション |
Step 1:S3バケットを準備するの手順8でコピーした「シークレットアクセスキー」を設定してください。 |
| Endpoint ※オプション |
S3互換サービスを使用する場合、S3互換サービスへのエンドポイントを設定してください。 ※AWSを使用する場合は未設定のままにしてください。 |
| AWS Region ※オプション |
S3バケットが配置されているAWSリージョンを設定してください。 ※未設定の場合、リージョンは自動的に決定されます。 |
| AWS Role ARN ※オプション |
IAMロールのAmazonリソース名 (ARN) を設定してください。 |
この記事の目次
このセクションの記事