コネクション
[インポートコネクション]S3
概要
AWS S3 のバケットに接続して、ファイルを読み込んでデータセットを作成します。
接続手順
Step 1:S3バケットを準備する
Step 2:コネクションを作成する
Step 1:S3バケットを準備する
ecforce AIdpが用意したバケットをする場合、本手順はスキップしてください。既存のバケットを使用する場合はポリシーの設定のみを行ってください。
- AWSマネジメントコンソールにログインする
- 「AWSマネジメントコンソール > 全てのサービス」をクリックする
- サービス一覧の中から「S3」を選択し、「バケットを作成する」をクリックする
- 作成したバケットの詳細ページの「アクセス許可」タブをクリックする
-
バケットポリシーの「編集」をクリックし、以下のバケットポリシーを設定する
※バケットポリシーの以下の箇所を置き換える
・{your-bucket-name} →ポリシーを設定するバケットの名前(作成したバケットの名前、もしくは既存のバケット名前){ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::{your-bucket-name}/*", "arn:aws:s3:::{your-bucket-name}" ] } ] }
Step 2:コネクションを作成する
- ecforce AIdp管理画面にて、「コネクション > コネクションを作成 > インポート用コネクションを作成する」をクリックする
- 「S3」を選択して「決定」をクリックする
-
以下の項目を入力して、「保存」をクリックする
項目 説明 接続先サービス 選択した接続先サービス名が表示されます。 接続先名 接続先の名前を設定できます。
※管理用の名前です。説明 接続先の説明が設定できます。 項目 説明 S3バケット名 Step 1:S3バケットを準備するの手順3で作成したバケットの名前を設定してください。
※既存のバケットを使用する場合は、使用するバケットの名前を設定してください。データセット名 出力先のデータセットの名前を設定してください。 区切り文字 CSVファイルの区切り文字を設定してください。 文字コード ファイルの文字コードを設定してください。
※デフォルトは 「UTF-8」です。引用符 値を囲む引用符を設定してください。 取込元パス(S3)
※オプションファイルを取り込む基準となるS3のパスを設定してください。
例) folder/subfolder/対象ファイルパターン
※オプション基準パス配下の中で取り込むファイル名パターンを設定してください。 <参考>https://docs.python.org/ja/3/library/glob.html
例)**
この記事の目次
このセクションの記事