コネクション

[インポートコネクション]S3

概要

AWS S3 のバケットに接続して、ファイルを読み込んでデータセットを作成します。

接続手順

Step 1:S3バケットを準備する
Step 2:コネクションを作成する

Step 1:S3バケットを準備する

ecforce AIdpが用意したバケットをする場合、本手順はスキップしてください。既存のバケットを使用する場合はポリシーの設定のみを行ってください。

  1. AWSマネジメントコンソールにログインする
  2. 「AWSマネジメントコンソール > 全てのサービス」をクリックする
  3. サービス一覧の中から「S3」を選択し、「バケットを作成する」をクリックする
  4. 作成したバケットの詳細ページの「アクセス許可」タブをクリックする
  5. バケットポリシーの「編集」をクリックし、以下のバケットポリシーを設定する
    ※バケットポリシーの以下の箇所を置き換える
    {your-bucket-name} →ポリシーを設定するバケットの名前(作成したバケットの名前、もしくは既存のバケット名前)

    {
         "Version": "2012-10-17",
       "Statement": [
           {
           "Effect": "Allow",
           "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
           ],
           "Resource": [
                   "arn:aws:s3:::{your-bucket-name}/*",
                   "arn:aws:s3:::{your-bucket-name}"
           ]
           }
       ]
    }

Step 2:コネクションを作成する

  1. ecforce AIdp管理画面にて、「コネクション > コネクションを作成 > インポート用コネクションを作成する」をクリックする
  2. 「S3」を選択して「決定」をクリックする
  3. 以下の項目を入力して、「保存」をクリックする
    content_20_03.jpg

    項目 説明
    接続先サービス 選択した接続先サービス名が表示されます。
    接続先名 接続先の名前を設定できます。
    ※管理用の名前です。
    説明 接続先の説明が設定できます。

    content_20_02.jpg

    項目 説明
    S3 bucket Step 1:S3バケットを準備するの手順3で作成したバケットの名前を設定してください。
    ※既存のバケットを使用する場合は、使用するバケットの名前を設定してください。
    Table Name 出力先のデータセットの名前を設定してください。
    Format 取り込むファイルのフォーマットを設定してください。
    ※現在「CSV Format」のみが設定できます。
    Delimiter CSVファイルのデリミタ文字を設定してください。
    File Encoding ファイルの文字コードエンコーディング
    ※デフォルトは 「UTF-8」です。
    Quote Character ファイル内のクォート文字を設定してください。
    S3 base path
    ※オプション
    取り込むS3基準パスを設定してください。
    例) folder/subfolder/
    Globs
    ※オプション

    基準パス配下の中で取り込むファイル名パターンを設定してください。 <参考>https://docs.python.org/ja/3/library/glob.html

    例)**

この記事の目次

このセクションの記事

コネクション