ジョブ
ジョブについて
【ジョブ】画面では、ジョブの作成やジョブのログを確認できます。
「ジョブ一覧」タブの項目について
「ジョブ一覧」タブには作成したすべてのジョブが一覧で表示されます。
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前です。 |
| ステータス | 以下いずれかのステータスが表示されます。 ・完了:単発のジョブで、実行が終わって次回予定がないとき ・期間終了:定期ジョブで、設定した終了日を過ぎたとき ・有効:上記に当てはまらず、ジョブが有効なとき ・無効:ジョブが無効なとき ・下書き:ジョブを下書き保存したとき |
| 処理状況 | 以下いずれかのジョブの処理状況が表示されます。 ・実行中:ジョブが現在進行形で動いている ・実行済み:ジョブの実行が成功 ・失敗:ジョブの実行が失敗 ※ジョブの実行が失敗した際、特定のメールアドレスにメールを送信できます。詳細は弊社サポートまでお問い合わせください。 ・実行待ち:ジョブをまだ一度も実行していない ・不明:ジョブの状態が取得できない・わからない |
| 次回実行予定日 | ジョブの次回実行予定日です。 ※ジョブの実行スケジュールが「定期実行」の場合のみ表示されます。 |
| 最終実行日 | ジョブの最終実行日です。 |
| 実行スケジュール | ジョブの実行スケジュールです。 ※ジョブの実行スケジュールが「定期実行」の場合のみ表示されます。 |
| 実行ログ | 「実行ログ」をクリックするとジョブの実行ログが確認できます。 |
| 更新日 / 更新者 | ジョブの最終更新日と最終更新者です。 |
| 作成日 / 作成者 | ジョブの作成日と作成者です。 |
「実行ログ」タブの項目について
「実行ログ」タブにはジョブのログが一覧で表示されます。
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前が表示されます。 |
| 処理状況 | ジョブのステータスです。 以下いずれかのステータスが表示されます。 ・実行中:ジョブが現在進行形で動いている ・実行済み:ジョブの実行が成功 ・失敗:ジョブの実行が失敗 ※ジョブの実行が失敗した際、特定のメールアドレスにメールを送信できます。詳細は弊社サポートまでお問い合わせください。 ・実行待ち:ジョブをまだ一度も実行していない ・不明:ジョブの状態が取得できない・わからない |
| 開始日時 | ジョブが開始した日時が表示されます。 |
| 終了日時 | ジョブが終了した日時が表示されます。 |
| 実行時間 | ジョブの実行時間が表示されます。 |
| クレジット使用量 | ジョブのデータ処理容量が表示されます。 |
| 使用メモリ | ジョブ実行時に使用したインスタンス数が表示されます。 |
| 使用インスタンス数 | ジョブ実行時に使用したインスタンス数が表示されます。 |
| 出力データサイズ | ジョブによって生成されたデータのサイズが表示されます。 |
| 処理レコード数 | ジョブで処理したレコード数が表示されます。 |
ジョブを作成する
ジョブを作成する場合は、画面右上の「ジョブを作成」をクリックしてください。
「ジョブを作成」をクリックすると、ジョブの種類を選択するプルダウンメニューが表示されます。
以下いずれかをクリックしてください。
・データ加工ジョブを作成:インポートしたデータを加工するジョブを作成します
・インポートジョブを作成:データをインポートするジョブを作成します
・エクスポートジョブを作成:データをエクスポートするジョブを作成します
データ加工ジョブを作成する
加工したいデータセット(※)を選択して「決定」をクリックしてください。
※データセットは【データセット】画面で作成できます。またデータグループを指定してデータセットを絞り込めます。
【データ加工ジョブの作成】画面にて、以下の設定をして「下書き保存」もしくは「保存して実行」をクリックしてください。
基本情報
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前を設定できます。 |
| 実行スケジュール | ジョブの実行スケジュールを設定できます。 ▼「定期実行」を設定した場合 以下の項目の設定内容に従い、ジョブが定期的に実行されます。 ・実行間隔:「毎時」「毎日」「毎週」「毎月」のいずれかを設定する ※実行する日、曜日、時間は複数選択できます。 ・実行開始:ジョブの開始日時を設定する ・実行終了:ジョブの終了日時を設定する ▼「一度のみ実行」を設定した場合 以下いずれかを選択できます。 ・今すぐ実行:保存した直後にジョブが実行されます。 ・予約実行:「実行日時」の設定内容に従い、ジョブが一度だけ実行されます。 |
| データセット名 | データセットの名前を設定できます。 ※加工した後のデータセットを広告費データセットとして取り込む場合は、先頭に「ads_cost_」を付けてください。 |
| 出力先のデータグループ | 出力先のデータグループを設定できます。 ※データグループは【データセット】画面で作成できます。詳細はデータセットをグループ化するをご参照ください。 |
| 説明 | ジョブの説明を設定できます。 |
SQLエディタ
SQL文を記述してください。記述したSQL文が実行されデータが加工されます。
データセット名やデータセット内のカラム名を確認する場合は、「データセット参照」アイコンをクリックし、データグループを指定してください。
データグループを指定すると、データグループに属するデータセットが表示されます。
データセット名やデータセット内のカラム名をSQL文の中にペーストする場合は、項目のコピーアイコンをクリックしてください。
SQLの実行結果を確認したい場合は「プレビューを表示」をクリックしてください。
AIを活用してSQL文を作成する
「AIでSQL生成」アイコンをクリックすると、AIとのチャット画面が表示されます。
予め用意されている加工を実行する、もしくは指示を直接入力できます。
予め用意されている加工を実行する場合は「実行したい加工を選ぶ」をクリックし、加工内容を選択してください。
AIへ直接指示をする場合は、画面下部の入力欄に指示内容を入力し送信アイコンをクリックしてください。
AIが作成したクエリは「エディタに反映」をクリックすることでSQLエディタに反映できます。SQLの実行結果を確認したい場合は「プレビューを表示」をクリックしてください。
インポートジョブを作成する
【インポートジョブの作成】画面にて、以下の設定をして「保存して実行」をクリックしてください。
基本情報
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前を設定できます。 |
| 実行スケジュール | ジョブの実行スケジュールを設定できます。 ▼「定期実行」を設定した場合 以下の項目の設定内容に従い、ジョブが定期的に実行されます。 ・実行間隔:「毎日」「毎週」「1ヶ月に1度」のいずれかを設定する ・実行開始:ジョブの開始日時を設定する ・実行終了:ジョブの終了日時を設定する ▼「一度のみ実行」を設定した場合 「実行日時」の設定内容に従い、ジョブが一度だけ実行されます。 |
| 説明 | ジョブの説明を設定できます。 |
インポート元の設定
インポート元のコネクション、データセット、データの同期方法を選択してください。
項目「インポート元」には【コネクション】画面で設定したインポート用コネクションが表示されます。また、インポート元のコネクションを選択すると項目「データセット選択」が表示されます。
▼データの同期方法について
・全件置き換え:内容に変更がない場合もデータセット上に存在する全ての項目を上書きします
・差分更新:過去のインポート時と比較して変更が加えられている項目のみを上書きします
※インポート元のコネクション内のデータセットの中には、差分更新が不可能なデータセットが存在します。当該データセットに関しては、「差分更新」と設定している場合でも「全件置き換え」の方法で同期されます。
「ecforce data connector」を用いてインポートする場合
「ecforce data connector」を用いてインポートジョブを作成する場合、インポート対象とするデータセットやカラムの選択、およびカラム名やデータ型の変更を行えます。
インポート対象とするデータセットやカラムにチェックを入れてください。
カラム名を変更する場合はカラム名をクリックして編集を、データ型を変更する場合はデータ型のプルダウンから任意のデータ型を選択してください。
インポート先の設定
インポート先のデータグループを選択してください。
※データグループは【データセット】画面で作成できます。詳細はデータセットをグループ化するをご参照ください。
インポートしたジョブについて
一部のコネクターを利用したインポートジョブを実行すると、同じデータから2種類のデータセットが自動的に作成されます。
※システムが自動で付ける管理用の列(対象は以下のカラム)はデータセットに含まれません。
・_airbyte_ab_id
・_airbyte_emitted_at
・_airbyte_data
(1)JSON形式のデータセット(RAWデータ)
▼データセットの説明・役割
・インポートで取得したデータをJSON形式のまま、1カラムに保存したデータセット
・インポート時点の元データをそのまま保持するためのデータ
・データ欠損や仕様変更が起きた場合でも、再加工・再展開の元データとして利用可能
▼命名規約
airbyte_raw_{プレフィックス※1}_{ジョブID}_{テーブル名}
※1 プレフィックス:インポートジョブ作成・更新画面にてサイドバーで入力可能なプレフィックス
▼イメージ
(2)表形式のデータセット
▼データセットの説明・役割
・Rawデータセット内のJSON を1階層分だけ展開し、表形式(カラム)にしたデータ(2階層以降はJSON形式のまま保持)
・項目をそのままSQLやecforce biで直接使えるような形に変換
・2階層目以降のネスト構造はJSON形式のまま保持
▼命名規約
{プレフィックス※1}_{ジョブID}_{テーブル名}
※1 プレフィックス:インポートジョブ作成・更新画面にてサイドバーで入力可能なプレフィックス
▼イメージ
エクスポートジョブを作成する
【エクスポートジョブの作成】画面にて、以下の設定をして「保存して実行」をクリックしてください。
基本情報
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前を設定できます。 |
| 実行スケジュール | ジョブの実行スケジュールを設定できます。 ▼「定期実行」を設定した場合 以下の項目の設定内容に従い、ジョブが定期的に実行されます。 ・実行間隔:「毎日」「毎週」「1ヶ月に1度」のいずれかを設定する ・実行開始:ジョブの開始日時を設定する ・実行終了:ジョブの終了日時を設定する ▼「一度のみ実行」を設定した場合 「実行日時」の設定内容に従い、ジョブが一度だけ実行されます。 |
| 説明 | ジョブの説明を設定できます。 |
エクスポート先の設定
エクスポート先のコネクションを選択してください。
※一覧には【コネクション】画面で設定したエクスポート用コネクションが表示されます。
エクスポートするデータセット
エクスポートするデータセットを選択してください。
ジョブを編集する
ジョブを編集する場合は、任意のジョブをクリックしてください。
ジョブをクリックすると、ジョブの設定内容が反映された状態でジョブ作成画面が表示されます。
編集し終えたら「保存して実行」をクリックしてください。
ジョブの実行ログを確認する
ジョブの実行ログを確認する場合は、メニューアイコンの「このジョブの実行ログ」をクリックしてください。
「このジョブの実行ログ」をクリックすると、画面右側にログの画面が表示されます。
※ログの項目については、「実行ログ」タブの項目についてをご参照ください。
ジョブを複製する
ジョブを複製する場合は、メニューアイコンの「複製」をクリックしてください。
「複製」をクリックすると、情報が複製された状態でジョブの作成画面が表示されます。
ジョブを無効化する
ジョブを無効化する場合は、メニューアイコンの「ジョブを無効にする」をクリックしてください。
「ジョブを無効にする」をクリックするとモーダルが表示されるので、「無効にする」をクリックしてください。
ジョブを削除する
ジョブを削除する場合は、メニューアイコンの「削除」をクリックしてください。
「削除」をクリックするとモーダルが表示されるので、「削除する」をクリックしてください。
※削除したジョブの復元はできかねますので、ご注意ください。
この記事の目次
このセクションの記事
ジョブ