ジョブ
ジョブについて
【ジョブ】画面では、ジョブの作成やジョブのログを確認できます。
「ジョブ一覧」タブの項目について
「ジョブ一覧」タブには作成したすべてのジョブが一覧で表示されます。
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前です。 |
| ステータス | ジョブのステータスです。 以下いずれかのステータスが表示されます。 ・実行中:ジョブが現在進行形で動いている ・実行済み:ジョブの実行が成功 ・実行失敗:ジョブの実行が失敗 ・実行待ち:その実行が始まるのを待っているとき ・不明:その実行の状態が取得できないとき |
| 処理状況 | 以下いずれかのジョブの処理状況が表示されます。 ・実行中:ジョブが現在進行形で動いている ・実行済み:ジョブの実行が成功 ・実行失敗:ジョブの実行が失敗 ・実行待ち:実行を待っているとき。「ジョブ完了時に実行」で、まだ一度も実行していないジョブも「実行待ち」になります。 ・不明:ジョブの状態が取得できない・わからない |
| 次回実行予定日 ※実行スケジュールが「定期実行」の場合のみ表示 |
ジョブの次回実行予定日です。 |
| 最終実行日 | ジョブの最終実行日です。 |
| 実行スケジュール | ジョブの実行スケジュールです。 |
| 実行ログ | 「実行ログ」をクリックするとジョブの実行ログが確認できます。 |
| 更新日 / 更新者 | ジョブの最終更新日と最終更新者です。 |
| 作成日 / 作成者 | ジョブの作成日と作成者です。 |
「実行ログ」タブの項目について
「実行ログ」タブにはジョブのログが一覧で表示されます。
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前が表示されます。 |
| 処理状況 | ジョブのステータスです。 以下いずれかのステータスが表示されます。 ・実行中:ジョブが現在進行形で動いている ・実行済み:ジョブの実行が成功 ・実行失敗:ジョブの実行が失敗 ・実行待ち:ジョブをまだ一度も実行していない ・不明:ジョブの状態が取得できない・わからない |
| 開始日時 | ジョブが開始した日時が表示されます。 |
| 終了日時 | ジョブが終了した日時が表示されます。 |
| 実行時間 | ジョブの実行時間が表示されます。 |
| クレジット使用量 | ジョブのデータ処理容量が表示されます。 |
| 使用メモリ | ジョブ実行時に使用したメモリ量が表示されます。 |
| 使用インスタンス数 | ジョブ実行時に使用したインスタンス数が表示されます。 |
| 出力データサイズ | ジョブによって生成されたデータのサイズが表示されます。 |
| 処理レコード数 | ジョブで処理したレコード数が表示されます。 |
ジョブを作成する
ジョブを作成する場合は、画面右上の「ジョブを作成」をクリックしてください。
「ジョブを作成」をクリックすると、ジョブの種類を選択するプルダウンメニューが表示されます。
以下いずれかをクリックしてください。
・データ加工ジョブを作成:インポートしたデータを加工するジョブを作成します
・インポートジョブを作成:データをインポートするジョブを作成します
・エクスポートジョブを作成:データをエクスポートするジョブを作成します
データ加工ジョブを作成する
加工したいデータセット(※)を選択して「決定」をクリックしてください。
※データセットは【データセット】画面で作成できます。またデータグループを指定してデータセットを絞り込めます。
【データ加工ジョブの作成】画面にて、以下の設定をして「下書き保存」もしくは「保存して実行」をクリックしてください。
基本情報
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前を設定できます。 |
| 実行スケジュール |
ジョブの実行スケジュールを設定できます。 注意点・選択できるジョブは最大10件です。また、1つのジョブに設定できる後続のジョブも最大10件です。 ▼「一度のみ実行」を設定した場合 |
| データセット名 | データセットの名前を設定できます。 ※加工した後のデータセットを広告費データセットとして取り込む場合は、データセット名の先頭に「ads_cost_」を付けてください。列には「日付」「媒体」「COST」が必要です。この3列が無いデータセットは集計されません。日付は 2026-06-25 の形式にしてください。2026/06/25 の形式だと日付が読み取られません。 |
| 出力先のデータグループ | 出力先のデータグループを設定できます。 ※データグループは【データセット】画面で作成できます。詳細はデータセットをグループ化するをご参照ください。 |
| 説明 | ジョブの説明を設定できます。 |
SQLエディタ
SQL文を記述してください。記述したSQL文が実行されデータが加工されます。
データセット名やデータセット内のカラム名を確認する場合は、「データセット参照」アイコンをクリックし、データグループを指定してください。
データグループを指定すると、データグループに属するデータセットが表示されます。
データセット名やデータセット内のカラム名をSQL文の中にペーストする場合は、項目のコピーアイコンをクリックしてください。
データセットやカラムの詳細を確認する
SQLエディタにペーストしたデータセットやカラムにホバーすることで、詳細情報を確認できます。
SQLの実行結果を確認したい場合は「プレビューを表示」をクリックしてください。
※ジョブ実行のSQLは Spark SQL です。
AIを活用してSQL文を作成する
「AIでSQL生成」アイコンをクリックすると、AIとのチャット画面が表示されます。
予め用意されている加工を実行する、もしくは指示を直接入力できます。
予め用意されている加工を実行する場合は「実行したい加工を選ぶ」をクリックし、加工内容を選択してください。
AIへ直接指示をする場合は、画面下部の入力欄に指示内容を入力し送信アイコンをクリックしてください。
AIが作成したクエリは「エディタに反映」をクリックすることでSQLエディタに反映できます。SQLの実行結果を確認したい場合は「プレビューを表示」をクリックしてください。
インポートジョブを作成する
【インポートジョブの作成】画面にて、以下の設定をして「保存して実行」をクリックしてください。
基本情報
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前を設定できます。 |
| 実行スケジュール | ジョブの実行スケジュールを設定できます。 ▼「定期実行」を設定した場合 以下の項目の設定内容に従い、ジョブが定期的に実行されます。 ・実行間隔:「毎時」「毎日」「毎週」「毎月」のいずれかを設定する ・実行開始:ジョブの開始日時を設定する ・実行終了:ジョブの終了日時を設定する ▼「ジョブ完了時に実行」を設定した場合 データ加工ジョブと同じです。上流のジョブを複数選んだときは、いずれかのジョブが完了したら実行されます。 ▼「一度のみ実行」を設定した場合 以下いずれかを選択できます。 ・今すぐ実行:保存した直後にジョブが実行されます。 ・予約実行:「実行日時」の設定内容に従い、ジョブが一度だけ実行されます。 「作成したデータセットのテーブル定義をロックする」は、「一度のみ実行」のときだけ表示されます。 |
| 説明 | ジョブの説明を設定できます。 |
インポート元の設定
インポート元のコネクション、データセット、データの同期方法を選択してください。
項目「インポート元」には【コネクション】画面で設定したインポート用コネクションが表示されます。また、インポート元のコネクションを選択すると項目「データセット選択」が表示されます。
データの同期方法について
・全件置き換え:その実行で取得した行だけがデータセットに残ります
・差分更新:キーが同じ行は上書きします。取得範囲の外の行は残ります
※明細のように親データに紐づくデータセットでは、差分更新のとき、今回取得した親データに紐づく既存の行を消してから、今回取得した行を入れます。
インポート元のコネクション内のデータセットの中には、差分更新が不可能なデータセットが存在します。当該データセットに関しては、「差分更新」と設定している場合でも「全件置き換え」の方法で同期されます。
「ecforce」を用いてインポートする場合
「ecforce」を用いてインポートジョブを作成する場合、インポート対象とするデータセットやカラムの選択、およびカラム名やデータ型の変更を行えます。カラムの選択は、S3、FTPS、MySQL、PostgreSQL、MSSQL、Oracle のインポートジョブでもできます。
カラム名を変更する場合はカラム名をクリックして編集を、データ型を変更する場合はデータ型のプルダウンから任意のデータ型を選択してください。
インポート先の設定
インポート先のデータグループを選択してください。
※データグループは【データセット】画面で作成できます。詳細はデータセットをグループ化するをご参照ください。
インポートしたジョブについて
一部のコネクターを利用したインポートジョブを実行すると、同じデータから2種類のデータセットが自動的に作成されます。
1つは RAW データセットで、名前はコネクターによって airbyte_raw_ または cdp_raw_(Facebook Ads、Rakuten
RMS、FTPS など)で始まります。もう1つは、その接頭辞が無い表形式のデータセットです。
プレフィックスを入力できるジョブでは、作成・編集画面の左にある「基本情報」の「プレフィックス」で入力できます(空でも保存できます)。ecforce、MySQL、S3、FTPS
のジョブではプレフィックスは入力できません。
ジョブIDは、編集画面のURLに含まれるIDのハイフン(-)をアンダースコア(_)に置き換え、英小文字にしたものです。テーブル名も英小文字になり、空白とハイフンはアンダースコアになります。
※RAW データセットには、システムが自動で付ける次の管理用の列が含まれます。
・airbyte_raw_ で始まるデータセット:_airbyte_ab_id、_airbyte_emitted_at、_airbyte_data
・cdp_raw_ で始まるデータセット:_cdp_ab_id、_cdp_emitted_at、_cdp_data
(1)JSON形式のデータセット(RAWデータ)
▼データセットの説明・役割
・インポートで取得したデータをJSON形式のまま、1カラムに保存したデータセット
・インポート時点の元データをそのまま保持するためのデータ
・データ欠損や仕様変更が起きた場合でも、再加工・再展開の元データとして利用可能
▼命名規約※プレフィックスを入力できるジョブの場合
・プレフィックスを入力した場合:airbyte_raw_{プレフィックス}_{ジョブID}_{テーブル名}
・プレフィックスが空の場合:airbyte_raw_{ジョブID}_{テーブル名}
※プレフィックス:インポートジョブ作成・更新画面のサイドバー(「基本情報」)で入力できるプレフィックス
▼イメージ
(2)表形式のデータセット
▼データセットの説明・役割
・Rawデータセット内のJSONを1階層分だけ展開し、表形式(カラム)にしたデータです。2階層目以降のネスト構造は、構造体として保持されます。
・項目をそのままSQLやecforce biで直接使えるような形に変換
・2階層目以降のネスト構造は、構造体として保持されます
▼命名規約
{プレフィックス※1}_{ジョブID}_{テーブル名}
※1 プレフィックス:インポートジョブ作成・更新画面にてサイドバーで入力可能なプレフィックス
▼イメージ
エクスポートジョブを作成する
【エクスポートジョブの作成】画面にて、以下の設定をして「保存して実行」をクリックしてください。
基本情報
| 項目 | 説明 |
|---|---|
| ジョブ名 | ジョブの名前を設定できます。 |
| 実行スケジュール | ジョブの実行スケジュールを設定できます。 ▼「定期実行」を設定した場合 以下の項目の設定内容に従い、ジョブが定期的に実行されます。 ・実行間隔:「毎時」「毎日」「毎週」「毎月」のいずれかを設定する ・実行開始:ジョブの開始日時を設定する ・実行終了:ジョブの終了日時を設定する ▼「ジョブ完了時に実行」を設定した場合 データ加工ジョブと同じです。上流のジョブを複数選んだときは、いずれかのジョブが完了したら実行されます。 ▼「一度のみ実行」を設定した場合 以下いずれかを選択できます。 ・今すぐ実行:保存した直後にジョブが実行されます。 ・予約実行:「実行日時」の設定内容に従い、ジョブが一度だけ実行されます。 「作成したデータセットのテーブル定義をロックする」は、「一度のみ実行」のときだけ表示されます。 |
| 説明 | ジョブの説明を設定できます。 |
エクスポート先の設定
エクスポート先のコネクションを選択してください。
※一覧には【コネクション】画面で設定したエクスポート用コネクションが表示されます。
エクスポートするデータセット
エクスポートするデータセットを選択してください。
ジョブを編集する
ジョブを編集する場合は、任意のジョブをクリックしてください。
ジョブをクリックすると、ジョブの設定内容が反映された状態でジョブ作成画面が表示されます。
編集し終えたら「保存して実行」をクリックしてください。
ジョブの実行ログを確認する
ジョブの実行ログを確認する場合は、メニューアイコンの「このジョブの実行ログ」をクリックしてください。
「このジョブの実行ログ」をクリックすると、画面右側にログの画面が表示されます。
※ログの項目については、「実行ログ」タブの項目についてをご参照ください。
ジョブを複製する
ジョブを複製する場合は、メニューアイコンの「複製」をクリックしてください。
「複製」をクリックすると、情報が複製された状態でジョブの作成画面が表示されます。
ジョブを無効化する
ジョブを無効化する場合は、メニューアイコンの「ジョブを無効にする」をクリックしてください。
※無効のジョブのメニューには「ジョブを有効にする」があります。
「ジョブを無効にする」をクリックするとモーダルが表示されるので、「無効にする」をクリックしてください。
ジョブを削除する
ジョブを削除する場合は、メニューアイコンの「削除」をクリックしてください。
※後続のジョブがあるときは削除できません。
「削除」をクリックするとモーダルが表示されるので、「削除する」をクリックしてください。
※削除したジョブの復元はできかねますので、ご注意ください。
この記事の目次
このセクションの記事
ジョブ