本文へ移動
職種別 知っておくべき技術ラボ

ホーム / Data

Data が知っておくべき技術

データエンジニアが知っておくべき技術。SQL・モデリングから、パイプライン・DWH・品質とガバナンスまで。

16章・126トピック・用語60・面接問答64問

0%
理解したトピック 0 / 126
0今日の復習
ブラウザで試せるラボDB・ネットワーク図・Linux・障害対応の演習開く
DBラボMariaDB・PostgreSQL・SQLite・Redisネットワーク図パケットの流れを再生Linux ラボ本物のシェルで障害対応障害対応の演習アラートから原因を探す

学習マップ

★★★ 必須★★☆ 重要★☆☆ 発展深度の見方
  • ★★★ 必須 実務で説明できる
  • ★★☆ 重要 仕組みを理解している
  • ★☆☆ 発展 概要を知っている
  • 章の番号の輪は、「理解したらチェック」の進み具合

第1部データエンジニアとは

  1. 1データエンジニアとはデータエンジニア・アナリティクスエンジニア・アナリスト・サイエンティストの違い6トピック・面接 3問・理解 0/6★★ 重要

第2部データの基礎

  1. 2分析のための SQLウィンドウ関数・CTE・集計を自在に使える11トピック・面接 5問・理解 0/11★★★ 必須
  2. 3データモデリング業務 DB（正規化）と分析（スター型）の違い11トピック・面接 5問・理解 0/11★★★ 必須
  3. 4ストレージとファイル形式行指向と列指向、Parquet の中身7トピック・面接 3問・理解 0/7★★ 重要

第3部データパイプライン

  1. 5データの取り込み（バッチ・CDC・API）バッチと CDC の使い分けと、差分の取りこぼし10トピック・面接 6問・理解 0/10★★★ 必須
  2. 6ストリームと KafkaKafka のパーティション・コンシューマーグループ・オフセット6トピック・面接 4問・理解 0/6★★ 重要
  3. 7変換（ELT・dbt・冪等性）ELT と dbt での変換、モデルの層とテスト9トピック・面接 5問・理解 0/9★★★ 必須
  4. 8オーケストレーションと運用DAG・依存関係・再試行・タイムアウト6トピック・面接 3問・理解 0/6★★ 重要

第4部データ基盤

  1. 9クラウド DWH保存と計算の分離と、課金の仕組み6トピック・面接 3問・理解 0/6★★ 重要
  2. 10分散処理（Spark）遅延評価・ステージ・タスクと、シャッフル7トピック・面接 3問・理解 0/7★★ 重要

第5部品質・ガバナンス

  1. 11データ品質と可観測性品質の観点と、テスト（NULL・一意・参照・範囲・鮮度）10トピック・面接 5問・理解 0/10★★★ 必須
  2. 12権限と個人情報最小権限と、列・行の単位の権限6トピック・面接 3問・理解 0/6★★ 重要
  3. 13指標の定義とデータの管理指標の定義をそろえる（セマンティックレイヤー・定義書）5トピック・面接 3問・理解 0/5★★ 重要

第6部面接の実践

  1. 14面接の全体像と答え方選考の流れと、SQL・設計の実技があること5トピック・面接 3問・理解 0/5★★ 重要
  2. 15設計・SQL の実技の面接要件（利用者・鮮度・量）を質問で固めてから設計する11トピック・面接 5問・理解 0/11★★★ 必須
  3. 16経験・行動面接エピソードは STAR で、利用者に何が変わったかを数字で10トピック・面接 5問・理解 0/10★★★ 必須

記録と保存

💾 学習記録理解したチェック・クイズの成績・復習の予定は、このブラウザにだけ保存されています。別の端末で続けるときや、バックアップに。