DATA ENGINEERING EĞİTİMİ
Data Engineering Eğitimi, veri akışını güvenilir ve ölçülebilir bir yapıya dönüştürmeyi öğretir. Katılımcılar, düzenli ve izlenebilir veri hatlarının nasıl tasarlandığını uygulamalı olarak deneyimler.
Program; veri toplama, dönüştürme ve modelleme adımlarını birbirini tamamlayan bir bütün olarak ele alır. Katılımcılar ayrıca veri kalitesini sürekli kontrol altında tutmayı sağlayan yöntemleri çalışır. Konular güncel veri mühendisliği kaynakları temel alınarak işlenir.
Data Engineering eğitimini şirketinize özel planlayalım. 0212 951 0608 · Teklif isteyin
Katılımcı Profili
Bu eğitim, veri akışını test edilebilir ve ölçülebilir biçimde tasarlamak isteyen rollere yöneliktir:
- Veri Mühendisleri: Pipeline ve ETL süreçleri tasarlayan mühendisler
- Analytics Engineer'lar: dbt ve modern data stack ile çalışan roller
- BI Geliştiricileri: Veri mart ve görselleştirmeyi uçtan uca kuranlar
- Yazılım Geliştiriciler: Veri tarafına geçiş yapan backend mühendisleri
- Data Architect'ler: Lakehouse ve data mesh mimarisi tasarlayan roller
Ön Gereklilikler
Bu eğitime katılım için aşağıdaki ön bilgiler önerilir:
- SQL ile temel sorgu yazma deneyimi (SELECT, JOIN, GROUP BY)
- Python veya Scala'da temel programlama yetkinliği
- Komut satırı ve Git ile rahat çalışma
- Linux ve dosya sistemi kavramlarına aşinalık
- İlişkisel veri modeli ve normalization konularına giriş seviyesi bilgi
Süresi ve Tarihi
Süre: 4 gün. Bu süre standart program içindir; ek modüllere ve hedefe göre süre özelleştirilebilir.
Eğitim tarihleri ve saatleri, ekibinizin uygunluğuna göre birlikte planlanır.
Kazanımlar
Bu eğitimin sonunda katılımcı, "veri akıyor" iddiasını ölçülebilir, test edilebilir bir pipeline'a dönüştürür:
- ETL ile ELT arasında veri hacmi ve transformasyon yerine göre seçim yapar
- Batch ve streaming hattı Spark, Beam veya Kafka Streams ile kurar
- Star, snowflake ve Data Vault arasında modelleme kararı verir
- SCD (Type 1/2/3) tiplerini iş senaryosuna göre uygular
- dbt ile transformation as code yaklaşımı kurar ve test ekler
- Airflow ile Dagster arasında orchestration aracını ölçeğe göre seçer
- Great Expectations ile data quality check'i pipeline'a guard olarak yerleştirir
Data Engineering Eğitimi Konuları
1. Data Engineering Disiplini ve Modern Yığın
- Data Engineer rolü: Analyst, Scientist ile sınır
- Modern Data Stack kavramı ve bileşenleri
- ELT'nin ETL'i nasıl gölgede bıraktığı
- Cloud-native veri platformları
2. Veri Modelleme - 3NF, Star, Snowflake
- OLTP için normal formlar (1NF, 2NF, 3NF)
- OLAP için boyutsal modelleme (Kimball)
- Star schema: fact ve dimension tabloları
- Snowflake schema ve normalize boyutlar
- Data Vault 2.0 yaklaşımı
3. ETL ve ELT Farkı
- ETL'de transform sırası: kaynak öncesi
- ELT'de transform sırası: hedef sonrası
- Modern bulut veri ambarlarının ELT'yi yaygınlaştırması
- Push-down computation ve maliyet
4. Data Warehouse, Data Lake, Lakehouse
- Data Warehouse: schema-on-write, analitik odaklı
- Data Lake: schema-on-read, ham veri toplama
- Lakehouse: warehouse + lake birleşimi
- Storage layer ve compute ayrımı
- S3, ADLS, GCS object store temelleri
5. Apache Spark - Distributed Computing
- Spark mimarisi: driver, executor, cluster manager
- RDD, DataFrame, Dataset API'leri
- Lazy evaluation ve DAG (Directed Acyclic Graph)
- Catalyst optimizer ve Tungsten engine
- Cluster modlar: local, standalone, YARN, Kubernetes
6. PySpark ile DataFrame İşleme
- SparkSession ve DataFrame oluşturma
- select, filter, groupBy, join operasyonları
- UDF (User Defined Function) ve performans riski
- Window function ve analitik hesaplama
- Pandas-on-Spark ve PyArrow entegrasyonu
7. Spark SQL ve Performans Optimizasyonu
- Spark SQL ve dataframe arasındaki köprü
- Partition stratejisi ve skew problemi
- Broadcast join ve shuffle join
- Cache ve persist seviyeleri
- Adaptive Query Execution (AQE)
8. Apache Kafka - Stream Processing
- Topic, partition, broker, consumer group
- Producer ve Consumer API'leri
- At-least-once, at-most-once, exactly-once garantiler
- Offset yönetimi ve replay
- Kafka Streams ve KSQL temelleri
9. Schema Registry ve Veri Sözleşmesi
- Schema Registry rolü ve evolution kuralları
- Avro, Protobuf, JSON Schema
- Backward, forward, full compatibility
- Data contract yaklaşımı ve producer-consumer sınırı
10. Apache Airflow - Workflow Orchestration
- DAG, Operator, Task, Sensor kavramları
- Scheduling ve catchup davranışı
- XCom ile task arası veri paylaşımı
- Branching, trigger rules, sub-DAG ve TaskGroup
- Airflow alternatifleri: Prefect, Dagster, Mage
11. dbt - Transformation as Code
- dbt modeli, materialization türleri (table, view, incremental)
- SQL'i Jinja template ile zenginleştirme
- Source, ref, dbt_utils makroları
- dbt test, snapshot, seed komutları
- dbt docs ile data catalog
12. Snowflake, BigQuery, Redshift Karşılaştırması
- Snowflake: virtual warehouse ve micro-partition
- BigQuery: serverless ve slot tabanlı
- Redshift: cluster ve distribution key
- Pricing modeli ve maliyet optimizasyonu
- Cross-region ve veri paylaşımı
13. Databricks ve Delta Lake
- Databricks workspace ve cluster
- Delta Lake: ACID transaction, time travel, schema enforcement
- Delta Live Tables ile declarative pipeline
- Unity Catalog ile yönetişim
- MLflow entegrasyonu (data + ML)
14. Apache Iceberg ve Open Table Formats
- Iceberg, Hudi, Delta Lake karşılaştırması
- Snapshot, manifest, partition spec yapısı
- Schema evolution ve hidden partitioning
- Engine-bağımsız format ve interoperability
15. Change Data Capture (CDC)
- Log-based CDC: Debezium, Maxwell
- Trigger-based ve query-based CDC alternatifleri
- Outbox pattern ile event üretimi
- CDC + Kafka + warehouse pipeline'ı
16. Slowly Changing Dimensions (SCD)
- SCD Type 1: overwrite
- SCD Type 2: tarihsel saklama (effective_from, effective_to)
- SCD Type 3: önceki değer kolonu
- Hybrid ve Type 6 yaklaşımları
17. Medallion Architecture - Bronze, Silver, Gold
- Bronze: ham veri, source-of-truth
- Silver: temizlenmiş, deduplicated, conformed
- Gold: business-ready, aggregated
- Katmanlar arası dönüşüm sözleşmesi
- Data mesh ve domain ownership
18. Data Quality - Great Expectations
- Expectation: not_null, unique, range, regex
- Checkpoint ile pipeline entegrasyonu
- Data Docs ile paydaşa sunum
- Soda Core, Monte Carlo alternatifleri
- Anomaly detection ve auto-profiling
19. Data Lineage ve Catalog
- OpenLineage standardı
- Apache Atlas, DataHub, Amundsen
- Column-level lineage
- Impact analysis ve değişiklik etkisi
20. DataOps ve Pipeline Monitoring
- Data freshness, completeness, accuracy metrikleri
- SLA, SLO ve data product reliability
- Observability platformları: Monte Carlo, Bigeye
- Incident response ve runbook disiplini
- Cost monitoring ve query optimization
DATA ENGINEERING EĞİTİMİ ile İlgili
Sıkça Sorulan Sorular ve Cevapları
Data Engineering eğitimini kurumumuza özel planlayabilir miyiz?
Evet. Data Engineering eğitimini kurumlara özel düzenlemekteyiz; içerik, süre ve takvim firmanızın ihtiyacına ve çalışanlarınızın programına göre birlikte belirlenir. Standart program temel alınır, önceliklerinize göre uyarlanır.
Data Engineering eğitimini hangi şehirlerde veriyorsunuz?
Data Engineering eğitimini kurumunuzun bulunduğu ilde yerinde veriyoruz; İstanbul, Ankara ve İzmir başta olmak üzere Türkiye'nin her iline gelmekteyiz. İsteyen firmalara eğitim canlı online olarak da sunulur.
Data Engineering eğitimini online veriyor musunuz?
Evet, Data Engineering eğitimini canlı online olarak da veriyoruz; birlikte uygulamalı oturumlarla Türkiye'nin neresinde olursanız olun katılabilirsiniz. Program kurumunuzun ihtiyacına göre belirlenir.
Data Engineering eğitimi çalışanlarımızın seviyesine göre uyarlanıyor mu?
Evet. Data Engineering eğitiminin başında katılımcıların seviyesi değerlendirilir ve içerik buna göre ayarlanır; sıfırdan başlanabileceği gibi ileri konulara da odaklanılabilir.
Data Engineering eğitimi verilerimiz üzerinden ilerleyebilir mi?
Eğitim, kendi verileriniz veya raporlama senaryolarınız üzerinden ilerleyebilir. Teklif öncesinde verinizi veya ihtiyacınızı bize iletmeniz durumunda eğitimi gerçek raporlarınıza göre kurgularız.
Data Engineering eğitmenleriniz hakkında bilgi alabilir miyiz?
Eğitmenlerimiz veri analitiği ve veri mühendisliği alanında deneyimli, Data Engineering ile gerçek kurumsal projeler yürütmüş uzmanlardır. İhtiyacınıza ve hedefinize en uygun eğitmeni sizinle eşleştiriyoruz.
Katılımcılarımıza sertifika veriliyor mu?
Evet. Eğitim sonunda katılımcılarımıza katılım sertifikası veriyoruz; sertifikada eğitimin kapsamı ve katılımcı bilgileri yer alır, kurumunuzun tercihine göre dijital ya da basılı olarak hazırlanır.
Data Engineering eğitiminin fiyatı ne kadar?
Sabit bir Data Engineering eğitimi ücreti yoktur; fiyat, katılımcı sayısı, kapsam ve süreye göre belirlenir. İhtiyacınızı dinleyip kurumunuza özel bir teklif sunarız.
Ekibiniz için kapsamı netleştirelim ve birlikte eğitim planını oluşturalım.
0212 951 0608 · Kurumsal teklif
