Komponen dan Arsitektur Data Warehouse

Arsitektur Data Warehouse - Arsitektur adalah sebuah struktur yang memberikan kerangka untuk keseluruhan rancangan atau desain dari suatu sistem atau produk. Di dalam arsitektur terdapat arsitektur jaringan, arsitektur client-server, arsitektur untuk produk spesifik.

Adapun arsitektur data warehouse yaitu mencakup proses ETL (Extraction, Transformation, Loading) berfungsi untuk memindahkan data dari operational data source dan sumber data eksternal lainnya ke dalam data warehouse . Berikut adalah penjelasan dari tiap proses.

Arsitektur Data Warehouse

Ekstraksi Data (Extract)

Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

Ekstraksi data secara otomatis dari aplikasi sumber.
Penyaringan atau seleksi data hasil ekstraksi.
Pengiriman data dari berbagai platform aplikasi ke sumber data.
Perubahan format layout data dari format aslinya.
Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.

Transformasi Data (Transformation)

Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut :

Memetakan data input dari skema data aslinya ke skema data warehouse.
Melakukan konversi tipe data atau format data.
Pembersihan serta pembuangan duplikasi dan kesalahan data.
Penghitungan nilai-nilai derivat atau mula-mula.
Penghitungan nilai-nilai agregat atau rangkuman.
Pemerikasaan integritas referensi data.
Pengisian nilai-nilai kosong dengan nilai default.
Penggabungan data.

Pengisian Data (Loading)

Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQLscript secara periodik.

Komponen Data Warehouse Menurut Connoly And Begg

Arsitektur data warehouse terdiri dari struktur dan komponen yang saling berhubungan satu sama lain dalam membangundata warehouse.

1. Operasional Data

Berfokus pada fungsi-fungsi transaksional
Merupakan bagian dari infrastruktur perusahaan
Detail, tidak ada redudansi, dapat diupdate
Merefleksikan nilai sekarang

2. Operasional Data Store

Tempat penyimpanan sementara dari data operasional saat ini
Menyuplai data yang sudah diekstrak dari sistem sumber dan dibersihkan
Menyederhanakan proses integrasi dan restrukturisasi data di data warehouse

3. Load Manager

Menampilkan semua operasi yang terkait dengan ekstrak dan load data ke dalam data warehouse
Data bisa diekstrak langsung dari sumber data atau ODS

4. Warehouse Manager

Menampikan semua operasi yang terkait dengan manajemen data dari data warehouse:

Analisis data untuk menjamin konsistensi
Transformasi dan penggabungan sumber data dari ODS ke table data warehouse
Pembuatan indeks dan view pada table base
Membuat Denormalisasi dan Agregasi, jika diperlukan
Backing up dan Archiving Data

5. Query Manager

Menampilkan semua operasi yang terkait dengan manajemen query pengguna
Mengarahkan query pada table yang cocok
Menjadwalkan pelaksanaan query

6. Detailed Data

Komponen yang menyimpan detail data dalam skema database

Current Detail Data adalah Langsung dari operasional database dan mengacu pada data perusahaan sekarang
contoh : profil pelanggan, data aktivitas pelanggan, data sales, data demografis
Old Detail Data à Current Detail Data yang berumur atau histori dari subyek area

7. Lightly dan Highly Summarized Data

Menyimpan semua data Lightly dan Highly Summarized yang sudah terdefinisi sebelumnya yang dibuat oleh Warehouse Manager
Tujuan : meningkatkan performance query

8. Back Up Data/Archive Data

Menyimpan Detailed Data dan Summarized Data dengan tujuan mengarsip dan melakukan backup

9. Metadata

Digunakan untuk membangun, memelihara, mengatur, dan menggunakan data warehouse
Mengandung lokasi dan deskripsi :
1. Komponen data warehouse (nama, definisi, struktur, dan isi dari data warehouse dan end user view)
2. Identifikasi dari pembuat sumber data (record system)
3. Aturan-aturan integrasi dan transformasi yang digunakan untuk mempopulasikan data warehouse
4. Histori dari update dan refresh data warehouse
5. Pola-pola matriks yang digunakan untk performa menganalisa data warehouse

10. End User Access Tools

Komponen yang menyediakan informasi dari data warehouse yang ada bagi user dalam membantu mengambil keputusan
Tools mencakup :
1. Reporting dan Query Tool
  Reporting : Menghasilkan laporan operasional yang teratur
  Query : Relasi data warehouse untuk dapat menerima SQL atau untuk menghasilkan pernyataan SQL agar dapat melakukan query pada data yang disimpan dalam data warehouse
2. Application Development Tools
  Dirancang untuk kebutuhan Client Server
3. Executive Information System (EIS) Tool
  Mendukung pengambilan tingkat tinggi
4. OLAP Tool
  Konsep multidimensi
  Mengizinkan pengguna untuk menganalisis data menggunakan view yang kompleks
5. Data Mining Tool
  Proses menemukan korelasi, pola, dan gaya baru yang bermanfaat dengan ‘menggali’ data dalam jumlah yang banyak dengan menggunakan teknik statistika dan matematika

Demikian artikel mengenai komponen dan arsitektur data warehouse semoga bermanfaat dan jangan lupa baca materi Pengertian Data Mining dan Contohnya