Resume Data Warehouse pertemuan 10

Menentukan ketepatan data yang diperlukan dalam ETL

  1. Data Quality
    1. Apa itu Data Quality?
      1. Menurut Mark Mosley (2008), dalam bukunya “Dictionary of Data Management”, pengertian kualitas data adalah level data yang menyatakan data tersebut akurat (accurate), lengkap (complete), timely (update), konsisten (consistent) sesuai dengan semua kebutuhan peraturan bisnis dan relevan.
    2. Karakteristik dari Data Quality?
      1. Accuraccy 
        Akurasi data adalah sejauh mana data dengan benar mencerminkan objek dunia nyata atau acara yang dijelaskan.
      2. Accessibility 
        adalah data dapat dengan mudah diakses, dan dimengerti, serta dapat digunakan sesuai dengan keperluan yang dibutuhkan.
      3. Completeness 
        Kelengkapan data adalah sejauh mana atribut diharapkan data yang disediakan.
      4. Consistency 
        Konsistensi data berarti bahwa data di seluruh perusahaan harus sinkron dengan satu sama lain.
      5. Integrity 
        Integrity data berarti bahwa setiap data harus berhubungan atau dapat dihubungkan dengan data - data yang lain sehingga setiap data bisa saling terkait.
      6. Timeliness 
        merepresentasikan waktu dari data yang dimasukkan (jika data digunakan perhari maka data pada warehaouse harus juga dibuat per hari)
      7. Validity 
        Validity data adalah sejauh mana data tersebut dapat di jelaskan dengan benar dan sah sesuai dengan fakta - fakta yang ada sebenarnya.
  2. Data Quality Critical  
    Data yang berkualitas dapat : 
      • Meningkatkan kepercayaan diri dalam melakukan analisis 
      • Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi layanan 
      • Kebenaran yang sifatnya mutlak 
      • Meningkatkan produktivitas 
      • Meningkatkan kepuasan pelanggan

      3.  Data Quality Challenges
    Ada beberapa hal yang merupakan tantangan  untuk membangun kualitas data :
  1. Sumber Data
  • Penuaan data
  • Kesalahan input
  • Penipuan
  • Sistem Konversi

  1. Validasi Data 
    • Duplikasi data 
    • Beberapa atribut yang tercampur dalam satu field  
    • Ejaan yang berbeda untuk nama yang sama
    • Tidak adanya atribut kunci
  1. Biaya besar untuk menjaga kualitas data
  • Mengatur data agar selalu berkualitas membutuhkan biaya yang tidak sedikit
  • Membutuhkan orang – orang yang berkompeten untuk me-manage data
  1. Data Quality Tools
    1. Data Auditing
      1.  Data Auditing meningkatkan akurasi dan kebenaran data pada sumbernya. Tools ini pada umumnya membandingkan data di database sumber dengan aturan bisnis yang ada.
    2. Data Cleansing
      1.  Data Cleansing digunakan dalam staging area. Data Cleansing berguna untuk melakukan standarisasi, dan verifikasi data terhadap data yang tidak dikenali.
    3. Data Migration 
      1. Data Migration digunakan untuk mengekstrak data dari sumber untuk dikirim ke staging area dan dari staging area ke data warehouse.
    5. Data Quality Initiative
         
    Untuk bisa sukses, Data Quality program harus bisa dimulai oleh CEO, didukung oleh jajaran direksi, dan dijalankan oleh manajer yang khusus bertugas mengatur kualitas data.
   

Resume Data Warehouse pertemuan 7

ETL → Extraction, Transformation, Loading


Ekstrasi Data:
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :
  1. Ekstraksi data secara otomatis dari aplikasi sumber.
  2. Penyaringan atau seleksi data hasil ekstraksi.
  3. Pengiriman data dari berbagai platform aplikasi ke sumber data.
  4. Perubahan format layout data dari format aslinya.
  5. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.

Resume Data Warehouse Pertemuan 5

  • STAR SCHEMA
Disebut star schema karena entity-relationship diagram atau ERD-nya yang menyerupai konstelasi bintang, beberapa bintang  besar (fact table) dikelilingi bintang-bintang yang lebih kecil (dimension tables). (Wikimedia Foundation, Inc., 2011) .
  1. Fact table menampung nilai-nilai metric yang direkam untuk suatu kejadian yang spesifik. Sehubungan dengan tujuan untuk menampul data atomik, biasanya terdapat sejumlah besar record (jutaan). Pengelolaan khusus dilakukan untuk meminimalisasi jumlah dan ukuran atribut dengan tujuan membatasi ukuran tabel keseluruhan dan mengatur performa. Fact tables biasanya berupa transaksi (fakta-fakta mengenai kejadian tertentu, misalnya penjualan), snapshot (fakta-fakta yang direkam pada suatu waktu tertentu, misalnya rincian Account pada awal bulan), dan tabel-tabel snapshot akumulasi (misalnya, penjualan month-to-date untuk suatu produk). 
  2. Dimension tables biasanya memiliki record yang lebih sedikit dibandingkan fact tables, tetapi bisa memiliki jumlah atribut yang besar untuk mendeskripsikan data fakta.

Pembuatan Skema Data Warehouse (Resume)

Skema Data Warehouse
  • Skema Bintang (Star Schema) 
      Skema bintang ( Poe, 1996, p33) merupakan suatu jenis khusus dari perancangan database yang digunakan untuk mendukung proses analytical. Skema ini terdiri dari sekumpulan tabel yang dinormalisasi. Skema bintang terdiri dari dua jenis tabel, yaitu :
  • Tabel fakta (fact tabel) 
Tabel fakta atau disebut juga tabel utama (major table) terdiri dari data fakta atau kuantitatif tentang informasi bisnis yang akan di–query. Informasi ini biasanya berupa ukuran numerik dan dapat terdiri dari banyak kolom dan jutaan baris. 

Arsitektur dan Infrastruktur Data Warehouse (Resume)

RANCANG BANGUN DATA WAREHOUSE UNTUK ANALISIS KINERJA PENJUALAN PADA INDUSTRI DENGAN MODEL SPA-DW (SALES PERFORMANCE ANALYSIS – DATA WAREHOUSE)



Artikel bisa di download di SINI..
  • Infrastruktur      :
o   Infrastruktur Fisik
§  Operation System           : Windows XP
§  DBMS                           : Microsoft SQL Server 2008 R2
§  Hardware                       : Komputer PC Desktop
o   Infrastruktur Operasional
§  Pengguna                        : Manajer, analis, dan eksekutif.

Analisis Kebutuhan Data Warehouse (Resume)

Nama Paper yang saya analisis :




RANCANG BANGUN DATA WAREHOUSE UNTUK ANALISIS KINERJA PENJUALAN PADA INDUSTRI DENGAN MODEL SPA-DW (SALES PERFORMANCE ANALYSIS – DATA WAREHOUSE)



Artikel bisa di download di SINI..


Hasil Analisis saya sebagai berikut :

   Analisi Kebutuhan Data Warehousenya adalah :
  • Perancangan Arsitektur
    Arsitektur Data Warehousenya dimulai dengan mengumpulkan data yang berkaitan dengan penjualan yang bersumber dari berbagai database seperti database penjualan, promosi, customer, dan produksi.
    Pada proses kedua data – data dari data source tersebut di gabung menjadi satu dan di Extraction dan hasil dari data itulah yang digunakan lalu data tersebut di simpan ke dalam format .xls (excelsheet).

Karakteristik Data Warehouse (Resume)


Karakteristik Datawarehouse :
Subject oriented, Integrated, Time variant, dan Non volatile

  1. Subject oriented.
Data Warehouse diorganisasikan pada subjek-subjek utama, seperti pelanggan, barang/ produk, dan penjualan. Berfokus pada model dan analisis pada data untuk membuat keputusan, jadi bukan pada setiap proses transaksi atau bukan pada OLTP. Menghindari data yang tidak berguna dalam mengambil suatu keputusan.

  1. Integrated.
Dibangun dengan menggabungkan/menyatukan data yang berbeda. relational databse, flat file, dan on-line transaction record. Menjamin konsistensi dalam penamaan, struktur pengkodean, dan struktur atribut diantara data satu sama lain.

  1. Time variant.
Data disimpan untuk menyediakan informasi dari perspektif historical, data yang tahun-tahun lalu/ 4-5 thn. Waktu adalah elemen kunci dari suatu datawarehouse/ pada saat pengcapture-an.

  1. Non Volatile.
Setiap kali proses perubahan, data akan di tampung dalam tiap-tiap waktu. Jadi tidak di perbaharui terus menerus. Datawarehouse tidak memerlukan pemrosesan transaksi dan recovery. Hanya ada dua operasi initial loading of data dan access of data.