Menentukan ketepatan data yang diperlukan dalam ETL
- Data Quality
- Apa itu Data Quality?
- Menurut Mark Mosley (2008), dalam bukunya “Dictionary of Data Management”, pengertian kualitas data adalah level data yang menyatakan data tersebut akurat (accurate), lengkap (complete), timely (update), konsisten (consistent) sesuai dengan semua kebutuhan peraturan bisnis dan relevan.
- Karakteristik dari Data Quality?
- AccuraccyAkurasi data adalah sejauh mana data dengan benar mencerminkan objek dunia nyata atau acara yang dijelaskan.
- Accessibilityadalah data dapat dengan mudah diakses, dan dimengerti, serta dapat digunakan sesuai dengan keperluan yang dibutuhkan.
- CompletenessKelengkapan data adalah sejauh mana atribut diharapkan data yang disediakan.
- ConsistencyKonsistensi data berarti bahwa data di seluruh perusahaan harus sinkron dengan satu sama lain.
- IntegrityIntegrity data berarti bahwa setiap data harus berhubungan atau dapat dihubungkan dengan data - data yang lain sehingga setiap data bisa saling terkait.
- Timelinessmerepresentasikan waktu dari data yang dimasukkan (jika data digunakan perhari maka data pada warehaouse harus juga dibuat per hari)
- ValidityValidity data adalah sejauh mana data tersebut dapat di jelaskan dengan benar dan sah sesuai dengan fakta - fakta yang ada sebenarnya.
- Data Quality CriticalData yang berkualitas dapat :
- Meningkatkan kepercayaan diri dalam melakukan analisis
- Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi layanan
- Kebenaran yang sifatnya mutlak
- Meningkatkan produktivitas
- Meningkatkan kepuasan pelanggan
3. Data Quality Challenges
Ada beberapa hal yang merupakan tantangan untuk membangun kualitas data :
- Sumber Data
- Penuaan data
- Kesalahan input
- Penipuan
- Sistem Konversi
- Validasi Data
- Duplikasi data
- Beberapa atribut yang tercampur dalam satu field
- Ejaan yang berbeda untuk nama yang sama
- Tidak adanya atribut kunci
- Biaya besar untuk menjaga kualitas data
- Mengatur data agar selalu berkualitas membutuhkan biaya yang tidak sedikit
- Membutuhkan orang – orang yang berkompeten untuk me-manage data
- Data Quality Tools
- Data Auditing
- Data Auditing meningkatkan akurasi dan kebenaran data pada sumbernya. Tools ini pada umumnya membandingkan data di database sumber dengan aturan bisnis yang ada.
- Data Cleansing
- Data Cleansing digunakan dalam staging area. Data Cleansing berguna untuk melakukan standarisasi, dan verifikasi data terhadap data yang tidak dikenali.
- Data Migration
- Data Migration digunakan untuk mengekstrak data dari sumber untuk dikirim ke staging area dan dari staging area ke data warehouse.
Untuk bisa sukses, Data Quality program harus bisa dimulai oleh CEO, didukung oleh jajaran direksi, dan dijalankan oleh manajer yang khusus bertugas mengatur kualitas data.
