Resume Data Warehouse pertemuan 12

Data Transformation Services adalah salah satu modul pada SQL Server yang bisa mengkonversi data dari SQL Server ke format data yang lain yang kompatibel dengan OLE DB, ODBC, dan file teks. Sebuah paket DTS pada dasarnya adalah keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data.

DTS ini ada pada SQL Server namun semenjak Microsoft SQL Server 2005 DTS digantikan oleh SQL Server Integration Services (SSIS). SSIS adalah Platform untuk membangun kinerja tinggi solusi integrasi data, termasuk ekstraksi, transformasi, dan load (ETL) paket untuk data warehousing. Walaupun demikian, DY|TS masih bisa diinstall sebagai tambahan packages dan dijalankan pada Microsoft SQL Server 2005 dan yang lebih baru.

Referensi :
  1. Slide Presentasi kelompok 10
  2. http://dundungismyblog.blogspot.com/
  3. Slide presentasi kelompok 8

Resume Data Warehouse Pertemuan 11

DTS (DATA TRANSFORMATION SERVICES)

Data Transformation Services adalah salah satu modul pada SQL Server yang bisa mengkonversi data dari SQL Server ke format data yang lain yang kompatibel dengan OLE DB, ODBC, dan file teks.
Sebuah paket DTS pada dasarnya adalah keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data. 

DTS menyediakan fungsionalitas untuk mengimpor dan mengekspor data antara SQL Server dan OLE DB atau ODBC data sumber, termasuk Microsoft Access. SQL Server termasuk DTS dan DTS Wizard Impor dan ekspor yang memungkinkan Anda untuk membuat dan menjalankan paket DTS secara interaktif.

Tools DTS
Tool-tool yang tersedia untuk menciptakan dan mengeksekusi DTS packages
  1. Import Export Wizzard (Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.Import Export Wizzard)
  1. DTS Designer (DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.)
  1. DTS Run (DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.)
  1. DTSRunUI (DTSRunUI merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.)
Connection untuk mengakses & memindahkan data
Agar eksekusi DTS tasks dalam menyalin dan memindahkan data berjalan sukses, sebuah DTS package harus mempunyai hubungan yang valid antara sumber data asal dengan sumber data tujua. Ketika menciptakan sebuah package, user dapat mengkonfigurasikan hubungan dengan memilih jenis hubungan dari daftar yang tersedia pada OLE DB providers dan ODBC drivers. Jenis hubungan yang tersedia antara lain:
  1. Microsoft Data Acces Component (MDAC) drivers
  2. Microsoft Jet drivers
  3. Other drivers
  4. OLE DB CONNECTION

DTS sebagai Platform Pengembangan Aplikasi
DTS Designer menyediakan berbagai solusi untuk tugas-tugas data pergerakan. DTS memperluas jumlah solusi yang tersedia dengan memberikan akses program ke model objek DTS. Menggunakan Microsoft Visual Basic, Microsoft Visual C ++, atau sistem pengembangan aplikasi lain yang mendukung COM, Anda dapat mengembangkan solusi DTS kustom untuk lingkungan Anda menggunakan fungsi yang tidak didukung dalam perangkat grafis.
DTS menawarkan dukungan untuk pengembang dalam beberapa cara yang berbeda:
paket bangunan
Anda dapat mengembangkan paket yang sangat kompleks dan mengakses berbagai macam fungsi dalam model objek, tanpa menggunakan Designer DTS atau DTS Import / Export Wizard.
memperluas paket
Anda dapat menambahkan fungsionalitas baru melalui pembangunan tugas adat dan transformasi, disesuaikan untuk bisnis Anda dan dapat digunakan kembali dalam DTS.
Pelaksana paket
Pelaksanaan paket DTS tidak harus dari salah satu alat yang disediakan, adalah mungkin untuk menjalankan paket DTS pemrograman dan menampilkan kemajuan melalui acara COM, yang memungkinkan pembangunan tertanam atau kustom DTS lingkungan eksekusi.


REFERENSI :
  1. http://technet.microsoft.com/en-us/library/cc917688.aspx
  2. http://technet.microsoft.com/en-us/library/ms143755(v=sql.105).aspx
  3. http://support2.microsoft.com/kb/285829
  4. http://www.globalkomputer.com/Bahasan/Database/Topik/DTS.html
  5. Slide Presentasi Kelompok 9
  6. http://msdn.microsoft.com/en-us/library/cc707786(v=sql.105).aspx

Resume Data Warehouse pertemuan 10

Menentukan ketepatan data yang diperlukan dalam ETL

  1. Data Quality
    1. Apa itu Data Quality?
      1. Menurut Mark Mosley (2008), dalam bukunya “Dictionary of Data Management”, pengertian kualitas data adalah level data yang menyatakan data tersebut akurat (accurate), lengkap (complete), timely (update), konsisten (consistent) sesuai dengan semua kebutuhan peraturan bisnis dan relevan.
    2. Karakteristik dari Data Quality?
      1. Accuraccy 
        Akurasi data adalah sejauh mana data dengan benar mencerminkan objek dunia nyata atau acara yang dijelaskan.
      2. Accessibility 
        adalah data dapat dengan mudah diakses, dan dimengerti, serta dapat digunakan sesuai dengan keperluan yang dibutuhkan.
      3. Completeness 
        Kelengkapan data adalah sejauh mana atribut diharapkan data yang disediakan.
      4. Consistency 
        Konsistensi data berarti bahwa data di seluruh perusahaan harus sinkron dengan satu sama lain.
      5. Integrity 
        Integrity data berarti bahwa setiap data harus berhubungan atau dapat dihubungkan dengan data - data yang lain sehingga setiap data bisa saling terkait.
      6. Timeliness 
        merepresentasikan waktu dari data yang dimasukkan (jika data digunakan perhari maka data pada warehaouse harus juga dibuat per hari)
      7. Validity 
        Validity data adalah sejauh mana data tersebut dapat di jelaskan dengan benar dan sah sesuai dengan fakta - fakta yang ada sebenarnya.
  2. Data Quality Critical  
    Data yang berkualitas dapat : 
      • Meningkatkan kepercayaan diri dalam melakukan analisis 
      • Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi layanan 
      • Kebenaran yang sifatnya mutlak 
      • Meningkatkan produktivitas 
      • Meningkatkan kepuasan pelanggan

      3.  Data Quality Challenges
    Ada beberapa hal yang merupakan tantangan  untuk membangun kualitas data :
  1. Sumber Data
  • Penuaan data
  • Kesalahan input
  • Penipuan
  • Sistem Konversi

  1. Validasi Data 
    • Duplikasi data 
    • Beberapa atribut yang tercampur dalam satu field  
    • Ejaan yang berbeda untuk nama yang sama
    • Tidak adanya atribut kunci
  1. Biaya besar untuk menjaga kualitas data
  • Mengatur data agar selalu berkualitas membutuhkan biaya yang tidak sedikit
  • Membutuhkan orang – orang yang berkompeten untuk me-manage data
  1. Data Quality Tools
    1. Data Auditing
      1.  Data Auditing meningkatkan akurasi dan kebenaran data pada sumbernya. Tools ini pada umumnya membandingkan data di database sumber dengan aturan bisnis yang ada.
    2. Data Cleansing
      1.  Data Cleansing digunakan dalam staging area. Data Cleansing berguna untuk melakukan standarisasi, dan verifikasi data terhadap data yang tidak dikenali.
    3. Data Migration 
      1. Data Migration digunakan untuk mengekstrak data dari sumber untuk dikirim ke staging area dan dari staging area ke data warehouse.
    5. Data Quality Initiative
         
    Untuk bisa sukses, Data Quality program harus bisa dimulai oleh CEO, didukung oleh jajaran direksi, dan dijalankan oleh manajer yang khusus bertugas mengatur kualitas data.
   

Resume Data Warehouse pertemuan 7

ETL → Extraction, Transformation, Loading


Ekstrasi Data:
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :
  1. Ekstraksi data secara otomatis dari aplikasi sumber.
  2. Penyaringan atau seleksi data hasil ekstraksi.
  3. Pengiriman data dari berbagai platform aplikasi ke sumber data.
  4. Perubahan format layout data dari format aslinya.
  5. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.

Resume Data Warehouse Pertemuan 5

  • STAR SCHEMA
Disebut star schema karena entity-relationship diagram atau ERD-nya yang menyerupai konstelasi bintang, beberapa bintang  besar (fact table) dikelilingi bintang-bintang yang lebih kecil (dimension tables). (Wikimedia Foundation, Inc., 2011) .
  1. Fact table menampung nilai-nilai metric yang direkam untuk suatu kejadian yang spesifik. Sehubungan dengan tujuan untuk menampul data atomik, biasanya terdapat sejumlah besar record (jutaan). Pengelolaan khusus dilakukan untuk meminimalisasi jumlah dan ukuran atribut dengan tujuan membatasi ukuran tabel keseluruhan dan mengatur performa. Fact tables biasanya berupa transaksi (fakta-fakta mengenai kejadian tertentu, misalnya penjualan), snapshot (fakta-fakta yang direkam pada suatu waktu tertentu, misalnya rincian Account pada awal bulan), dan tabel-tabel snapshot akumulasi (misalnya, penjualan month-to-date untuk suatu produk). 
  2. Dimension tables biasanya memiliki record yang lebih sedikit dibandingkan fact tables, tetapi bisa memiliki jumlah atribut yang besar untuk mendeskripsikan data fakta.

Pembuatan Skema Data Warehouse (Resume)

Skema Data Warehouse
  • Skema Bintang (Star Schema) 
      Skema bintang ( Poe, 1996, p33) merupakan suatu jenis khusus dari perancangan database yang digunakan untuk mendukung proses analytical. Skema ini terdiri dari sekumpulan tabel yang dinormalisasi. Skema bintang terdiri dari dua jenis tabel, yaitu :
  • Tabel fakta (fact tabel) 
Tabel fakta atau disebut juga tabel utama (major table) terdiri dari data fakta atau kuantitatif tentang informasi bisnis yang akan di–query. Informasi ini biasanya berupa ukuran numerik dan dapat terdiri dari banyak kolom dan jutaan baris. 

Arsitektur dan Infrastruktur Data Warehouse (Resume)

RANCANG BANGUN DATA WAREHOUSE UNTUK ANALISIS KINERJA PENJUALAN PADA INDUSTRI DENGAN MODEL SPA-DW (SALES PERFORMANCE ANALYSIS – DATA WAREHOUSE)



Artikel bisa di download di SINI..
  • Infrastruktur      :
o   Infrastruktur Fisik
§  Operation System           : Windows XP
§  DBMS                           : Microsoft SQL Server 2008 R2
§  Hardware                       : Komputer PC Desktop
o   Infrastruktur Operasional
§  Pengguna                        : Manajer, analis, dan eksekutif.