Resume Data Warehouse pertemuan 12


Unknown
Data Transformation Services adalah salah satu modul pada SQL Server yang bisa mengkonversi data dari SQL Server ke format data yang lain yang kompatibel dengan OLE DB, ODBC, dan file teks. Sebuah paket DTS pada dasarnya adalah keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data.

DTS ini ada pada SQL Server namun semenjak Microsoft SQL Server 2005 DTS digantikan oleh SQL Server Integration Services (SSIS). SSIS adalah Platform untuk membangun kinerja tinggi solusi integrasi data, termasuk ekstraksi, transformasi, dan load (ETL) paket untuk data warehousing. Walaupun demikian, DY|TS masih bisa diinstall sebagai tambahan packages dan dijalankan pada Microsoft SQL Server 2005 dan yang lebih baru.

Referensi :
  1. Slide Presentasi kelompok 10
  2. http://dundungismyblog.blogspot.com/
  3. Slide presentasi kelompok 8
0 komentar

Resume Data Warehouse Pertemuan 11


Unknown
DTS (DATA TRANSFORMATION SERVICES)

Data Transformation Services adalah salah satu modul pada SQL Server yang bisa mengkonversi data dari SQL Server ke format data yang lain yang kompatibel dengan OLE DB, ODBC, dan file teks.
Sebuah paket DTS pada dasarnya adalah keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data. 

DTS menyediakan fungsionalitas untuk mengimpor dan mengekspor data antara SQL Server dan OLE DB atau ODBC data sumber, termasuk Microsoft Access. SQL Server termasuk DTS dan DTS Wizard Impor dan ekspor yang memungkinkan Anda untuk membuat dan menjalankan paket DTS secara interaktif.

Tools DTS
Tool-tool yang tersedia untuk menciptakan dan mengeksekusi DTS packages
  1. Import Export Wizzard (Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.Import Export Wizzard)
  1. DTS Designer (DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.)
  1. DTS Run (DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.)
  1. DTSRunUI (DTSRunUI merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.)
Connection untuk mengakses & memindahkan data
Agar eksekusi DTS tasks dalam menyalin dan memindahkan data berjalan sukses, sebuah DTS package harus mempunyai hubungan yang valid antara sumber data asal dengan sumber data tujua. Ketika menciptakan sebuah package, user dapat mengkonfigurasikan hubungan dengan memilih jenis hubungan dari daftar yang tersedia pada OLE DB providers dan ODBC drivers. Jenis hubungan yang tersedia antara lain:
  1. Microsoft Data Acces Component (MDAC) drivers
  2. Microsoft Jet drivers
  3. Other drivers
  4. OLE DB CONNECTION

DTS sebagai Platform Pengembangan Aplikasi
DTS Designer menyediakan berbagai solusi untuk tugas-tugas data pergerakan. DTS memperluas jumlah solusi yang tersedia dengan memberikan akses program ke model objek DTS. Menggunakan Microsoft Visual Basic, Microsoft Visual C ++, atau sistem pengembangan aplikasi lain yang mendukung COM, Anda dapat mengembangkan solusi DTS kustom untuk lingkungan Anda menggunakan fungsi yang tidak didukung dalam perangkat grafis.
DTS menawarkan dukungan untuk pengembang dalam beberapa cara yang berbeda:
paket bangunan
Anda dapat mengembangkan paket yang sangat kompleks dan mengakses berbagai macam fungsi dalam model objek, tanpa menggunakan Designer DTS atau DTS Import / Export Wizard.
memperluas paket
Anda dapat menambahkan fungsionalitas baru melalui pembangunan tugas adat dan transformasi, disesuaikan untuk bisnis Anda dan dapat digunakan kembali dalam DTS.
Pelaksana paket
Pelaksanaan paket DTS tidak harus dari salah satu alat yang disediakan, adalah mungkin untuk menjalankan paket DTS pemrograman dan menampilkan kemajuan melalui acara COM, yang memungkinkan pembangunan tertanam atau kustom DTS lingkungan eksekusi.


REFERENSI :
  1. http://technet.microsoft.com/en-us/library/cc917688.aspx
  2. http://technet.microsoft.com/en-us/library/ms143755(v=sql.105).aspx
  3. http://support2.microsoft.com/kb/285829
  4. http://www.globalkomputer.com/Bahasan/Database/Topik/DTS.html
  5. Slide Presentasi Kelompok 9
  6. http://msdn.microsoft.com/en-us/library/cc707786(v=sql.105).aspx
0 komentar

Resume Data Warehouse pertemuan 10


Unknown
Menentukan ketepatan data yang diperlukan dalam ETL

  1. Data Quality
    1. Apa itu Data Quality?
      1. Menurut Mark Mosley (2008), dalam bukunya “Dictionary of Data Management”, pengertian kualitas data adalah level data yang menyatakan data tersebut akurat (accurate), lengkap (complete), timely (update), konsisten (consistent) sesuai dengan semua kebutuhan peraturan bisnis dan relevan.
    2. Karakteristik dari Data Quality?
      1. Accuraccy 
        Akurasi data adalah sejauh mana data dengan benar mencerminkan objek dunia nyata atau acara yang dijelaskan.
      2. Accessibility 
        adalah data dapat dengan mudah diakses, dan dimengerti, serta dapat digunakan sesuai dengan keperluan yang dibutuhkan.
      3. Completeness 
        Kelengkapan data adalah sejauh mana atribut diharapkan data yang disediakan.
      4. Consistency 
        Konsistensi data berarti bahwa data di seluruh perusahaan harus sinkron dengan satu sama lain.
      5. Integrity 
        Integrity data berarti bahwa setiap data harus berhubungan atau dapat dihubungkan dengan data - data yang lain sehingga setiap data bisa saling terkait.
      6. Timeliness 
        merepresentasikan waktu dari data yang dimasukkan (jika data digunakan perhari maka data pada warehaouse harus juga dibuat per hari)
      7. Validity 
        Validity data adalah sejauh mana data tersebut dapat di jelaskan dengan benar dan sah sesuai dengan fakta - fakta yang ada sebenarnya.
  2. Data Quality Critical  
    Data yang berkualitas dapat : 
      • Meningkatkan kepercayaan diri dalam melakukan analisis 
      • Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi layanan 
      • Kebenaran yang sifatnya mutlak 
      • Meningkatkan produktivitas 
      • Meningkatkan kepuasan pelanggan

      3.  Data Quality Challenges
    Ada beberapa hal yang merupakan tantangan  untuk membangun kualitas data :
  1. Sumber Data
  • Penuaan data
  • Kesalahan input
  • Penipuan
  • Sistem Konversi

  1. Validasi Data 
    • Duplikasi data 
    • Beberapa atribut yang tercampur dalam satu field  
    • Ejaan yang berbeda untuk nama yang sama
    • Tidak adanya atribut kunci
  1. Biaya besar untuk menjaga kualitas data
  • Mengatur data agar selalu berkualitas membutuhkan biaya yang tidak sedikit
  • Membutuhkan orang – orang yang berkompeten untuk me-manage data
  1. Data Quality Tools
    1. Data Auditing
      1.  Data Auditing meningkatkan akurasi dan kebenaran data pada sumbernya. Tools ini pada umumnya membandingkan data di database sumber dengan aturan bisnis yang ada.
    2. Data Cleansing
      1.  Data Cleansing digunakan dalam staging area. Data Cleansing berguna untuk melakukan standarisasi, dan verifikasi data terhadap data yang tidak dikenali.
    3. Data Migration 
      1. Data Migration digunakan untuk mengekstrak data dari sumber untuk dikirim ke staging area dan dari staging area ke data warehouse.
    5. Data Quality Initiative
         
    Untuk bisa sukses, Data Quality program harus bisa dimulai oleh CEO, didukung oleh jajaran direksi, dan dijalankan oleh manajer yang khusus bertugas mengatur kualitas data.
   
0 komentar

Resume Data Warehouse pertemuan 7


Unknown
ETL → Extraction, Transformation, Loading
Ekstrasi Data:
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :
  1. Ekstraksi data secara otomatis dari aplikasi sumber.
  2. Penyaringan atau seleksi data hasil ekstraksi.
  3. Pengiriman data dari berbagai platform aplikasi ke sumber data.
  4. Perubahan format layout data dari format aslinya.
  5. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.
Baca selengkapnya »
0 komentar

Resume Data Warehouse Pertemuan 5


Unknown
  • STAR SCHEMA
Disebut star schema karena entity-relationship diagram atau ERD-nya yang menyerupai konstelasi bintang, beberapa bintang  besar (fact table) dikelilingi bintang-bintang yang lebih kecil (dimension tables). (Wikimedia Foundation, Inc., 2011) .
  1. Fact table menampung nilai-nilai metric yang direkam untuk suatu kejadian yang spesifik. Sehubungan dengan tujuan untuk menampul data atomik, biasanya terdapat sejumlah besar record (jutaan). Pengelolaan khusus dilakukan untuk meminimalisasi jumlah dan ukuran atribut dengan tujuan membatasi ukuran tabel keseluruhan dan mengatur performa. Fact tables biasanya berupa transaksi (fakta-fakta mengenai kejadian tertentu, misalnya penjualan), snapshot (fakta-fakta yang direkam pada suatu waktu tertentu, misalnya rincian Account pada awal bulan), dan tabel-tabel snapshot akumulasi (misalnya, penjualan month-to-date untuk suatu produk). 
  2. Dimension tables biasanya memiliki record yang lebih sedikit dibandingkan fact tables, tetapi bisa memiliki jumlah atribut yang besar untuk mendeskripsikan data fakta.
Baca selengkapnya »
0 komentar

Pembuatan Skema Data Warehouse (Resume)


Unknown
Skema Data Warehouse
  • Skema Bintang (Star Schema) 
      Skema bintang ( Poe, 1996, p33) merupakan suatu jenis khusus dari perancangan database yang digunakan untuk mendukung proses analytical. Skema ini terdiri dari sekumpulan tabel yang dinormalisasi. Skema bintang terdiri dari dua jenis tabel, yaitu :
  • Tabel fakta (fact tabel) 
Tabel fakta atau disebut juga tabel utama (major table) terdiri dari data fakta atau kuantitatif tentang informasi bisnis yang akan di–query. Informasi ini biasanya berupa ukuran numerik dan dapat terdiri dari banyak kolom dan jutaan baris. 
Baca selengkapnya »
0 komentar

Arsitektur dan Infrastruktur Data Warehouse (Resume)


Unknown
RANCANG BANGUN DATA WAREHOUSE UNTUK ANALISIS KINERJA PENJUALAN PADA INDUSTRI DENGAN MODEL SPA-DW (SALES PERFORMANCE ANALYSIS – DATA WAREHOUSE)



Artikel bisa di download di SINI..
  • Infrastruktur      :
o   Infrastruktur Fisik
§  Operation System           : Windows XP
§  DBMS                           : Microsoft SQL Server 2008 R2
§  Hardware                       : Komputer PC Desktop
o   Infrastruktur Operasional
§  Pengguna                        : Manajer, analis, dan eksekutif.
Baca selengkapnya »
1 komentar

Analisis Kebutuhan Data Warehouse (Resume)


Unknown
Nama Paper yang saya analisis :




RANCANG BANGUN DATA WAREHOUSE UNTUK ANALISIS KINERJA PENJUALAN PADA INDUSTRI DENGAN MODEL SPA-DW (SALES PERFORMANCE ANALYSIS – DATA WAREHOUSE)



Artikel bisa di download di SINI..


Hasil Analisis saya sebagai berikut :

   Analisi Kebutuhan Data Warehousenya adalah :
  • Perancangan Arsitektur
    Arsitektur Data Warehousenya dimulai dengan mengumpulkan data yang berkaitan dengan penjualan yang bersumber dari berbagai database seperti database penjualan, promosi, customer, dan produksi.
    Pada proses kedua data – data dari data source tersebut di gabung menjadi satu dan di Extraction dan hasil dari data itulah yang digunakan lalu data tersebut di simpan ke dalam format .xls (excelsheet).
Baca selengkapnya »
0 komentar

Karakteristik Data Warehouse (Resume)


Unknown

Karakteristik Datawarehouse :
Subject oriented, Integrated, Time variant, dan Non volatile

  1. Subject oriented.
Data Warehouse diorganisasikan pada subjek-subjek utama, seperti pelanggan, barang/ produk, dan penjualan. Berfokus pada model dan analisis pada data untuk membuat keputusan, jadi bukan pada setiap proses transaksi atau bukan pada OLTP. Menghindari data yang tidak berguna dalam mengambil suatu keputusan.

  1. Integrated.
Dibangun dengan menggabungkan/menyatukan data yang berbeda. relational databse, flat file, dan on-line transaction record. Menjamin konsistensi dalam penamaan, struktur pengkodean, dan struktur atribut diantara data satu sama lain.

  1. Time variant.
Data disimpan untuk menyediakan informasi dari perspektif historical, data yang tahun-tahun lalu/ 4-5 thn. Waktu adalah elemen kunci dari suatu datawarehouse/ pada saat pengcapture-an.

  1. Non Volatile.
Setiap kali proses perubahan, data akan di tampung dalam tiap-tiap waktu. Jadi tidak di perbaharui terus menerus. Datawarehouse tidak memerlukan pemrosesan transaksi dan recovery. Hanya ada dua operasi initial loading of data dan access of data.

Baca selengkapnya »
0 komentar

Data Warehouse ? OLTP dan OLAP ? (Resume)


Unknown


Konsep Data Warehouse

Serta Pengertian OLAP & OLTP

Berikut Beberapa pengertian dari beberapa ahli tentang definisi Data Warehouse:
  • Menurut W.H. Inmon dan Richard D.H., adalah Data warehousing adalah koleksi data yang mempunyai sifat berorientasi subjek,terintegrasi,time-variant, dan bersifat tetap dari koleksi data dalam mendukung proses pengambilan keputusan management.
  • Menurut Vidette Poe, adalah data warehousing merupakan basisdata yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan.
  • Menurut Paul Lane, adalah data warehousing merupakan basisdata relasional yang didesain lebih kepada query dan analisa dari pada proses transaksi, biasanya mengandung history data dari proses transaksi dan bisa juga data dari sumber lainnya. Data warehousing memisahkan beban kerja analisis dari beban kerja transaksi dan memungkinkan organisasi menggabung/konsolidasi data dari berbagai macam sumber.

Baca selengkapnya »
0 komentar
Langganan: Postingan (Atom)