Permasalahan dengan Data tidak normal: Penyebab dan strategi permasalahan

Data terdistribusi secara normal adalah konsep umum yang sering salah paham oleh beberapa orang. Beberapa orang percaya bahwa semua data yang dikumpulkan dan digunakan untuk analisis harus didistribusikan secara normal. Tapi distribusi normal tidak terjadi sesering orang pikirkan , dan itu bukan tujuan utama . Distribusi normal adalah sarana untuk mencapai tujuan , bukan tujuan itu sendiri .

Data terdistribusi secara normal diperlukan untuk menggunakan sejumlah alat statistik , seperti analisis regresi, analisis Cp / Cpk , uji-t, analisis varians ( ANOVA ) dan masih banyak lagi. Jika seorang praktisi tidak menggunakan alat khusus seperti itu, bagaimanapun , tidak penting apakah data terdistribusi secara normal . Distribusi menjadi masalah hanya ketika praktisi mencapai suatu titik dalam sebuah proyek di mana mereka ingin menggunakan alat statistik yang memerlukan data terdistribusi normal dan mereka tidak memilikinya .

Probabilitas plot pada Gambar di atas adalah contoh dari uji normalitas. Dalam hal ini , asumsi normalitas jelas tidak dapat terpenuhi, nilai p kurang dari 0,05 dan lebih dari 5 persen dari titik data berada di luar interval kepercayaan 95 persen .

Apa yang bisa dilakukan? Pada dasarnya, ada dua pilihan :

1. Mengidentifikasi dan, jika mungkin, menentukan alasan data tidak normal dan mengatasinya atau
2. Gunakan alat yang tidak memerlukan asumsi normalitas

Mengidentifikasi alasan data tidak normal

Ketika data tidak terdistribusi normal , penyebab non - normalitas harus ditentukan dan tindakan perbaikan yang tepat harus diambil . Ada enam alasan yang sering dialami untuk data tidak normal .

Alasan 1 : Data Ekstrim

Terlalu banyak nilai-nilai ekstrim dalam satu set data yang akan menghasilkan distribusi skewness(miring). Normalitas data dapat dicapai dengan menghilangkan data tersebut. Hal ini kemungkinan terjadi karena kesalahan menentukan pengukuran, kesalahan data-entry dan outlier dan untuk mengatasinya dengan menghapus data tersebut dari data yang digunakan untuk alasan yang masuk akal.

sangatlah penting bahwa outlier diidentifikasi sebagai penyebab yang benar-benar membuat data tidak normal sebelum mereka dieliminasi . Jangan lupa : Sifat data terdistribusi normal adalah bahwa kecil persentase dari nilai-nilai ekstrim yang diharapkan, tidak setiap outlier disebabkan oleh alasan khusus.

Alasan 2 : Tumpang tindih dari Dua atau Lebih Proses

Data tidak dapat terdistribusi secara normal karena sebenarnya berasal dari lebih dari satu proses , penjumlahan atau pergeseran, atau dari sebuah proses yang sering bergeser . Jika dua atau lebih set data yang terdistribusi secara normal yang tumpang tindih, data mungkin terlihat bimodal atau multimodal - itu akan memiliki dua atau lebih nilai yang paling sering terjadi.

Tindakan perbaikan untuk situasi ini adalah untuk menentukan X penyebab bimodal atau distribusi multimodal dan kemudian stratifikasi data . Data harus diperiksa lagi untuk normalitas dan setelah proses stratified dapat bekerja secara terpisah .

Gambar berikut menunjukkan data waktu akses website yang memiliki  data tidak normal pada sebuah website.

Setelah stratifikasi waktu akses website antara akhir pekan dibandingkan Data hari kerja, menunjukkan kedua kelompok berdistribusi normal. sehingga bisa dijadikan perimbangan dalam analisis data yang akan.

Alasan 3 : Kurangnya data Diskriminasi

Round- off error atau perangkat pengukuran dengan resolusi rendah dapat membuat benar-benar data continues dan data terdistribusi normal terlihat diskrit dan tidak normal . Kurangnya data diskriminasi dan karena terbatasnya jumlah nilai yang berbeda - dapat diatasi dengan menggunakan sistem pengukuran yang lebih akurat atau dengan mengumpulkan lebih banyak data.

Alasan 4 : Data yang diurutkan

Data yang dikumpulkan tidak mungkin terdistribusi normal jika itu merupakan hanya bagian dari seluruh data dalam suatu proses. Hal ini dapat terjadi jika data dikumpulkan dan dianalisis setelah penyortiran. Data pada Gambar dibawah diperoleh dari proses produksi botol di mana target adalah untuk menghasilkan botol dengan volume 100 ml . Spesifikasi minimal dan maksimal yang dapat diterima adalah 97,5 ml dan 102,5 ml dan di luar spesifikasi tersebut dihapus dari proses analisis. Sehingga terlihat pada gambar dibawah ini. Dari data tersebut tentunya data tidak terdistribusi normal karena hanya sebagian yang dimasukkan yaitu yang masuk dalam spesifikasi.

Alasan 5 : Nilai Mendekati Nol

Jika proses memiliki banyak nilai mendekati nol, distribusi data akan miring (skewness) ke kanan atau kiri. Dalam hal ini, transformasi seperti tenaga transformasi Box - Cox, dapat membantu membuat data normal. Dalam metode ini , semua data dinaikkan , atau diubah , dengan eksponen tertentu , ditunjukkan dengan nilai Lambda . Ketika melakukan transformasi, semua data harus dilakukan perlakuan (diubah) yang sama.

Gambar di bawah ini menggambarkan contoh dari konsep ini. Gambar menunjukkan satu set data siklus - waktu;

menunjukkan data yang sama diubah setelah dilakukan transformasi dengan logaritma natural.

Untuk bahasan transformasi box cox silahkan ke link "transormasi box cox"

Perhatikan : Metode transformasi tidak memberikan jaminan distribusi normal . Selalu periksa dengan uji normalitas untuk menentukan apakah distribusi normal dapat diterpenuhi setelah transformasi .

Alasan 6 Data Mengikuti Distribusi Berbeda

Ada banyak tipe data yang mengikuti distribusi non-normal. Contoh berikut:

• Distribusi Weibull , ditemukan dengan data survival seperti waktu kelangsungan hidup suatu produk
• Distribusi log - normal, ditemukan dengan panjang data seperti ketinggian
• Distribusi Largest-extreme-value, ditemukan dengan data seperti waktu terpanjang down setiap hari
• Distribusi eksponensial, ditemukan dengan data pertumbuhan seperti pertumbuhan bakteri
• Distribusi Poisson, ditemukan dengan peristiwa langka seperti jumlah kecelakaan
• Distribusi binomial, ditemukan dengan " proporsi " data seperti persen barang cacat

Jika data berikut salah satu distribusi yang berbeda , harus ditangani dengan menggunakan alat dengan menggunakan disribusi yang sama.

Alat analisis yang tidak mensyaratkan data normal

Beberapa alat statistik tidak memerlukan data terdistribusi normal . Untuk membantu para praktisi memahami kapan dan bagaimana alat ini dapat digunakan , tabel di bawah ini menunjukkan perbandingan alat yang tidak memerlukan distribusi normal dengan setara - distribusi normal.

Perbandingan alat analisis untuk data berdistribusi normal dan tidak normal
Alat analisis yang menggunakan data normal	Alat analisis untuk data tidak normal	Distribusi yang diperlukan
T-test	Mann-Whitney test; Mood’s median test; Kruskal-Wallis test	Any
ANOVA	Mood’s median test; Kruskal-Wallis test	Any
uji t berpasangan	One-sample sign test	Any
F-test; Bartlett’s test	Levene’s test	Any
Analisis regresi	analisis regresi non parametrik	Any
Cp/Cpk analysis	Cp/Cpk analysis	Weibull; log-normal; largest extreme value; Poisson; exponential; binomial

Sumber : Dealing with Non-normal Data: Strategies and Tools

[Tutorial Minitab] Cara Mengatasi/Membuat Asumsi Data Normal dengan Box Cox Power Transformation

Sebelum ini sudah dibahas materi mengenai box cox transformation. penjelasan lengkap mengenai box cox transformation bisa ke link berikut Materi Box Cox Transformation. Kali ini akan dibahas mengenai tutorial box cox transformation diharapkan dapat mengubah data tidak normal menjadi normal. Software yang digunakan kali ini adalah minitab 16. Data yang digunakan berasal dari jurnal. data ini awalnya tidak normal dan diharapkan data menjadi normal setelah dilakukan box cox transformation. bagi yang pengen coba datanya berikut linknya Data Tidak Normal.

Langkah-langkah dalam Box Cox Transformation

Buka Aplikasi Minitab dan masukkan data sebagai berikut kedalam lembar kerja/Worksheet. berikut tampilannya.

Proses Cek Data Normal

1. Sebelum memulai langkah pertama kita cek dulu kenormalan data sehingga bisa dibuktikan apakah ampuh atau tidak box cox ini. caranya Klik Stat >> Basic Statistics >> Normality Test. Seperti pada gambar dibawah ini.
   
2. Maka akan tampil kotak dialog “Normality Test”. Masukkan nama kolom dari data hasil transformasi pada teks box “Variable”. dan pastikan bahwa “Percentile Lines” adalah “None”. Pada “Test for Normality” ada tiga jenis uji normalitas yaitu Anderson darling, Ryan-joiner (mirip shapiro Wilk) dan Kolmogorov Smirnov. Pilih yang Shapiro Wilk. Klik “OK”.
   
   
   
3. Pehatikan gambar di atas. Nilai P-Value adalah 0,018 dimana <0,050 sehingga dapat ditarik kesimpulan bahwa data hasil tranformasi tidak terdistribusi secara normal. Selain itu dilihat dari plot yang tidak berada disekitar garis lurus menunjukkan data tidak normal. Nah, untuk itu diperlukan transformasi agar datanya normal.

Proses Transformasi Box Cox

1. Mulai melakukan Transformasi Box-Cox dengan cara, Klik Stat >> Control Charts >> Box-Cox Transformation. Lihat gambar dibawah ini.
   
2. Maka akan tampil kotak dialog “Box-Cox Transformation” seperti pada gambar dibawah ini: Pada Combo Box pilih “All observation for a chart are in one column”. dan pada teks area masukkan nama kolom dari urutan data yang tidak normal “C1 (tidak normal)”. Pada bagian “Subgroup Sizes” isikan dengan angka 25 (Banyaknya jumlah data).
3. Klik “Options” maka akan tampil kotak “Box-Cox Transformation Options” dialog seperti dibawah ini: Pada pilihan “Store transformation data in”, masukkan nama kolom tempat hasil transformasi data. Pada contoh diatas yaitu pada kolom “hasil”. Lalu Klik “OK”.
   
4. Setelah anda mengklik “OK” maka akan tampil data hasil transformasi pada kolom “hasil” dan tampil output hasil transformasi seperti dibawah ini.
   

Intrepretasi Hasil transformasi

1. Pada tampilan chart sebelah kiri menunjukkan hubungan antara lambda dan standar deviasi. lambda yang dcoba dari 5 sampai -5. Terlihat pada gambar nilai standar deviasi semakin kecil berada pada Lower CL dan Upper CL yang berupa garis vertikal. batas itulah yang menunjukkan bahwa lambda yang terbaik berada pada garis tersebut karena nilai standar deviasi yang kecil.
2. Nilai lambda yang baik Lower CL dan Upper CL -1,43 sampai 0,47 dimana nilai lambda yang terbaik yaitu -0,46. Namun nilai lambda yang sebaiknya diambil yaitu lambda yang memiliki makna atau mudah dimengerti. Sehingga minitab menyarankan nilai lambda yang diambil pada bagian "Rounded Value" yaitu -0,5. Pada gambar diatas juga terlihat hasil transformasi pada "C2 hasil". hasil transformasi tersebut dengan lambda -0,5.
3. Untuk melihat apakah data sudah berubah menjadi data yang terdistribusi secara normal. Lakukan uji normalitas seperti cara di atas tapi dengan data hasil transformasi. berikut hasil output uji normalitas.
   
4. Pada hasil di atas terlihat titik data sudah berada di sekitar garis lurus. Selain itu, nilai P Value >0,100 sehingga bisa dikatakan hasil transformasi tersebut menjadi normal.

Proses Lanjutan

Kemudian muncul pertanyaan. Bagaimana dengan interpretasi hasil transformasi data tersebut. dengan lambda -0,5 agak susah karena variabelnya dari Y menjadi 1/. sehingga agak susah kali yaa. Saya sedikit memberikan masukkan. nilai lambda tersebut masih bisa diganti dengan nilai lainnya yang mungkin bisa punya makna misalnya jika nilai 0 maka variabel Y menjadi ln Y. ada beberapa yang mengatakan bahwa interpretasi dari ln adalah pertumbuhan dari data tersebut.

Dari hasil diatas terlihat bahwa lambda berada antara nilai -1,43 sampai 0,47. sehingga lambda yang mungkin adalah -1, -0,5 atau 0. Silahkan pilih yang mana yang kira-kira punya makna. kalau saya coba pakai lambda 0.

Caranya agar bisa transformasi pake lambda 0.Stat > Control Charts > Box-Cox Transformation. Kemudian setelah melakukan seperti cara di atas pilih option maka akan muncul tampilan berikut.

Pada gambar tersebut terdapat Optimal or rounded lambda yang merupakan perintah untuk minitab transformasi dengan nilai rounded lambda. Nah, jika mau menentukan sendiri pilih Others dan masukkan nilai lambda antara 5 sampai -5. disini saya menggunakan lambda = 0. Setelah dilakukan transformasi dan di uji normalitas ternyata datanya juga normal. Kalau mau buktikan silahkan coba sendiri. yaaaaa.

Sumber: -www.slideshare.net/miradzji/transformasi-boxcox -www.scribd.com/doc/84753288/2-Box-Cox-Dwi-Isprianti(Jurnal) -Transformasi Box-Cox pada Analisis Regresi Linier Sederhana(Jurnal)

Cara Mengatasi/Membuat Asumsi Data Normal dengan Box Cox Power Transformation

Analisis statistik sangatlah penting bagi ilmuwan, khususnya para peneliti, baik ilmuwan bidang sosial maupun eksakta. analisis statistik bisa digunakan untuk mengetahui keadaaan masa lalu, masa sekarang dan bahkan meramalkan keadaan masa depan yang tentunya bisa dijadikan bahan buat kebijakan yang akan diambil. Dalam melakukan analisis tentunya tidak semudah itu karena harus mengikuti rambu-rambu ilmiah yang biasa disebut asumsi. Asumsi yang biasa terkenal di bidang statistik yaitu kenormalan data , kehomogenan ragam dan linieritas tak dipenuhi dan sebagainya. Untuk mengatasi hal tersebut salah satu cara yang dapat dilakukan yaitu transformasi terhadap variabel respon.

Apa itu Transformasi?

Transformasi berarti bahwa setiap data dilakukan operasi matematika yang sama pada data aslinya. contoh transformsi pada kehidupan sehari-hari pertukaran nilai tukar. misalnya Dollar menjadi Rupiah, biasanya dikalikan dengan angka tertentu biasanya 10.000. dikalikan 10.000 ini yang dimaksud pada operasi matematika.contoh lain yaitu mengubah suhu derajat celsius menjadi fahrenheit. Pada kedua contoh diatas merupakan transformasi linear karena hanya mengali atau membagi data asli. Sehingga hanya mengubah ukuran tapi tidak mengubah bentuk yang tentu saja tidak akan membuat data jadi normal. Berikut contoh gambaran agar mempermudah pemahaman.

Box Cox power transformation

Berbeda dengan transformasi diatas, statistician George Box dan David Cox mencoba membuat transformasi data sehingga bisa mengatasi data normal. Transformasi ini dikenal dengan box cox yang berasal dari nama mereka berdua. Transformasi Box Cox yaitu transformasi pangkat berparameter tunggal λ(lambda), katakanlah terhadap Variabel Y, maka dapat dilakukan transfomasi terhadap Y yang dipangkatkan dengan parameter λ ,sehingga menjadi Y^λ . nilai λ biasanya antara -5 sampe 5. Pendugaan parameter dapat dicari dengan menggunakan Metode Kemungkinan Maksimum ( Maximum Likehood Method). dari banyak nilai λ dipilih sedemikian sehingga didapat jumlah kuadrat sisaan paling minimum yang diharapkan memperoleh transformasi terbaik.

Nilai λ menetukan kekuatan relative dari sebuah transformasi. Tabel dibawah menunjukkan pengaruh nilai λ terhadap Y setelah dilakukan transformasi. untuk lebih jelasnya dapat dilihat pada tabel dibawah ini.

λ(lambda)	Transformasi
2	Y2
0,5
0	log Y/ln Y
-0.5	1/
-1	1/Y

Contoh gambaran box cox transformation dalam mengubah data tidak normal menjadi data normal

Contoh berikut menggunakan data yang tidak normal. berikut plot dari data tidak normal sehingga bisa dibandingkan dengan hasillnya nanti.

Setelah itu dilakukan transformasi box cox menggunakan software statistik. pada contoh dibawah ini menggunakan output dari minitab. sehingga diperoleh salah satu output seperti berikut.

Nilai lower and upper confidence levels (CLs) pada gambar yang berupa garis vertikal menunjukkan nilai lambda yang terbaik untuk data normal yaitu -2,48003 dan -0,69483 dengan nilai lambda yang terbaik yaitu -1,53932. Tapi nilai lambda yang terbaik diambil yaitu berupa bilangan yang bisa dipahami transformasinya seperti pada tabel di atas. pada bagian bawah tersebut terdapat nilai best value -2 yang menunjukkan nilai lambda terbaik sebaiknya diambil. tapi untuk nilai -1 juga bisa karena berada pada batas tadi. silahkan putuskan dengan bijak karena datanya sudah normal untuk keduanya. berikut hasil data setelah ditransformasi dengan lambda = -1.

Apakah Box cox power transformation bekerja 100% untuk data normal?

Box-Cox power transformation bukanlah jaminan normalitas. Hal ini karena sebenarnya box cox tidak benar-benar memeriksa normalitas, box cox hanya mengecek metode berdasarkan standar deviasi terkecil. Asumsinya adalah bahwa di antara semua transformasi dengan nilai Lambda antara -5 dan +5, data yang ditransformasikan memiliki kemungkinan tertinggi - tapi bukan jaminan- terdistribusi secara normal ketika deviasi standar adalah yang terkecil. Oleh karena itu, sangatlah penting untuk selalu memeriksa data ditransformasikan normalitas menggunakan plot probabilitas.

Selain itu, Power transformasi Box-Cox hanya bekerja jika semua data positif dan lebih besar dari 0. Ini, bagaimanapun, biasanya dapat dicapai dengan mudah dengan menambahkan konstan (c) untuk semua data sedemikian rupa sehingga semua menjadi positif sebelum berubah.

Untuk Tutorial Box Cox Transformation Silahkan Klik Tutorial Minitab Box Cox Transformation

Resources: -www.isixsigma.com/tools-templates/normality/making-data-normal-using-box-cox-power-transformation -www.scribd.com/doc/84753288/2-Box-Cox-Dwi-Isprianti