Kadarsah

Meteorologi dan Sains Atmosfer

Uji Kehandalan Model Prediksi Dengan Menggunakan ROC(Relative Operating Characteristics )

Posted by kadarsah pada April 2, 2009

Uji kehandalan model prediksi dapat dilakukan dengan menggunakan metode Relative Operating Characteristics (ROC) yang disusun dengan memplotkan nilai False Alarm Rate dan Hit Rate.

Berikut merupakan beberapa istilah yang berkaitan dengan uji kehandalan model prediksi :

Skill :ketepatan relatif suatu model prediksi terhadap model prediksi standar/yang dijadikan refrensi.
Kehandalan atau reliability :tingkat kesesuaian/kemiripan rata-rata antara nilai-nilai hasil prediksi dengan nilai-nilai observasi.

Bias: Penyimpangan antara nilai rata-rata prediksi dengan nilai rata-rata observasi

Erros: penyimpangan antara data hasil prediksi dan data observasi (tidak dirata-ratakan).

Tahapan singkatnya seperti bagan berikut:

11

Tahapan pertama adalah menjalankan model prediksi yang akan kita uji kehandalannya, hasil prediksi terdiri dari beberapa model ( Ensemble model ). HAsilnya ditabelkan menjadi data observasi, prediksi dan peluang dengan sebelumnya menetapkan bahwa hasil yang diprediksi, observasi dibandingkan dengan standar normal ( misal 1971-2000) dan penentuan  kriteria bawah normal , atas normal dan normal ( misal BMKG menentukan normal 85-115 %,bawah normal: <85 %, sedangkan atas normal > 115 %). Hasilnya seperti tabel dibawah.

2

Keterangan B: Bawah normal, N: normal, A: atas normal

Selanjutnya adalah membuat tabel peluang kejadian prediksi yang tepat . Tabel ini disebut tabel kontigensi, seperti tabel dibawah yang menunjukkanberapa banyak prediksi atas normal yang tepat dari 100 % sampai 0 % (A) dan berapa banyak prediksi bawah normalnya (B).

3

Kemudian membuat nilai FAR dan HR. Nilai FAR merupakan diperoleh dari nilai TA/total sedangkan HR diperoleh dari nilai A/Totalnya.HAsilnya berupa tabel dibawah.


4

Kemudian Tabel FAR vs HR ini diplotkan menjadi Kurva ROC.

5

Kurva ROC

Kurva ROC  diatas bisa dianalisis sebagai berikut:

  • Garis berhimpit dengan garis non skill : tak ada skill
  • Garis diatas garis non skill: skill positif (handal)
  • Garis dibawah garis non skill: skill negatif (tidak handal)
  • Tingkat Kehandalan: skor skill merupakan luas areal di bawah garis kurva. Total kotak di bawah garis kurva sekitar 20 kotak maka  nilainya 20/25=0,.8.

Nilai inilah yang disebut skor skill.

13 Tanggapan to “Uji Kehandalan Model Prediksi Dengan Menggunakan ROC(Relative Operating Characteristics )”

  1. Rendra said

    Selama ini bagaimana proses verifikasi di Indonesia

  2. Yudha said

    Halo Pak Kadarsah,

    Mohon dibahas metode2 verifikasi model selain ROC score. Mengingat banyaknya rekan2 peneliti di Indonesia yg masih mengandalkan korelasi sederhana untuk melakukan verifikasi. Thx

    • kadarsah said

      Hallo Mas Yudha, bagaimana kabar Singapura?

      Ya memang selain selain ROC ada ROL dan metode lainnya yang lazim digunakan dalam ” Forecast Verification” dan bahasan yang mendalam dapat kita baca di buku Wilks, D.S., 2005: Statistical Methods in the Atmospheric Sciences. 2nd Edition. Elsevier, 627 pp.

      Tetapi ke depan saya akan bahas lagi lebih kauh tentang hal itu. Mohon bantuan, kritikan dan bahan lainnya.

      Terimakasih

  3. RobiMu said

    pak, ROC itu sebenarnya Receiver Operating Characteristic atau Relative Operating Characteristic??
    apakah sama atau beda?? mengingta model kurvanya sama.

    • kadarsah said

      Kalau di bidang Meteorologi/klimatologi umumnya di kenal Relative Operating Characteristic (ROC). Di bidang lain dengan ide yang sama sering menggunakan Receiver Operating Characteristic (ROC), misalnya di bidang kesehatan.

  4. Dewi said

    Pak bagaimana caranya menghitung tabel peluang kejadian prediksi yang tepat?? (mengklasifikasikannya menjadi peluang 100%-0%)

    • kadarsah said

      Tabel peluang prediksi dalam tulisan diatas dibuat berdasarkan bahwa model yang akan kita uji merupakan suatu EPS (Ensemble Prediction System). EPS ini terdiri dari beberapa member (beberapa variasi setting model,model lain, metode yang berbeda) yang di buat dalam satu sistem, model diatas dibuat 10 member.
      Untuk membuat tabel peluang,jalankan ke 10 member tersebut dan bandingkan masing-masing dengan observasi.

      Hasilnya akan didapat (misal) 3 model dibawah normal,5 model diatas normal,2 model normal sehingga bisa ditulis (masing-masing model dengan kategori[normal,bawah dan atas normal] dibagi seluruh jumlah member)

      3/10 X 100 %=30 % merupakan peluang kejadian prediksi untuk bawah normal.
      5/10 X 100 %=50 % merupakan peluang kejadian prediksi untuk atas normal.
      2/10 X 100 %=20 % merupakan peluang kejadian prediksi untuk normal.

      Jumlah member yang semakin banyak akan semakin baik saaat memplot kurva ROC.

      • Dewi said

        Dalam melakukan prediksi hujan bulanan saya menggunakan bantuan Climate Predictability Tool (CPT), dimana akan langsung di hasilkan peluang prediksi untuk 1 bulan, sebuah tabel kontingensi & tabel frekuensi (dengan 3 parameter : AN, BN & N), nilai FAR dan HR untuk batas bawah dan atas serta kurva ROC. Lalu bagaimana caranya y pak agar saya dapat memperoleh tabel kontingensi yang terdiri dari peluang 0%-100% (seperti tabel bapak diatas) dari hasil olahan CPT yang dihasilkan tadi??? terima kasih untuk bantuannya..

      • kadarsah said

        Tulisan diatas merupakan tahap detail dan manual untuk menghasilkan kurva ROC berdasarkan tabel kontigensi. ada beberapa cara parktis untuk membuat kurva ROC salah satunya menggunakan CPT (Ousmane Ndiaye and Simon J. Mason, cpt@iri.columbia.edu)

        Tabel kontingensi yang terdiri dari peluang 0%-100% didapat dari nilai ambang batas 0 -100 %.
        Contoh:
        -saat nilai 80 % ( untuk prediksi atas normal), nilai observasi yang tepat dengan prediksi dengan probabilitas lebih dari 80 % dihitung sedangkan yang bukan (B atau N) dihitung sebagai bukan atas normal.
        hasilnya adalah 2 observasi tepat 80 % dengan prediksi.

        Tahapan itu terus berlanjut dari 100 % s.d 0 % sehingga ditabel FAR dan HR. Dan selanjutnya bisa diplot kurva ROC.

  5. hariyono setyowidodo (ka PPNI Kab Ponorogo) said

    saya masih dalam tahap memahami kurva ROC, dan ternyata bukan main bingungnya. Baru mencari istilah tersebut karena tugas kuliah

  6. landong said

    Pak saya mau tanya. softwere apa saja yang dapat digunakan untuk melakukan verifikasi ROC? sekalian dengan langkah2nya ya pak. terim kasih

  7. landong said

    selain program R.. terima kasih..

  8. yudi said

    pak cara bacanya inrterprestasinya gimana…
    yang dimaksud PPV dan NPV apa ya

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

 
%d blogger menyukai ini: