Kadarsah

Meteorologi dan Sains Atmosfer

Archive for April, 2009

Uji Kehandalan Model Prediksi Dengan Menggunakan ROC(Relative Operating Characteristics )

Posted by kadarsah pada April 2, 2009

Uji kehandalan model prediksi dapat dilakukan dengan menggunakan metode Relative Operating Characteristics (ROC) yang disusun dengan memplotkan nilai False Alarm Rate dan Hit Rate.

Berikut merupakan beberapa istilah yang berkaitan dengan uji kehandalan model prediksi :

Skill :ketepatan relatif suatu model prediksi terhadap model prediksi standar/yang dijadikan refrensi.
Kehandalan atau reliability :tingkat kesesuaian/kemiripan rata-rata antara nilai-nilai hasil prediksi dengan nilai-nilai observasi.

Bias: Penyimpangan antara nilai rata-rata prediksi dengan nilai rata-rata observasi

Erros: penyimpangan antara data hasil prediksi dan data observasi (tidak dirata-ratakan).

Tahapan singkatnya seperti bagan berikut:

11

Tahapan pertama adalah menjalankan model prediksi yang akan kita uji kehandalannya, hasil prediksi terdiri dari beberapa model ( Ensemble model ). HAsilnya ditabelkan menjadi data observasi, prediksi dan peluang dengan sebelumnya menetapkan bahwa hasil yang diprediksi, observasi dibandingkan dengan standar normal ( misal 1971-2000) dan penentuan  kriteria bawah normal , atas normal dan normal ( misal BMKG menentukan normal 85-115 %,bawah normal: <85 %, sedangkan atas normal > 115 %). Hasilnya seperti tabel dibawah.

2

Keterangan B: Bawah normal, N: normal, A: atas normal

Selanjutnya adalah membuat tabel peluang kejadian prediksi yang tepat . Tabel ini disebut tabel kontigensi, seperti tabel dibawah yang menunjukkanberapa banyak prediksi atas normal yang tepat dari 100 % sampai 0 % (A) dan berapa banyak prediksi bawah normalnya (B).

3

Kemudian membuat nilai FAR dan HR. Nilai FAR merupakan diperoleh dari nilai TA/total sedangkan HR diperoleh dari nilai A/Totalnya.HAsilnya berupa tabel dibawah.


4

Kemudian Tabel FAR vs HR ini diplotkan menjadi Kurva ROC.

5

Kurva ROC

Kurva ROC  diatas bisa dianalisis sebagai berikut:

  • Garis berhimpit dengan garis non skill : tak ada skill
  • Garis diatas garis non skill: skill positif (handal)
  • Garis dibawah garis non skill: skill negatif (tidak handal)
  • Tingkat Kehandalan: skor skill merupakan luas areal di bawah garis kurva. Total kotak di bawah garis kurva sekitar 20 kotak maka  nilainya 20/25=0,.8.

Nilai inilah yang disebut skor skill.

Iklan

Posted in Meteorologi, NWP | 13 Comments »