Kadarsah

Meteorologi dan Sains Atmosfer

Metode Verifikasi Prediksi

Posted by kadarsah pada Agustus 31, 2009

Metode verifikasi standar:

  • Verifikasi “eyeball” : Verifikasi “eyeball” merupakan verifikasi yang membandingkan hasil prediksi dengan observasi menggunakan mata.Yang di amati bisa berupa time series atau gambar.
  • Prediksi dikotomi ( ya/tidak):Prediksi dikotomi ( ya/tidak) merupakan prediksi yang membagi prediksi dua kemungkinan ya atau tidak, hujan-tidak hujan, siklon-tak ada siklon. Skor yang biasa digunakan : Accuracy,POD,FAR,Bias,POFD,TS/CSI, Equitable threat score (Gilbert skill score),Hanssen and Kuipers discriminant (true skill statistic, Peirces’s skill score),Heidke skill score (Cohen’s k),Odds ratio,Odds ratio skill score (Yule’s Q)

Umumnya menggunakan tabel kontigensi :

  1. kontigensi Hit: prediksi menunjukan ya, observasi ya
  2. False alarm: prediksi menunjukan ya, observasi tidak
  3. Miss: Prediksi menunjukkan tidak, observasi ya
  4. Correct non-event : prediksi dan observasi menunjukkan tidak
  • Prediksi multikategori

Multi-category Contingency Table,Histogram,Accuracy,Heidke skill score,Hanssen and Kuipers discriminant (true skill statistic, Peirces’s skill score)

  • Prediksi varibel kontinu

Scatter plot,Box plot,Mean error,(Multiplicative) bias,Mean absolute error,Root mean square error,Mean squared error,Linear error in probability space(LEPS),Correlation coefficient,Anomaly correlation,S1 score

  • Prediksi probabilistik
  1. reliability
  2. Sharpness
  3. Resolution
  4. Reliability diagram
  5. Brier score
  6. Brier skill score
  7. Relative operating characteristic
  8. Ranked probability score
  9. Ranked probability skill score
  10. Relative value (value score) (Richardson, 2000; Wilks, 2001)

Metode saintifik/verifikasi diagnostik

  • Prediksi spasial
  1. Scale decomposition methods :Wavelet decomposition (Briggs and Levine, 1997), Intensity-scale verification approach (Casati et al. 2004), Discrete cosine transformation (DCT)(Denis et al., 2002a)
  2. Fuzzy (neighborhood) methods :Multi-scale statistical organization (Zepeda-Arce et al., 2000),Multi-scale statistical organization (Zepeda-Arce et al., 2000),Fractions skill score (Roberts and Lean, 2008),Fuzzy logic (Damrath, 2004),Pragmatic (neighborhood) method (Theis et al., 2005)
  3. Spatial multi-event contingency tables :Fuzzy verification framework,
  4. Object oriented methods:CRA (entity-based) verification (Ebert and McBride (2000),Method for Object-based Diagnostic Evaluation (MODE) (Brown et al., 2004; Davis et al., 2006) ,Model Evaluation Tools (MET),Object-oriented verification ideas (Baldwin et al, 2002),Event verification using composites (Nachamkin, 2004),Cluster analysis (Marzban and Sandgathe, 2006, 2008),Procrustes shape analysis (Michaes et al., 2007),Structure-Amplitude-Location (SAL) method (Wernli et al., 2008),Automated east-west phase error calculation (Keith Brill, NOAA/NWS/NCEP/HPC) ,Feature calibration and alignment (Hoffman et al., 1995; Nehrkorn et al., 2003)
  • prediksi probalistik dan Ensemble Prediction System : Wilson method for EPS verification (Wilson et al, 1999),Multi-category reliability diagram (Hamill, 1997),Rank histogram (Talagrand et al, 1997; Hamill, 2001,Correspondence ratio,Likelihood skill measure,Logarithmic scoring rule (ignorance score) (Roulston and Smith, 2002)
  • Metode untuk peristiwa yang jarang terjadi :
  1. Deterministic limit (Hewson,2007)

  2. Extreme dependency score,
  3. Probability model approach (Ferro, 2007)
  • Metode lain :
  1. Second-order difference statistics :
  2. Taylor diagram of correlation coefficient
  3. root-mean-square difference
  4. standard deviation (Taylor, 2001)
  5. BLT diagram of relative climate mean squared difference
  6. variance ratio
  7. effective correlation(Boer and Lambert, 2001).
  8. Root mean squared factor (Golding, 1998)
  9. Quantile-based categorical statistics(Jenkner et al., 2008)
  10. Root mean squared factor (Golding, 1998),
  11. Quantile-based categorical statistics (Jenkner et al., 2008)

=================================================

  • Prediksi dikotomi ( ya/tidak) merupakan prediksi yang membagi prediksi dua kemungkinan ya atau tidak, hujan-tidak hujan, siklon-tak ada siklon.
  • Prediksi mutikategori: merupakan prediksi yang menggunakan kategori untuk melakukan prediksi misalnya hujan dibagi menjadi kategori ringan, sedang dan lebat.
  • Prediksi varibel kontinu: Prediksi yang dilakukan pda variabel yang kontinu misal: tempetur, kelembaban dlln.
  • Prediksi probabilistik: Prediksi yang menggunakan unsur probabilistik/kemungkinan yang ditampilkan dalam bentuk angka antara 0 s.d 1.
  • Prediksi spasial, prediksi yang dilakukan secara spasil / per bagian jadi tidak menyeluruh.
  • prediksi probalistik dan Ensemble Prediction System: merupakan sistem prediksi yang probabilistik menggunakan berbagai model/untuk diensembelkan.

Untuk mengetahui tingkat skill, kehandalan model maka digunakan skor. Skor yang digunakan dalam verifikasi tergantung tujuan yang diinginkan.

Berikut skor-skor yang sering digunakan dalam “Forecast Verification”

skor_1

skor_2skor_3

skor_4

skor_5

Equitable threat score (Gilbert skill score),Hanssen and Kuipers discriminant (true skill statistic, Peirces’s skill score)

4 Tanggapan to “Metode Verifikasi Prediksi”

  1. Faisal Sunarto said

    Saya sangat tertarik dengan tulisan mengenai verifikasi prediksi ini. Saya sedang mencoba melakukan prediksi untuk wilayah Sorowako. Menurut Pak Kadarsah metode apa yang cocok, dan mohon infonya metode apa yang sudah Pak Kadarsah lakukan.

    Terima Kasih

    • kadarsah said

      Untuk penggunaan metode bisa menggunakan model statistik: ARIMA,ANFIS,WAVELET,TIESEAN.
      Saran saya bisa dicoba semunya dan bandingkan mana yang terbaik. KAlau tidak ada gunakan ARIMA .
      Prediksi yang pernah saya lakukan menggunakan keempat metode tersebut serta metode dinamis menggunakan WRF.

  2. farid said

    Selain daripada penggunaan threat score, RMSE dan ROC, antara kaedah yang juga sering digunakan didalam verifikasi adalah acuity-fidelity

  3. ibnu said

    saya tertarik dg artikel anda ini pak…mohon solusiny untuk verifikasi data hasil laboratorium Rumah sakit bagusnya pakek metode ap y pak…

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

 
%d blogger menyukai ini: