Dalam mengamati distribusi, ingin diketahui pemusatan data tersebut, disebut dengan mean. Pada data, ukuran ini dapat ditaksir oleh yang didapat dari momen pertama ram momen.
(2.1)
Secara umum, raw momen didefinisikan sebagai (2.2)
Akan tetapi ingin juga diketahui ukuran lain seperti ukuran penyebarannya. Salah satu ukuran penyebaran adalah variansi, yang merupakan momen pertama dari central momen.
(2.3)
(2.4)
Dalam kenyataan, integral didapat untuk nilai x dengan f(x) positif.
Ukuran yang sering dipakai adalah mean dan variansi. Pada tugas akhir ini, akan dipelajari salah satu ukuran lain. Ukuran ketidakpastian yang akan dibahas adalah entropi. Misalkan X suatu peubah acak. Entropi dari suatu peubah acak X didefinisikan sebagai
(2.5)
Dari persamaan (2.9) entropi juga dapat dilihat sebagai
(2.6)
H(X) merupakan fungsi dari distribusi peluang dari peubah acak X dan bernilai non negatif, , untuk peubah acak diskrit. Sedangkan untuk peubah acak kontinu, entropi dapt bernilai negatif atau positif. Entropi bernilai nol () jika dan hanya jika X diketahui secara pasti atau tidak ada informasi baru, misalnya peluang terjadinya satu kejadian adalah 1 dan peluang kejadian lainnya adalah 0. Nilai dari H(X) tidak bergantung pada nilai X melainkan pada peluangnya.
Interpretasi dari entropi
- jumlah informasi dalam suatu peubah acak
- rata-rata ketidakpastian dari suatu peubah acak
- rata-rata panjang pesan yang dibutuhkan oleh suatu peubah acak untuk dibawa ke penerima
Sebagai contoh, akan dihitung mean, variansi dan entropi dari peubah acak yang berdistribusi Normal dengan parameter m dan s2.
| Mean | Variansi | Entropi |
| m | s2 | |
Tabel 1 :
0 komentar:
Posting Komentar