Momen dan Entropi dari Dua Peubah Acak

Seringkali dalam menganalisa suatu distribusi data, orang tertarik pada dua atau lebih peubah acak. Dari dua peubah acak ingin diketahui kebebasan peubah acak yang satu dengan yang lain. Ukuran-ukuran yang dipakai pada satu peubah acak juga bisa digunakan di dua atau lebih peubah acak. Pada sub bab ini, dibahas momen dan entropi dari dua peubah acak.

Misal X₁, X₂ peubah acak dengan fungsi distribusi kumulatif pmf  atau pdf . Kebebasan dari dua peubah acak didefinisikan sebagai

, untuk dua peubah acak diskrit

, untuk dua peubah acak kontinu

Maka raw moment dari dua peubah acak didefinisikan sebagai berikut Formula di atas digunakan untuk menghitung raw moment. Untuk menghitung variansi, dibutuhkan central moment yaitu Jika X₁ dan X₂  independent (saling bebas), maka operator ekspektasi E mempunyai nilai

dan untuk variansi dari peubah acak gabungannya adalah

                                   (2.10)

Seperti halnya mean dan variansi, entropi juga dapat didefinisikan untuk dua peubah acak gabungan dan entropi gabungan yaitu

Entropi gabungan merupakan suatu ukuran ketidakpastian yang berkaitan dengan distribusi gabungan. Apabila kedua peubah acak saling bebas, entropi dapat dihitung dengan . Kebebasan dari dua peubah acak juga dapat dihitung melalui entropi relatif dan informasi mutual yang dijelaskan pada sub bagian 2.3.1.

Sebagai perbandingan antara mean, variansi dan entropi, akan ditinjau kasus sebagai berikut. Misalkan X dan Y  berdistribusi bivariate normal dengan fungsi padat peluang, dengan peubah acak X saling bebas dengan peubah acak Y,

Mean gabungan	Variansi gabungan	Entropi gabungan

Tabel 2 :

Ukuran ini juga diterapkan pada kasus peubah acak diskrit, misalnya dua peubah acak yang berdistribusi multinomial,

dengan  dan