असतत स्रोत S₁ में 4 समसंभाव्य प्रतीक हैं जबकि असतत स्रोत S₂ में 16 समसंभाव्य प्रतीक हैं। जब इन दो स्रोतों की एन्ट्रापी की तुलना की जाती है तो:

Question

Question

This question was previously asked in

ESE Electronics 2011 Paper 2: Official Paper

Attempt Online

Answer 1

अवधारणा:

पारस्परिक सूचना H(X) की एन्ट्रॉपी:

\(H\left( X \right) = \mathop \sum \nolimits_{i = 1}^n p\left( {{x_i}} \right).{\log _2}\frac{1}{{p\left( {{x_i}} \right)}} = {\log _2}m\)

[प्रतीकों की समसंभाव्य 'n' संख्या के लिए]

गणना:

स्थिति- I: स्रोत S₁के लिए;

प्रतीकों की संख्या; m = 4

H(x) = log₂ m

= 2 बिट / प्रतीक

स्थिति- II: स्रोत S₂ के लिए;

प्रतीकों की संख्या; m = 16

H(x) = log₂ m

= 4 बिट / प्रतीक

∴ S₁ की एन्ट्रापी S₂ से कम है

Important Points

1) एक सतत यादृच्छिक चर के लिए एन्ट्रॉपी को अवकल एन्ट्रॉपी के रूप में जाना जाता है:

\(H\left( X \right) = \mathop \smallint \nolimits_{ - \infty }^\infty {F_X}\left( x \right).{\log _2}\frac{1}{{{F_X}\left( x \right)}}\)

F_X(x) ⇒ RV ‘X’ का PDF

2) एन्ट्रॉपी अनिश्चितता का एक माप है।