Σήμερα είδαμε διάφορα αρχικά πράγματα για την έννοια της εντροπίας ενός πεπερασμένου δειγματικού χώρου ή μιας τυχαίας μεταβλητής που παίρνει πεπερασμένες στο πλήθος τιμές.
Παρακαλώ διαβάστε από το βιβλίο MacKay, Information Theory, Inference and Learning Algorithms.
Συγκεκριμένα διαβάστε την παράγραφο 2.4 ( Definition of entropy and related function )