▶ Ανακοινώσεις
▶ Ωράριο
Δε 1-3, Τε 1-3.
Αίθουσα: Β214
Ώρες γραφείου διδάσκοντα: Παρασκευή 1-2, στο Ε 212.
▶ Περιγραφή Μαθήματος
Στο μάθημα αυτό θα δούμε
Οι δυο αυτές κατευθύνσεις θα προχωράνε παράλληλα και ανεξάρτητα η μια από την άλλη κατά τη διάρκεια του εξαμήνου. Τη μία μέρα της εβδομάδας θα ασχολούμαστε με τη θεωρία πιθανοτήτων και τα οριακά θεωρήματα και την άλλη μέρα της εβδομάδας με τις εφαρμογές της στοιχειώδους θεωρίας (που απαιτεί μεν καλή γνώση της προπτυχιακής θεωρίας πιθανοτήτων αλλά δεν απαιτεί θεωρία μέτρου).
Μπορείτε εδώ να δείτε την ιστοσελίδα του μαθήματος την τελευταία φορά που το δίδαξα.
Μπορείτε επίσης να δείτε το μάθημα εδώ που δίδαξα πρόσφατα σχετικά με το στοιχειώδες κομμάτι του μαθήματος.
▶ Βιβλία και σημειώσεις
| [AS] | N. Alon and J. Spencer, The Probabilistic Method, 4η έκδοση (δείτε εδώ) |
| [D] | R. Durrett, Probability: Theory and Examples, έκδοση 2019 (κατεβάστε από εδώ) |
| [J] | S. Jukna, Extremal Combinatorics, 2η έκδοση (πρόχειρη) (κατεβάστε από εδώ) |
| [MU] | M. Mitzenmacher and E. Upfal, Probability and Computing, έκδοση 2017 (δείτε εδώ) |
▶ Βαθμολογικό σύστημα
Θα ανακοινωθεί.
▶ Ημερολόγιο μαθήματος
Μιλήσαμε για την έννοια του χώρου πιθανότητας. Είδαμε πώς ο χώρος πιθανότητας και το μέτρο πιθανότητας αντιστοιχούν στις εκβάσεις ενός πειράματος. Είδαμε επίσης την έννοια της τυχαίας μεταβλητής (Τ.Μ.) (μετρήσιμη συνάρτηση πάνω στο χώρο πιθανότητας) καθώς και την έννοια της κατανομής $\mu_X$ μιας Τ.Μ. που είναι ένα μέτρο πιθανότητας στο χώρο όπου παίρνει τιμές η $X$. Είδαμε την έννοια της συνάρτησης κατανομής μιας Τ.Μ. $X$ και πώς οι ιδιότητες αυτής της συνάρτησης αντικατοπτρίζονται σε ιδιότητες της κατανομής $\mu_X$ της $X$. Διαβάστε από [D], Κεφ. 1.1 - 1.3.
Σκοπός μας σε αυτή τη φάση δεν είναι να εισχωρήσουμε σε μεγάλος βάθος στη θεωρία μέτρου αλλά να αποκτήσουμε μια λειτουργική ευχέρεια όσον αφορά το μέτρο (και το ολοκλήρωμα, σε λίγο).
Ας πάρουμε μια τυχαία ανάθεση λογικών τιμών στις μεταβλητές μας. Η πιθανότητα ότι μια από τις παρενθέσεις μας ικανοποιείται εύκολα βλέπουμε ότι είναι 7/8. Αν γράψουμε λοιπόν $X$ για το πλήθος των παρενθέσεων που ικανοποιούνται με μια τυχαία ανάθεση τότε προκύπτει από τη γραμμικότητα της μέσης τιμής ότι $\Mean{X} = \frac78 N$, όπου $N$ το πλήθος των παρενθέσεων. Άρα υπάρχει λογική ανάθεση τ.ώ. το πλήθος των αληθών παρενθέσεων να είναι $\ge \frac78 N$. (Επίσης υπάρχει και ανάθεση όπου το πλήθος των αληθών παρενθέσεων να είναι $\le \frac78 N$.)
Έτσι, ο αλγόριθμός μας για τον έλεγχο της ταυτότητας των δύο συμβολοσειρών είναι ο εξής. Για έναν μεγάλο αριθμό $k$, αφήνουμε τον απομακρυσμένο υπολογιστή να υπολογίσει τους αριθμούς $b(X_1), b(X_2), \ldots, b(X_k)$, όπου τα $X_j$ παράγονται από εμάς (τοπικά) επιλεγμένα ανεξάρτητα και ομοιόμορφα από το $S$. Στη συνέχεια, ο απομακρυσμένος υπολογιστής μας στέλνει αυτές τις τιμές και ελέγχουμε αν $a(X_j) = b(X_j)$, για $j=1, \ldots, k$. Εάν οι δύο συμβολοσειρές είναι διαφορετικές, το πολυώνυμο $P(x)$ δεν είναι ταυτοτικά μηδέν, επομένως η πιθανότητα να συμβεί αυτό είναι το πολύ $1/2^k$. Επιλέγουμε τον αριθμό $k$ αρκετά μεγάλο ώστε να μπορούμε να ανεχτούμε την πιθανότητα αποτυχίας $1/2^k$ (για παράδειγμα, επιλέγοντας το $k$ περίπου 300 εγγυόμαστε πιθανότητα αποτυχίας $10^{-100}$). Ας επισημάνουμε ότι οι δύο πλευρές μπορεί να χρειαστεί ακόμα να εκτελέσουν εργασία $O(N)$ για να αξιολογήσουν τα δύο πολυώνυμα, αλλά το αργό μέρος, η επικοινωνία, είναι μόνο $O(k)$.
Ως επίδειξη της αρχής του ελέγχου ταυτοτήτων με πιθανότητα σφάλματος, εξοικονομώντας έτσι επικοινωνία,
αναφέραμε το καθιερωμένο πρόγραμμα rsync. Διαβάστε σχετικά με αυτό εδώ.
Ένας νεαρός άνδρας μένει στο Μανχάταν κοντά σε έναν σταθμό του μετρό. Έχει δύο κοπέλες, μία στο Μπρούκλιν και μία στο Μπρονξ. Για να επισκεφθεί την κοπέλα στο Μπρούκλιν, παίρνει το τρένο από την πλευρά της αποβάθρας που πηγαίνει προς το κέντρο (downtown). Για να επισκεφθεί την κοπέλα στο Μπρονξ, παίρνει το τρένο από την πλευρά της ίδιας αποβάθρας που πηγαίνει προς τα προάστια (uptown). Επειδή του αρέσουν και οι δύο κοπέλες εξίσου, παίρνει απλώς το πρώτο τρένο που θα έρθει. Με αυτόν τον τρόπο, αφήνει την τύχη να καθορίσει αν θα πάει στο Μπρονξ ή στο Μπρούκλιν. Ο νεαρός άνδρας φτάνει στην αποβάθρα του μετρό σε μια τυχαία στιγμή κάθε Σάββατο απόγευμα. Τα τρένα για το Μπρούκλιν και το Μπρονξ φτάνουν στον σταθμό με την ίδια συχνότητα — κάθε 10 λεπτά. Κι όμως, για κάποιον αδιόρατο λόγο, καταλήγει να περνά τον περισσότερο χρόνο του με την κοπέλα στο Μπρούκλιν: στην πραγματικότητα, κατά μέσο όρο πηγαίνει εκεί 9 στις 10 φορές. Μπορείτε να σκεφτείτε έναν βάσιμο λόγο για τον οποίο οι πιθανότητες ευνοούν τόσο πολύ το Μπρούκλιν;Διαβάστε τη λύση του γρίφου από το άρθρο της Wikipedia που συνδέεται από την ίδια σελίδα.
Φυλλάδιο Ασκήσεων Νο 1 (και σε στενή μορφή για smartphones). Παραδώστε τις λυμένες σε 2 εβδομάδες το πολύ (όχι online). Παρακαλώ να είναι καθαρά γραμμένες.
Σήμερα μιλήσαμε για το ολοκλήρωμα σε ένα χώρο πιθανότητας. Χωρίς να δώσουμε παρά μόνο μερικές αποδείξεις κάναμε μια επανάληψη στην έννοια του ολοκληρώματος, τις ιδιότητές του, τα σημαντικά οριακά θεωρήματα και τις βασικές ανισότητες (Jensen, Hölder, Minkowski) τις οποίες αποδείξαμε. Δε μιλήσαμε καθόλου για το θεώρημα Fubini (αλλά θα έχουμε την ευκαρία την επόμενη φορά μιλώντας για ανεξαρτησία). Έχουμε καλύψει μέχρι στιγμής (με γρήγορο ρυθμό) περίπου όλο το Κεφ. 1 από το [D] με εξαίρεση το 1.7.
Επιλέγουμε τυχαία ένα κομμάτι χαρτί, κοιτάμε τον αριθμό που αναγράφεται και κερδίζουμε μια καραμέλα αν δηλώσουμε σωστά ότι ο αριθμός που βλέπουμε είναι ο μεγαλύτερος ή ο μικρότερος από τους δύο.
Υπάρχει ένας εύκολος τρόπος να κερδίσουμε την καραμέλα με πιθανότητα $1/2$. Απλώς λέμε πάντα "μεγαλύτερος". Ή λέμε πάντα "μικρότερος". Ή ρίχνουμε ένα δίκαιο νόμισμα και λέμε "μεγαλύτερος" ή "μικρότερος" ανάλογα με το αποτέλεσμα, κορώνα ή γράμματα. (Με αυτόν τον τρόπο δεν λαμβάνουμε καν υπόψη τον αριθμό που είδαμε γραμμένο κάτω από το κομμάτι χαρτί που επιλέξαμε.)
Υπάρχει τρόπος να παίξουμε αυτό το παιχνίδι έτσι ώστε η πιθανότητα να πάρουμε την καραμέλα να είναι μεγαλύτερη από $1/2$;
Η αναπάντεχη απάντηση είναι ναι (αλλά δεν μπορούμε να εγγυηθούμε πόσο μεγαλύτερη από 1/2 είναι αυτή η πιθανότητα νίκης).
Μπορούμε να το κάνουμε ως εξής: Έστω $X$ ο αριθμός που είδαμε αφού επιλέξαμε ένα κομμάτι χαρτί (άρα το $X$ είναι μια τυχαία μεταβλητή που παίρνει τις δύο τιμές $a$ και $b$ με ίση πιθανότητα). Έστω επίσης $Y$ μια τυχαία μεταβλητή της οποίας η πυκνότητα στον πραγματικό άξονα είναι παντού αυστηρά θετική. Για παράδειγμα, μπορούμε να θεωρήσουμε ότι το $Y$ ακολουθεί την τυπική κανονική κατανομή $\mathcal{N}(0, 1)$. Εκτελούμε το πείραμα που παράγει το $Y$ και στη συνέχεια λέμε "μεγαλύτερος" αν $X \ge Y$ ή "μικρότερος" αν $X \lt Y$. Μπορεί κανείς εύκολα να ελέγξει ότι η πιθανότητα επιτυχίας είναι αυστηρά μεγαλύτερη από 1/2.
Ο λάθος τρόπος σκέψης για αυτό το ζήτημα είναι ο εξής: εφόσον βλέπουμε 1 ευρώ στο ανοιχτό χέρι, τότε τα περιεχόμενα του άλλου χεριού είναι είτε 1/2 ευρώ είτε 2 ευρώ, με κάθε περίπτωση να έχει πιθανότητα 1/2. Επομένως, αν αλλάξουμε στο άλλο χέρι, το αναμενόμενο κέρδος θα είναι $\frac12 \cdot \frac12 + \frac12\cdot 2 = \frac54$ το οποίο είναι $\gt 1$, συνεπώς θα έπρεπε να αλλάξουμε.
Στην πραγματικότητα δεν έχει καμία διαφορά αν αλλάξουμε ή όχι (στατιστικά -- φυσικά μπορεί να έχει σημασία σε μια συγκεκριμένη περίπτωση του παιχνιδιού). Πού βρίσκεται, λοιπόν, το σφάλμα στον παραπάνω υπολογισμό;
Διαβάστε σχετικά εδώ.
Φυλλάδιο Ασκήσεων Νο 2 (και σε στενή μορφή για smartphones). Παραδώστε τις λυμένες σε 2 εβδομάδες το πολύ (όχι online). Παρακαλώ να είναι καθαρά γραμμένες.
Σήμερα ασχοληθήκαμε αρχικά με το λεγόμενο Erdős similarity problem (εικασία: αν $A \subseteq \RR$ άπειρο σύνολο τότε υπάρχει μετρήσιμο σύνολο $E \subseteq \RR$ με θετικό μέτρο τέτοιο ώστε για κάθε $x, t \in \RR$ το σύνολο $x+tA$ δεν περιέχεται στο $E$. Συγκεκριμένα αποδείξαμε μια ευκολότερη παραλλαγή αυτής της εικασίας: πάντα υπάρχει μετρήσιμο $E \subseteq [0, 1]$ με μέτρο όσο θέλουμε κοντά στο 1 που να μην περιέχει σχεδόν όλα τα "αντίγραφα" $x+tA$. Δηλ. το σύνολο $\Set{(x, t):\ x+tA \subseteq E}$ έχει διδιάστατο μέτρο Lebesgue ίσο με το 0. Το σύνολο $E$ το κατασκευάσαμε με πιθανοθεωρητικό τρόπο. Μπορείτε να διαβάσετε την απόδειξη εδώ.
Έπειτα αρχίσαμε να περιγράφουμε την απόδειξη του θεωρήματος προσέγγισης από πολυώνυμα του Weierstrass που οφείλεται στον Bernstein. Μπορείτε να δείτε την πλήρη απόδειξη εδώ, σελ. 18. Θα την τελειώσουμε την επόμενη φορά.
Μιλήσαμε αρχικά για μέτρα γινόμενα και το θεώρημα Fubini (τέλος 1ου κεφαλαίου από [D]). Μιλήσαμε για ανεξαρτησία ενδεχομένων, σ-αλγεβρών και τυχαίων μεταβλητών. Είδαμε ότι αν $X_1, \ldots, X_n$ είναι ανεξάρτητες ΤΜ τότε η κατανομή του διανύσματος $(X_1, \ldots, X_n)$ είναι το μέτρο γινόμενο $\mu_{X_1} \times \cdots \times \mu_{X_n}$ των κατανομών των $X_j$. Είδαμε ότι αν $X, Y$ ανεξάρτητες τότε $\mu_{X+Y} = \mu_X*\mu_Y$ (αφού ορίσαμε τη συνέλιξη μέτρων). Καλύψαμε λίγο-πολύ την παρ. 2.1 του [D] με εξαίρεση την 2.1.4 για την οποία δε μιλήσαμε καθόλου. Αρχίσαμε να μιλάμε για ασθενείς νόμους των μεγάλων αριθμών.
Αρχικά τελειώσαμε την απόδειξη του θεωρήματος προσέγγισης του Weierstrass που οφείλεται στον Bernstein (εδώ, σελ. 18). Έπειτα δείξαμε ένα βελτιωμένο άνω φράγμα για το πλήθος $k$ αριθμών από το $\Set{1, 2, \ldots, n}$ που μπορούμε να επιλέξουμε έτσι ώστε όλα τα αθροίσματα που μπορούμε να δημιουργήσουμε επιλέγοντας (μέχρι μια φορά) κάποιους από αυτούς να είναι διαφορετικά. Δείτε αυτό το φράγμα στο [AS], παρ. 4.6.
Έπειτα δείξαμε ότι αν το γράφημα $G$ έχει $n$ κορυφές και $nd/2$ ακμές, τότε περιέχει ένα ανεξάρτητο σύνολο μεγέθους $\ge n/(2d)$.
Απόδειξη: Θεωρήστε ένα τυχαίο υποσύνολο $S$ των κορυφών, κρατώντας κάθε κορυφή με πιθανότητα $p$. Έστω $X$ το μέγεθός του και $Y$ ο αριθμός των ακμών του $G$ που περιορίζονται στο $S$. Προκύπτει ότι $$ \Mean{Y} = \frac{nd}{2}p^2. $$ Εφόσον $\Mean{X} = pn$, έχουμε $\Mean{X-Y}=np-\frac{nd}{2}p^2$. Επιλέγοντας $p=1/d$ για να μεγιστοποιήσουμε αυτή την τιμή, παίρνουμε $\Mean{X-Y}=n/(2d)$. Διαγράφοντας μία κορυφή από κάθε ακμή, απομένει ένα ανεξάρτητο σύνολο μεγέθους $\ge n/(2d)$.
Αναφέραμε την ανισότητα Chernoff: αν $X_1, \ldots, X_n$ είναι ανεξάρτητες τυχαίες μεταβλητές που παίρνουν μόνο τις τιμές 0 ή 1 και $X = X_1+\cdots+X_n$ έχει μέση τιμή $\mu = \Mean{X}$ τότε για κάθε $\epsilon \gt 0$ έχουμε την ανισότητα απόκλισης $$ \Prob{\Abs{X-\mu} \le \epsilon\mu} \le 2 e^{-c_\epsilon \mu}, $$ όπου $c_\epsilon = \min\Set{\epsilon^2/2, -\log(e^\epsilon(1+\epsilon)^{-(1+\epsilon)}}$.
Χρησιμοποιήσαμε έπειτα την ανισότητα αυτή για να δείξουμε ότι ένα τυχαίο σύνολο φυσικών αριθμών $E$ το οποίο δημιουργούμε κρατώντας κάθε αριθμό $n \in \NN$ μέσα στο σύνολο $E$ με πιθανότητα $p$, ανεξάρτητα για όλα τα $n\in\NN$, έχει σχεδόν σίγουρα πυκνότητα $$ \lim_{n\to\infty} \frac1n \Abs{E\cap\Set{1, 2, \ldots, n}} = p. $$
Φυλλάδιο Ασκήσεων Νο 3 (και σε στενή μορφή για smartphones). Παραδώστε τις λυμένες σε 2 εβδομάδες το πολύ (όχι online). Παρακαλώ να είναι καθαρά γραμμένες.
Είδαμε ασθενείς νόμους μεγάλων αριθμών (σύγκλιση κατά πιθανότητα) με διάφορες υποθέσεις. Από το [D] καλύψαμε αρχικά ότι υπάρχει στην παρ. 2.2.1, το θεώρημα 2.2.6 και το παράδειγμα 2.2.7 (coupon collector). Έπειτα είδαμε διάφορους ασθενείς νόμους όπου η έλλειψη υποθέσεων ολοκληρωσιμότητας των ΤΜ αντιμετωπίζεται με "αποκοπή" (truncation). Από την παρ. 2.2.3 καλύψαμε μέχρι και το Θ. 2.2.14.
Σήμερα είδαμε μερικά άρθρα από αυτό το άρθρο. Συγκεκριμένα είδαμε την απόδειξη ενός θεωρήματος του Uchiyama για τριγωνομετρικά πολυώνυμα (παρ. 2.3) και την απόδειξη ενός θεωρήματος του Erdős για ασυμπτωτικές προσθετικές βάσεις τάξης 2 με μικρή συνάρτηση αναπαράστασης (παρ. 3.2). Βασιστήκαμε στο θεώρημα του Chernoff (Θεώρημα 3.1) ενώ αναφέραμε επίσης και το σχετικό Θεώρημα 3.2, το οποίο θα χρησιμοποιήσουμε την επόμενη φορά στην απόδειξη του θεωρήματος Salem-Zygmund για τριγωνομετρικά πολυώνυμα (παρ. 3.4).