Zauważamy, że jeśli liczba prób generowanych z pomocą tablicy Galtona jest niewielka, to generowane rozkłady swym kształtem znacznie odbiegają od rozkładu dwumianowego. Kiedy powtarzamy serie generacji, otrzymujemy różne wyniki. 

Nie powinno nas to dziwić. Pamiętamy, że omawiane rozkłady prawdopodobieństwa zadane były jednoznacznie przez określone funkcje matematyczne, a wartości prawdopodobieństw, czy gęstości prawdopodobieństwa są po prostu liczbami. Uzyskany w wyniku doświadczenia w laboratorium czy też symulacji komputerowej rozkład nie jest bowiem rozkładem prawdopodobieństwa, ale rozkładem częstości zdarzeń. Seria doświadczeń,  których wyniki są próbkowaniem badanego rozkładu nazywa się próbą.  Każde zdarzenie (spuszczenie kulki na tablicy) jest elementem próby. Liczba elementów próby zwana jest  wymiarem próby. Zbiór wszystkich możliwych do wykonania doświadczeń danego typu nazywamy populacją. Aby próba odzwierciedlała prawidłowo badany rozkład prawdopodobieństwa, poszczególne doświadczenia muszą być od siebie niezależne.

Każda funkcja elementów próby jest także zmienną losową i nazywa się statystyką. Przykładem statystyki jest wartość średnia, i należy odróżniać ją od wartości oczekiwanej (przeciętnej), która jest liczbą. Uzyskiwane w wyniku pobierania prób funkcje zmiennych losowych mogą stanowić przybliżone wartości parametrów rozkładów statystycznych i nazywane są estymatorami. Przykładem jest właśnie wartość średnia, która może być estymatorem wartości oczekiwanej. 

Estymator nazywamy nieobciążonym, gdy dla każdej liczebności próby jego wartość oczekiwane była równa wartości estymowanego parametru. tj.

dla każdej wartości n

Estymator nazywamy zgodnym jeśli jego wariancja dąży do zera dla liczby doświadczeń dążącej do nieskończoności tzn. gdy