Bất đẳng thức Hoeffding

Trong lý thuyết xác suất, bất đẳng thức Hoeffding cho một chặn trên của xác suất một tổng các biến ngẫu nhiên sai lệch với giá trị kỳ vọng. Bất đẳng thức Hoeffding được chứng minh bởi Wassily Hoeffding.

Giả sử

$X_1,\dots ,X_n$

là các biến ngẫu nhiên độc lập. Giả sử $X_i$ gần như chắc chắn bị chặn; nghĩa là, với mọi $1\le i\le n$ ta có

$\mathrm{Pr}(X_i\in [a_i,b_i])=1.$

Giá trị trung bình thực nghiệm của các biến đó là

$\bar{X}=(X_1+\cdots +X_n)/n$

Ta có các bất đẳng thức sau (Hoeffding 1963, định lý 2 ):

$\mathrm{Pr}(\bar{X}-\mathrm{E}[\bar{X}]\ge t)\le \exp (-\frac{2t^2{n}^2}{\sum _{i=1}^n(b_i-a_i{)}^2}),$

$\mathrm{Pr}(|\bar{X}-\mathrm{E}[\bar{X}]|\ge t)\le 2\exp (-\frac{2t^2{n}^2}{\sum _{i=1}^n(b_i-a_i{)}^2}),$

cho mọi giá trị t dương. Ở đây $\mathrm{E}[\bar{X}]$ là giá trị kỳ vọng của $\bar{X}$.

Các bất đẳng thức này là trường hợp đặc biệt của bất đẳng thức Azuma–Hoeffding và của một bất đẳng thức tổng quát hơn nữa là bất đẳng thức Bernstein trong lý thuyết xác suất, chứng minh bởi Sergei Bernstein năm 1923. Chúng cũng là trường hợp đặc biệt của bất đẳng thức McDiarmid.

Các bất đẳng thức này cũng đúng khi $X_i$ được chọn không thay thế; trong trường hợp này chúng không còn độc lập. Bài báo của Hoeffding cũng chứa một chứng minh của mệnh đề này. Bài báo của Serfling chứa một chặn trên chặt hơn một chút trong trường hợp lấy mẫu không thay thế.

Xem thêm

• Bất đẳng thức Bennett
• Bất đẳng thức Chebyshev
• Bất đẳng thức Markov
• Bất đẳng thức Chernoff
• Bổ đề Hoeffding