Khoảng cách Jensen-Shannon

Trong lý thuyết xác suất và thống kê, khoảng cách Jensen-Shannon là một phương pháp phổ biến để đo sự tương đồng giữa hai phân bố xác suất. Nó dựa trên khoảng cách Kullback-Leibler với một điểm khác biệt quan trọng là nó luôn có giá trị hữu hạn. Căn bậc hai của khoảng cách Jensen-Shannon là một metric.

Định nghĩa

Đặt $M_{+}^1(A)$ là tập hợp các phân bố xác suất trong đó A là một tập hợp cùng với một σ-đại số gồm các tập con đo được. Cụ thể hơn, ta chỉ xem xét A là tập hợp hữu hạn hoặc đếm được với mọi tập con đều đo được. Khoảng cách Jensen-Shannon (JSD) $M_{+}^1(A)\times M_{+}^1(A)\to [0,\mathrm{\infty })$ là phiên bản đối xứng và trơn của khoảng cách Kullback-Leibler $D(P\parallel Q)$. Nó được định nghĩa như sau

$JSD(P\parallel Q)=\frac{1}{2}D(P\parallel M)+\frac{1}{2}D(Q\parallel M)$

trong đó $M=\frac{1}{2}(P+Q)$ Nếu A là đếm được thì có định nghĩa tổng quát hơn cho phép so sánh nhiều hơn hai phân bố, như sau:

$JSD(P_1,P_2,\dots ,P_n)=H\left(\sum _{i=1}^n{\pi }_i{P}_i\right)-\sum _{i=1}^n{\pi }_{i}H(P_i)$

trong đó ${\pi }_1,{\pi }_2,\dots ,{\pi }_n$ là trọng số của các phân bố $P_1,P_2,\dots ,P_n$ và $H(P)$ là entropy Shannon của phân bố $P$. Trong trường hợp chỉ có hai phân bố mô tả ở trên,

$P_1=P,P_2=Q,{\pi }_1={\pi }_2=\frac{1}{2}.$

Giới hạn

Theo Bản mẫu:Harvtxt, khoảng cách Jensen-Shannon bị giới hạn bởi 1 khi lôgarit được tính theo cơ số 2.

$0\le JSD(P\parallel Q)\le 1$

Liên hệ với thông tin tương hỗ

Khoảng cách Jensen-Shannon đúng bằng thông tin tương hỗ giữa biến ngẫu nhiên $X$ phân phối theo một phân phối hỗn hợp $M=\frac{P+Q}{2}$ và biến ngẫu nhiên $Z$ trong đó $Z=1$ nếu $X$ được lấy từ $P$ và $Z=0$ nếu $X$ được lấy từ $Q$.

$\begin{array}{cc}I(X;Z)& =H(X)-H(X|Z)\\ & =-\sum M\log M+\frac{1}{2}[\sum P\log P+\sum Q\log Q]\\ & =-\sum \frac{P}{2}\log M-\sum \frac{Q}{2}\log M+\frac{1}{2}[\sum P\log P+\sum Q\log Q]\\ & =\frac{1}{2}\sum P(\log P-\log M)+\frac{1}{2}\sum Q(\log Q-\log M)\\ & =JSD(P\parallel Q)\end{array}$

Từ kết quả trên có thể suy ngay ra khoảng cách Jensen-Shannon nằm trong khoảng từ 0 đến 1 vì thông tin tương hỗ là không âm và bị chặn bởi $H(Z)=1$.

Các liên hệ khác

Khoảng cách Jensen-Shannon luôn lớn hơn hoặc bằng bình phương của khoảng cách Hellinger Bản mẫu:Harv.

$JSD(P\parallel Q)\ge H^2(P,Q)$

Ghi chú

Tham khảo

• Jensen-Shannon Divergence and Hilbert space embedding, Bent Fuglede and Flemming Topsøe University of Copenhagen, Department of Mathematics [1]
• Bản mẫu:Chú thích tạp chí

• A family of statistical symmetric divergences based on Jensen's inequality, F. Nielsen [2]
• Y. Ofran & B. Rost. Analysing Six Types of Protein-Protein Interfaces. J. Mol. Biol., 325: 377—387, 2003.
• G.E. Sims, S.R. Jun, G. Wu. & S.H. Kim Alignment-free genome comparison with feature frequency profiles (FFP) and optimal resolutions. Proc. Natl. Acad. Sci. USA. 106(8):2677-82
• S. Itzkovitz, E. Hodis, E. Segal, "Overlapping codes within protein-coding sequences," Genome Res., November 2010, 20:1582-1589