Dung lượng kênh và mã hóa kênh

Dung l­îng kªnh vµ m· ho¸ kªnh Giíi thiÖu: Môc ®Ých cña hÖ thèng viÔn th«ng lµ truyÒn th«ng tin tõ n¬i nµy ®Õn n¬i kh¸c. M«i tr­êng mµ trªn ®ã th«ng tin ®­îc truyÒn qua ®­îc gäi lµ kªnh truyÒn th«ng. Néi dung th«ng tin cña nguån tin ®­îc ®¸nh gi¸ (®o) bëi Entropy cña nguån tin th­êng theo ®¬n vÞ bit. M« h×nh to¸n häc thÝch hîp kh¶o s¸t nguån tin lµ qu¸ tr×nh ngÉu nhiªn. PhÇn1: XÐt m« h×nh to¸n phï hîp cho c¸c kªnh truyÒn th«ng. Ta còng ®Ò cËp dung l­îng kªnh (kh¶ n¨ng th«ng qua kªnh) mµ ®­îc ®Þnh nghÜa cho bÊt kú mét kªnh truyÒn th«ng nµo vµ ®­a ra giíi h¹n c¬ b¶n vÒ l­îng th«ng tin mµ cã thÓ ®­îc truyÒn qua kªnh. Thùc tÕ ta th­êng xÐt hai lo¹i kªnh: kªnh ®èi xøng c¬ hai (Binary Symmetric Channel – BSC) vµ kªnh t¹p ©m Gaussian tr¾ng céng (Additive White Gaussian Noise Channel AWGN). PhÇn2: XÐt c¸c kü thuËt m· ho¸ ®Ó truyÒn th«ng kh¶ tin trªn c¸c kªnh truyÒn th«ng. Ta ®Ò cËp hai kü thuËt m· ho¸ ®­îc dïng phæ biÕn nhÊt lµ: M· ho¸ khèi vµ m· ho¸ xo¾n, c¸c kü thuËt m· ho¸ vµ gi¶i m· cho c¸c m· nµy vµ ®Ò cËp ®Õn c¸c hiÖu n¨ng cña chóng. PhÇn 1: Dung l­îng kªnh truyÒn dÉn Môc ®Ých, yªu cÇu: 1. Môc ®Ých: Nªu ra c¸c bµi tËp nhá c¬ b¶n ®Ó sinh viªn lµm quen, sau ®ã øng dông vµo chuyªn ngµnh v« tuyÕn. (PhÇn øng dông vµo chuyªn nghµnh ®­îc ®Ò cËp sau). Th«ng qua ch­¬ng tr×nh ®­îc viÕt trªn Matlab sinh viªn hiÓu kh¸i niÖm & ý nghÜa vai trß dung l­îng kªnh truyÒn dÉn trong hÖ thèng viÔn th«ng. Ph­¬ng ph¸p x¸c ®Þnh dung l­îng kªnh truyÒn dÉn vµ c¸c th«ng sè. 2.Yªu cÇu: HiÓu thuËt to¸n ®­îc dïng trong ch­¬ng tr×nh Matlab. BiÕt c¸ch thay ®æi c¸c th«ng sè ®Ó kh¶o s¸t c¸c c«ng thøc trong ch­¬ng tr×nh. Sö dông ch­¬ng tr×nh Matlab ®Ó gi¶i quyÕt c¸c bµi tËp hoÆc vÊn ®Ò (sinh viªn tù lËp ra c¸c t×nh huèng). T¹i sao ng­êi ta sö dông ph©n phèi Gaussian trong viÖc m« h×nh ho¸ c¸c kªnh truyÒn th«ng ? Nªu ý nghÜa cña ngÉu nhiªn ho¸ tÝn hiÖu theo quan ®iÓm lý thuyÕt th«ng tin trong c¸c hÖ thèng viÔn th«ng. II. Néi dung: 2.1. Tãm t¾t lý thuyÕt: PhÇn tãm t¾t lý thuyÕt ®­îc lÊy tõ c¸c tµi liÖu C¬ së truyÒn dÉn vi ba sè t¸c gi¶ TS.NguyÔn Ph¹m Anh Dòng; Digital Communication t¸c gi¶ John G.Proakis 2001; Digital Communication t¸c gi¶ Simon Haykin 1988; Digital Modulation and Coding t¸c gi¶ Stephen G.Wilson 1996. Nªn cã sù kh«ng ®ång nhÊt vÒ ký hiÖu c¸c c«ng thøc ch¼ng h¹n ®é réng b¨ng tÇn B = W, SNR=P/N0... Chi tiÕt phÇn lý thuyÕt dung l­îng kªnh ®­îc nh¾c l¹i ë phô lôc1. M« h×nh kªnh vµ dung l­îng kªnh. Kªnh truyÒn th«ng thùc hiÖn truyÒn tÝn hiÖu mang th«ng tin ®Õn ®Ých. Trong truyÒn dÉn, tÝn hiÖu mang tin ph¶i chùu ¶nh h­ëng lín cña m«i tr­êng. Mét trong c¸c ¶nh h­ëng nµy cã tÝnh tÊt ®Þnh ch¼ng h¹n suy hao, mÐo tuyÕn tÝnh vµ kh«ng tuyÕn tÝnh; mét sè cã tÝnh x¸c suÊt (ngÉu nhiªn) ch¼ng h¹n t¸c ®éng cña t¹p ©m, fading nhiÒu tia Multipath Fading.v.v.. V× ¶nh h­ëng cã tÝnh tÊt ®Þnh ®­îc xem lµ tr­êng hîp ®Æc biÖt cña thay ®æi ngÉu nhiªn, nªn mét c¸ch tæng qu¸t xem m«t h×nh to¸n häc cho kªnh truyÒn th«ng lµ sù phô thuéc ngÉu nhiªn gi÷a c¸c tÝn hiÖu vµo vµ ra. M« h×nh kªnh. Tr­êng hîp ®¬n gi¶n nhÊt, kªnh ®­îc m« h×nh ho¸ nh­ lµ x¸c suÊt cã ®iÒu kiÖn liªn hÖ gi÷a mçi ®Çu ra víi ®Çu vµo t­¬ng øng cña kªnh. Kªnh nh­ vËy ®­îc gäi lµ kªnh kh«ng nhí rêi r¹c (DMC- Discrete-Memoryless-Channel) vµ hoµn toµn ®­îc biÓu diÔn bëi c¸c ký hiÖu vµo X vµ ký hiÖu ®Çu ra Y cña kªnh vµ ma trËn x¸c suÊt truyÒn cña kªnh P(y|x) ®èi víi mäi xÎX vµ yÎY. Mét tr­êng hîp cô thÓ cña DMC lµ BSC-Binary Symmetric-Channel mµ ®­îc coi lµ m« h×nh to¸n häc cho viÖc truyÒn dÉn c¬ hai trªn kªnh Gaussian víi quyÕt ®Þnh cøng ë ®Çu ra. Kªnh ®èi xøng c¬ hai BSC t­¬ng øng víi tr­êng hîp X=Y={0,1} vµ P(y=0|x=1) = P(y=1|x=0) = e ®­îc cho ë h×nh 2.1. Th«ng sè e ®­îc gäi lµ x¸c suÊt giao nhau CrossOver cña kªnh. Dung l­îng kªnh hay kh¶ n¨ng th«ng qua cña kªnh. Theo ®Þnh nghÜa, kh¶ n¨ng th«ng qua cña kªnh lµ tèc ®é cùc ®¹i mµ t¹i tèc ®é nµy truyÒn th«ng tin trªn kªnh ®ã ®¶m b¶o ®­îc ®é tin cËy. Kh¶ n¨ng th«ng qua cña kªnh ®­îc ký hiÖu C; theo ®Þnh nghÜa nµy th× t¹i c¸c tèc ®é RC th× viÖc truyÒn tin trªn kªnh lµ kh«ng thÓ ®¶m b¶o tin cËy ®­îc. KÕt qu¶ c¬ b¶n lý thuyÕt th«ng tin cña Shanno ph¸t biÓu r»ng ®èi c¸c kªnh rêi r¹c kh«ng nhí th× kh¶ n¨ng th«ng qua ®­îc cho bëi biÓu thøc sau. (2.1) Trong ®ã I[X;Y] lµ l­îng th«ng tin chÐo trung b×nh gi÷a X (®Çu vµo kªnh) vµ Y (®Çu ra cña kªnh) viÖc cùc ®¹i ho¸ ®­îc thùc hiÖn trªn toµn bé ph©n phèi x¸c suÊt ®Çu vµo cña kªnh. Th«ng tin chÐo trung b×nh gi÷a hai biÕn ngÉu nhiªn X vµ Y ®­îc ®Þnh nghÜa lµ. (2.2) Trong ®ã: L­îng th«ng tin chÐo lÊy theo log c¬ sè 2 th× ®­îc ®¬n vÞ bit . M« h×nh kªnh BSC: Kh¶ n¨ng th«ng qua kªnh ®­îc cho bëi mèi quan hÖ ®¬n gi¶n h¬n. (2.3) Trong ®ã e lµ x¸c suÊt chÐo cña kªnh vµ Hb(.) thÓ hiÖn cho hµm Entropy c¬ hai. (2.4) M« h×nh kªnh AWGN: Kªnh t¹p ©m Gausian tr¾ng céng AWGN bÞ h¹n chÕ b¨ng vµ cã c«ng suÊt vµo h¹n chÕ. Kªnh nµy ®­îc m« h×nh ho¸ nh­ h×nh 2.2. Kªnh bÞ h¹n chÕ b¨ng trong kho¶ng [-B,B], t¹p ©m lµ Gaussian vµ tr¾ng cã mËt ®é phæ c«ng suÊt (hai biªn) N0/2, vµ ®Çu vµo kªnh lµ qu¸ tr×nh mµ tho¶ m·n c«ng suÊt vµo h¹n chÕ lµ P. Shammon ®· chØ ra r»ng kh¶ n¨ng th«ng qua cña kªnh nµy ®¬n vÞ bit/s ®­îc cho bëi. bit/s (2.5) §èi víi kªnh AWGN rêi r¹c theo thêi gian cã c«ng suÊt vµo h¹n chÕ P vµ ph­¬ng sai t¹p ©m s2, th× kh¶ n¨ng th«ng qua kªnh ®¬n vÞ bit/truyÒn dÉn ®­îc cho bëi. bits/kªnh (2.6) 2.2. Bµi tËp vµ ch­¬ng tr×nh: Dùa vµo quan hÖ hµm biÕn th«ng qua c¸c vÝ dô trong c¸c tµi liÖu, kh¶o s¸t gi¶i gi¸ trÞ cña biÕn sè t×m ®­îc gi¶i gi¸ trÞ cña hµm Þ thiÕt kÕ ch­¬ng tr×nh, thùc hiÖn ch­¬ng tr×nh trªn Matlab. Mçi bµi tËp thÓ hiÖn mèi quan hÖ hµm vµ biÕn ®­îc viÕt thµnh c¸c hµm Matlab kÕt qu¶ kh¶o s¸t quan hÖ hµm biÕn ®­îc thÓ hiÖn trùc quan b»ng ®å thÞ t­¬ng øng. Bµi tËp 1: Dung l­îng kªnh BSC D÷ liÖu c¬ hai ®­îc truyÒn trªn kªnh AWGN dïng BPSK vµ gi¶i m· quyÕt ®Þnh cøng ë ®Çu ra dïng t¸ch sãng läc thÝch hîp tèi ­u. VÏ x¸c suÊt lçi cña kªnh theo Eb/N0. Trong ®ã Eb n¨ng l­îng cña bit trong tÝn hiÖu BPSK vµ N0/2 lµ mËt ®é phæ c«ng suÊt t¹p ©m víi gi¶ thiÕt Eb/N0 thay ®æi trong ph¹m vi –20dB ®Õn 20dB. VÏ dung l­îng cña kªnh nh­ lµ hµm cña Eb/N0. Gi¶i: X¸c suÊt lçi cña BPSK víi t¸ch sãng tèi ­u (biªn giíi quyÕt ®Þnh tèi ­u) ®­îc cho bëi vÏ t­¬ng øng ®­îc cho ë h×nh 2.3 (xem tµi liÖu C¬ së kü thuËt truyÒn dÉn vi ba sè). H×nh 2.3: X¸c suÊt lçi cña BPSK Ta dïng mèi quan hÖ. Hb(.) thÓ hiÖn cho hµm Entropy c¬ hai (xem phô lôc1). §èi sè cña hµm lóc nµy lµ Þ biÕn sè Eb/N0. §Ó vÏ dung l­¬ng kªnh C theo Eb/N0. KÕt qu¶ ®­îc cho ë h×nh 2.4. H×nh 2.4: Dung l­îng kªnh theo Eb/N0 Tõ hai h×nh vÏ h·y nhËn xÐt c¸c quan hÖ hµm biÕn. Ch­¬ng tr×nh Matlab ®Ó thùc hiÖn bµi tËp nµy ®­îc cho ë file: CS81 function y=CS81() gamma_dB = [-20:0.1:20]; gamma =10.^(gamma_dB/10); P = Q(sqrt(2.*gamma)); if length(find(P<0))~=0 error('kh«ng ph¶i lµ vecor x¸c suÊt, thµnh phÇn ©m'); end k=length(P); for i=1:k h = -P.*log2(P)-(1-P).*log2(1-P); end Capacity = 1.- h; figure(1); semilogx(gamma,P); xlabel('SNR'); title('Xac suat loi theo SNR'); ylabel('Xac suat loi'); grid on; figure(2); semilogx(gamma,Capacity); xlabel('SNR'); title('Dung luong kenh theo SNR'); ylabel('Dung luong kenh'); grid on; function h = entropy(p) % H = ENTROPY(P) cho kÕt qu¶ tÝnh entropy cña vector x¸c suÊt P. if length(find(p<0))~=0 error('kh«ng ph¶i lµ vecor x¸c suÊt, thµnh phÇn ©m'); end if abs(sum(p)-1)>10e-10 error('kh«ng ph¶i lµ vecor x¸c suÊt, tæng c¸c phÇn tö lín h¬n 1'); end h=sum(-p.*log2(p)); Bµi tËp 2: Dung l­îng kªnh Gaussian VÏ dung l­îng kªnh AWGN cã ®é réng b¨ng B=3000Hz nh­ lµ hµm cña P/N0 (Eb/N0) khi gi¸ trÞ cña P/N0 n»m trong kho¶ng [-20 dB ®Õn 30dB]. VÏ dung l­îng kªnh AWGN cã P/N0 (Eb/N0) = 25dB nh­ lµ hµm cña B. §Æc biÖt xÐt xem xuÊt hiÖn ®iÌu g× ? khi B t¨ng ®Õn v« h¹n. Gi¶i: Tõ c«ng thøc. §Ó kh¶o s¸t cè ®Þnh ®é réng b¨ng th«ng B cña kªnh. KÕt qu¶ ch¹y ch­¬ng tr×nh ®­îc cho h×nh 2.5. H×nh 2.5: Dung l­îng kªnh AWGN cã W=3000Hz nh­ hµm cña Eb/N0 H×nh 2.6: Dung l­îng kªnh AWGN cã Eb/N0=25 dB theo (hµm cña) B KÕt qu¶ xÐt dung l­îng kªnh nh­ hµm cña ®é réng b¨ng ®­îc cho ë h×nh 2.6. §Ó kh¶o s¸t th× cè ®Þnh gi¸ trÞ Eb/N0 NhËn xÐt: Ta thÊy, d­êng nh­ khi tØ sè tÝn hiÖu trªn t¹p ©m P/N0 (SNR, Eb/N0) hoÆc ®é réng b¨ng cña kªnh B tiÕn ®Õn kh«ng, th× dung l­îng cña kªnh còng tiÕn ®Õn kh«ng. Tuy nhiªn, khi P/N0 hoÆc B tiÕn ®Õn v« h¹n, th× dung l­îng kªnh xem xÐt l¹i kh¸c. Þ Khi P/N0 tiÕn ®Õn v« h¹n th× dung l­îng kªnh còng tiÕn ®Õn v« h¹n nh­ ®­îc thÊy ë h×nh 2.5. Þ Khi B tiÕn ®Õn v« h¹n th× dung l­îng kªnh tiÕn ®Õn giíi h¹n nµo ®ã, nã ®­îc x¸c ®Þnh bëi P/N0. §Ó x¸c ®Þnh gi¸ trÞ giíi h¹n nµy, ta cã. Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS82 function y=CS82() disp('Nen nhap E_b/N_0 = [-20:0.1:30], va BW = 3000Hz'); SNR_dB=input('Ban hay nhap vector E_b/N_0 = '); SNR = 10.^(SNR_dB/10); BW = input('Ban hay nhap Bandwidth = '); Capacity = BW.*log2(1 + SNR/BW); figure(1); semilogx(SNR,Capacity); title('Dung luong kenh theo E_b/N_0 trong kenh AWGN'); xlabel('E_b/N_0'); ylabel('Dung luong kenh (bit/s)'); grid on; W=[1:10, 12:2:100, 105:5:500, 510:10:5000, 5025:25:20000, 20050:50:100000]; SNR_dB = 25; SNR=10.^(SNR_dB/10); Capacity = W.*log2(1 + SNR./W); figure(2); semilogx(W,Capacity); title('Dung luong kenh theo do rong bang W trong kenh AWGN'); xlabel('Do rong bang W(Hz)'); ylabel('Dung luong kenh (bit/s)'); grid on; Bµi tËp 3: Dung l­îng cña kªnh AWGN ®Çu vµo c¬ hai Kªnh AWGN ®Çu vµo c¬ hai ®­îc m« h×nh ho¸ bëi hai møc tÝn hiÖu vµo c¬ hai ± A vµ t¹p ©m Gaussian trung b×nh kh«ng cã ph­¬ng sai s2. Trong tr­êng hîp nµy, . VÏ dung l­îng cña kªnh nµy theo (hµm cña) A/s. Gi¶i: Do ®èi xøng nªn dung l­îng kªnh ®¹t ®­îc tõ ph©n phèi ®Çu vµo ®ång ®Òu - nghÜa lµ, cã . V× ph©n phèi ®Çu vµo nh­ vËy, nªn ph©n phèi ®Çu ra ®­îc cho bëi. vµ th«ng tin chÐo gi÷a c¸c ®Çu vµo ra ®­îc cho bëi. Thùc hiÖn lÊy tÝch ph©n vµ chuyÓn biÕn cho kÕt qu¶. Dïng quan hÖ nµy ®Ó tÝnh I(X;Y) cho c¸c gi¸ trÞ A/s kh¸c nhau vµ vÏ ®å thÞ quan hÖ gi÷a chóng. KÕt qu¶ vÏ ®­îc cho ë h×nh 2.7. Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS83. H×nh 2.7: Dung l­îng kªnh AWGN ®Çu vµo c¬ hai nh­ hµm cña SNR = A/s. Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS83 function y=CS83() a_dB=[-20:0.2:20]; a=10.^(a_dB/10); for i=1:length(a) f(i)=quad(@Quocanh , a(i)-5 , a(i)+5 , 1e-3 , [] , a(i) ); g(i)=quad(@Quocanh , -a(i)-5 , -a(i)+5 , 1e-3 , [] , -a(i) ); c(i)=0.5*f(i)+0.5*g(i); end semilogx(a,c); title('Dung luong kenh theo SNR trong kenh AWGN dau vao co hai'); xlabel('SNR'); ylabel('Dung luong kenh (bits/s)'); grid on; function y = Quocanh(u,a) A = 1./sqrt(2*pi).*exp((-(u-a).^2)/2); B = log2(2./(1 + exp(-2*a*u))); y = A.*B; Bµi tËp 4: [So s¸nh ph­¬ng ph¸p quyÕt ®Þnh cøng vµ quyÕt ®Þnh mÒm] Kªnh ®Çu vµo c¬ hai dïng hai møc ±A. §Çu ra cña kªnh lµ tæng cña tÝn hiÖu vµo vµ t¹p ©m AWGN cã trung b×nh kh«ng vµ ph­¬ng sai s2. Kªnh nµy ®­îc dïng trong hai tr­êng hîp. Tr­êng hîp1: Dïng ®Çu ra trùc tiÕp mµ kh«ng thùc hiÖn l­îng tö ho¸ (quyÕt ®Þnh cøng). Tr­êng hîp2: QuyÕt ®Þnh tèi ­u ®­îc thùc hiÖn trªn mçi møc ®Çu vµo (quyÕt ®Þnh mÒn). VÏ dung l­îng kªnh theo (hµm cña) A/s trong mçi tr­êng hîp. Gi¶i: Tr­êng hîp quyÕt ®Þnh mÒm t­¬ng tù nh­ bµi tËp 3. Tr­êng hîp quyÕt ®Þnh cøng, x¸c suÊt chÐo cña kªnh BSC lµ Q(A/s). V× vËy, dung l­îng kªnh ®­îc cho bëi. C¶ CH vµ CS ®Òu ®­îc cho ë h×nh 2.8. §Çu ra gi¶i m· quyÕt ®Þnh mÒm thùc hiÖn tèt h¬n gi¶i m· quyÕt ®Þnh cøng t¹i tÊt c¶ c¸c gi¸ trÞ A/s, nh­ ®­îc thÊy. Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS84. H×nh 2.8: Dung l­îng kªnh quyÕt ®Þnh cøng CH vµ quyÕt ®Þnh mÒm CS theo SNR =A/s Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS84 function y=CS84() a_dB=[-13:0.1:13]; a=10.^(a_dB/10); p = Q(a); k=length(p); for i=1:k h = -p.*log2(p)-(1-p).*log2(1-p); end c_hard = 1.- h; for i=1:length(a) f(i) = quad(@Quocanh , a(i)-5 , a(i)+5 , 1e-3 , [] , a(i) ); g(i) = quad(@Quocanh , -a(i)-5 , -a(i)+5 , 1e-3 , [] , -a(i) ); c_soft(i) = 0.5*f(i) + 0.5*g(i); end semilogx(a,c_soft,a,c_hard); title('Dung luong kenh theo SNR trong kenh AWGN dau vao co hai voi quyet dinh cung va mem'); xlabel('SNR'); ylabel('Dung luong kenh (bits/s)'); axis([0.1 10 0 1]); grid on; function y = Quocanh(u,a) A = 1./sqrt(2*pi).*exp((-(u-a).^2)/2); B = log2(2./(1 + exp(-2*a*u))); y = A.*B; Bµi tËp 5: [Dung l­îng kªnh theo ®é réng b¨ng vµ SNR] Dung l­îng cña kªnh AWGN h¹n chÕ b¨ng cã c«ng suÊt kh«ng ®æi P vµ ®é réng b¨ng B ®­îc cho bëi. VÏ dung l­îng kªnh nh­ hµm cña c¶ hai th«ng sè B vµ SNR (hay P/N0). Gi¶i: KÕt qu¶ vÏ ®­îc cho ë h×nh 2.9. l­u ý r»ng, khi SNR kh«ng ®æi th× viÖc vÏ chuyÓn thµnh h×nh 2.6. Khi B kh«ng ®æi th× viÖc vÏ chuyÓn thµnh h×nh 2.5. Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS85. H×nh 2.9: Dung l­îng kªnh nh­ hµm cña hai th«ng sè ®é réng b¨ng B vµ tØ sè tÝn hiÖu trªn t¹p ©m SNR trong kªnh AWGN Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS85 function y = CS85 w=[1:5:20, 25:20:100, 130:50:300, 400:100:1000, 1250:250:5000, 5500:500:10000]; SNR_dB = [-20:1:30]; SNR = 10.^(SNR_dB/10); for i=1:45 for j=1:51, c(i,j) = w(i) * log2(1 + SNR(j) / w(i) ); end end k=[0.9, 0.8, 0.5, 0.6]; s=[-70, 35]; surfl(w,SNR_dB,c',s,k); ylabel('E_b/N_0 (dB)'); xlabel('Do rong bang W(Hz)') zlabel('Dung luong kenh (bits/s)') title('Dung luong kenh theo W&SNR'); Bµi tËp 6: Dung l­îng kªnh AWGN rêi r¹c H·y vÏ dung l­îng kªnh AWGN rêi r¹c nh­ lµ hµm cña c«ng suÊt ®Çu vµo vµ ph­¬ng sai t¹p ©m. Gi¶i: KÕt qu¶ vÏ ®­îc cho ë h×nh 2.10. Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS86. H×nh 2.10: Dung l­îng kªnh AWGN rêi r¹c nh­ hµm cña c«ng suÊt tÝn hiÖu (P) vµ c«ng suÊt t¹p ©m (s2) Ch­¬ng tr×nh Matlab thùc hiÖn bµi tËp nµy ®­îc cho ë File: CS86 function y = CS86 p_dB=-20:1:20; np_dB=p_dB; p=10.^(p_dB/10); np=p; for i=1:41, for j=1:41, c(i,j)=0.5*log2(1+p(j)/np(i)); echo off; end end echo on; k=[0.9, 0.8, 0.5, 0.6]; s=[-70, 35]; surfl(np_dB,p_dB,c',s,k); ylabel('Power (dB)'); xlabel('Noise power (dB)') zlabel('Capacity (bits/s)') title('Capacity of the discrete-time AWGN channel as function of the signal power & noise power'); Phô lôc Kh¼ n¨ng th«ng qua hay dung l­îng kªnh (DÞch ch­¬ng II tµi liÖu Digital Communication t¸c gi¶ Simon Haykin 1988 ) 2.1. Th«ng tin, ®é bÊt ®Þnh, vµ Entropy XÐt nguån tin rêi r¹c ®­îc x¸c ®Þnh bëi. (2.1) Víi x¸c suÊt. P(S =sk) = Pk k = 0,1,2,...,K-1 (2.2) TÊt nhiªn tËp c¸c x¸c suÊt nµy ph¶i tho¶ m·n ®iÒu kiÖn. (2.3) Gi¶ thiÕt c¸c ký hiÖu ®­îc ph¸t tõ nguån trong c¸c kho¶ng thêi gian tÝn hiÖu liªn tiÕp lµ ®éc lËp thèng kª. Nguån cã c¸c thuéc tÝnh võa ®­îc m« t¶ ®­îc gäi lµ nguån kh«ng nhí rêi r¹c, kh«ng nhí cã nghÜa lµ ký hiÖu ®­îc ph¸t ®i ë thêi ®iÓm nµo ®ã lµ ®éc lËp víi tr­íc ®ã. ÞLµm thÕ nµo ®¸nh gi¸ l­îng tin cã trong nguån tin ®ã? ý t­ëng vÒ th«ng tin ®ã liªn quan mËt thiÕt víi ®é bÊt ®Þnh ”Uncertainty” hay “sù bÊt ngê Surprise” ®­îc ®Ò cËp sau ®©y. XÐt sù kiÖn S = sk, thÓ hiÖn viÖc ph¸t ký hiÖu sk tõ nguån tin víi x¸c suÊt pk nh­ ®­îc ®Þnh nghÜa ë ph­¬ng tr×nh (2.2). Râ rµng + NÕu x¸c suÊt pk = 1 vµ pi = 0 víi "i¹k, th× sÏ kh«ng cã ‘sù ng¹c nhiªn surprise’ vµ kh«ng cã ‘th«ng tin Information’ khi ký hiÖu sk ®­îc ph¸t. + NÕu x¸c suÊt xuÊt hiÖn cña ký hiÖu (sù kiÖn) tõ nguån tin pk cµng nhá th× l­îng tin chøa trong ®ã cµng lín vµ ng­îc l¹i. Þ V× vËy “®é bÊt ®Þnh Uncertainty”, “th«ng tin - Information”, “sù bÊt ngê - Surprise” tÊt c¶ ®­îc liªn quan víi nhau. Ta thÊy. + Tr­íc khi sù kiÖn S = sk x¶y ra, th× cã mét l­îng bÊt ®Þnh Uncertainty (l­îng tin tiªn nghiÖm tõ nguån tin Û l­îng tin cã trong nguån tin). + Khi sù kiÖn S = sk xÈy ra cã mét l­îng bÊt ngê Surprise. + Sau khi sù kiÖn S = sk xÈy ra, nhËn ®­îc mét l­îng tin. Râ rµng c¶ ba l­îng nµy nh­ nhau. Þ L­îng tin tû lÖ nghÞch víi x¸c suÊt xuÊt hiÖn. §Þnh nghÜa: (l­îng tin riªng cña mét sù kiÖn trong tËp c¸c sù kiÖn) L­îng tin nhËn ®­îc sau khi quan s¸t sù kiÖn S = sk, x¶y ra víi x¸c suÊt pk, lµ hµm logarithmic. (2.4) Thuéc tÝnh Tõ ®Þnh nghÜa béc lé c¸c thuéc tÝnh sau (Property). 1. (2.5) Û HiÓn nhiªn, nÕu biÕt ch¾c ch¾n vÒ kÕt côc cña sù kiÖn, kÓ c¶ khi tr­íc khi nã xÈy ra, th× kh«ng nhËn ®­îc th«ng tin g× c¶. 2. (2.6). Û Sù xuÊt hiÖn sù kiÖn S=sk cho ta th«ng tin hoÆc kh«ng nh­ng kh«ng bao giê g©y ra mÊt th«ng tin. 3. (2.7). Û Sù kiÖn xÈy ra cã x¸c suÊt cµng nhá, th× l­îng tin nhËn ®­îc cµng lín. 4. C¬ sè cña hµm logarit trong ph­¬ng tr×nh (2.4) lµ hoµn toµn tuú ý. Tuy nhiªn, ngµy nay chuÈn theo c¬ sè 2. §¬n vÞ th«ng tin ®­îc gäi lµ bit. V× vËy ta viÕt. (2.8). Khi pk=1/2, th× ta cã I(sk) = 1 bit. Þ §Þnh nghÜa bit: Mét bit lµ l­îng tin mµ ta nhËn ®­îc khi mét trong hai sù kiÖn cã thÓ cã vµ ®ång x¸c suÊt xÈy ra. One bit is the amount of information that we gain when one of two possible & equally likely (i.e., equiprobable) events occurs. L­u ý, bit còng liªn quan ®Õn sè nhÞ ph©n. Trong tµi liÖu, ta dïng thuËt ng÷ “bit” lµ ®¬n vÞ th«ng tin khi liªn hÖ néi dung th«ng tin cña nguån tin hoÆc ®Çu ra kªnh kªnh vµ lµ tõ cÊu t¹o ®Çu cho sè nhÞ ph©n khi liªn hÖ víi chuçi c¸c sè 0 vµ 1. L­îng tin I(sk) ®­îc t¹o ra bëi nguån tin trong kho¶ng thêi gian tÝn hiÖu nµo ®ã phô thuéc vµo ký hiÖu sk ®­îc ph¸t ®i bëi nguån ®ã t¹i thêi ®iÓm ®ã. Thùc vËy, I(sk) lµ biÕn ngÉu nhiªn rêi r¹c mµ nhËn c¸c gi¸ trÞ I(s0), I(s1),..., I(sK-1) víi c¸c x¸c suÊt t­¬ng øng p0,p1,p2,.....pK-1. Gi¸ trÞ trung b×nh cña I(sk) trªn nguån tin Á ®­îc cho bëi. (2.9) H(Á) ®­îc gäi Entropy cña nguån kh«ng nhí rêi r¹c víi Á. Nã ®¸nh gi¸ néi dung th«ng tin trung b×nh trªn ký hiÖu nguån tin. L­u ý r»ng Entropy H(Á) chØ phô thuéc vµo x¸c suÊt cña c¸c ký hiÖu trong b¶ng mÉu tù Á cña nguån tin. V× vËy Á trong H(Á) kh«ng ph¶i lµ ®èi sè cña hµm mµ chØ lµ nh·n cho nguån tin. Þ §Þnh nghÜa Entropy: Entropy cña nguån rêi r¹c ®­îc x¸c ®Þnh bëi ph­¬ng tr×nh 2.9 lµ trung b×nh thèng kª cña l­îng th«ng tin riªng cña c¸c tin thuéc nguån. (1) C¸c thuéc tÝnh cña Entropy. XÐt nguån rêi r¹c kh«ng nhí mµ m« h×nh to¸n häc cña nã ®­îc ®Þnh nghÜa bëi ph­¬ng tr×nh 2.1 vµ 2.2. Entropy H(Á) cña nguån tin ®­îc giíi h¹n nh­ sau. 0 £ H(Á) £ log2K (2.10). Trong ®ã: K lµ sè c¸c ký hiÖu cã trong tËp Á cña nguån tin. H¬n n÷a, ta cã thÓ ph¸t biÓu. H(Á) = 0 nÕu vµ chØ nÕu x¸c suÊt pk=1 víi mét sè k, vµ tÊt c¶ c¸c x¸c suÊt cßn l¹i trong tËp ®Òu b»ng kh«ng. Giíi h¹n d­íi Entropy t­¬ng øng víi sù bÊt ®Þnh kh«ng cã (kh«ng cã tin trong nguån tin). Chøng minh: Giíi h¹n d­íi- Lower Bound V× pk £ 1 nªn. + NÕu mçi x¸c suÊt pk 0. + NÕu pk=1 hay pk = 0 (nghÜa lµ pk=1 víi mét sè k th× tÊt c¶ c¸c x¸c suÊt cßn l¹i ®Òu b»ng 0) Þ Û H(Á) = 0 Þ KÕt hîp l¹i ta ®­îc H(Á) ³ 0 (§PCM) H(Á) = log2K, nÕu vµ chØ nÕu (nghÜa lµ tÊt c¶ c¸c ký hiÖu trong Á lµ ®ång x¸c suÊt suy ra tõ 2.9 vµ 2.3). Giíi h¹n trªn vÒ Entropy nµy t­¬ng ®­¬ng víi sù bÊt ®Þnh lín nhÊt (l­îng tin cã trong nguån tin lín nhÊt) Chøng minh Giíi h¹n trªn - Upper Bound Tõ tÝnh chÊt hµm logarithm ta cã (2.11). Cã thÓ kiÓm tra bÊt ®¼ng thøc nµy b»ng c¸ch vÏ hµm lnx vµ (x-1) theo x, ®­îc cho ë h×nh 2.1. ë ®©y ta thÊy r»ng ®­êng th¼ng (x-1) lu«n n»m trªn ®­êng cong . DÊu b»ng chØ xÈy ra t¹i ®iÓm x=1, t¹i ®©y ®­êng th¼ng (x-1) lµ ®­êng tiÕp tuyÕn víi ®­êng cong . TiÕp theo chøng minh, tr­íc hÕt xÐt hai ph©n phèi x¸c suÊt nµo ®ã {p0,p1,...,pK-1} vµ {q0,q1,...,qK-1} trªn tËp ký hiÖu Á = {s1,s2,...,sK} cña nguån tin kh«ng nhí rêi r¹c. Ta cã thÓ viÕt. Trong ®ã e lµ c¬ sè cña logarit tù nhiªn. V× vËy dïng bÊt ®¼ng thøc (2.11), ta ®­îc. VËy ta ®­îc. (2.12). DÊu b»ng chØ x¶y ra nÕu qk = pk víi "k. Gi¶ sö ®Æt (2.13) T­¬ng ®­¬ng víi Á cã c¸c ký hiÖu ®ång x¸c suÊt. Entropy cña nguån kh«ng nhí rêi r¹c cã ®Æc tÝnh nh­ vËy b»ng. (2.14) Þ Dïng ph­¬ng tr×nh 2.13 vµo 2.12 ta ®­îc. Mét c¸ch t­¬ng ®­¬ng, Entropy cña nguån kh«ng nhí rêi r¹c cã ph©n phèi x¸c suÊt tuú ý ®èi víi c¸c ký hiÖu thuéc b¶ng mÉu tù Á cña nã ®­îc giíi h¹n lµ. H(Á) £ log2K V× vËy, H(Á) lu«n nhá h¬n hoÆc b»ng log2K. DÊu b»ng chØ x¶y ra nÕu c¸c ký hiÖu trong Á ®ång x¸c xuÊt nh­ ph­¬ng tr×nh 2.13Þ VËy c«ng thøc 2.11 vµ 2.13 ®­îc chøng minh. VÝ dô1: Entropy cña nguån kh«ng nhí c¬ hai Entropy of Binary Memoryless Source. §Ó minh ho¹ thuéc tÝnh cña entropy H(Á), xÐt nguån tin c¬ hai trong ®ã ký hiÖu 0 xuÊt hiÖn víi x¸c suÊt p0 vµ ký hiÖu 1 xuÊt hiÖn víi x¸c suÊt p1 = 1- p0. Gi¶ thiÕt nguån kh«ng nhí ®Ó c¸c ký hiÖu liªn tiÕp ®­îc ph¸t ®i lµ ®éc lËp thèng kª nhau. Entropy cña nguån b»ng. (2.15) Ta l­u ý r»ng: Khi p0 = 0 th× H(Á) = 0. §iÒu nµy suy ra tõ thùc tÕ lµ . Khi p0 = 1 th× H(Á) = 0. Entropy H(Á) ®¹t gi¸ trÞ lín nhÊt (Hmax = 1 bit), khi p0 = p1 = 0,5 nghÜa lµ x¸c xuÊt ph¸t bÝt 0 vµ bit 1 nh­ nhau vµ b»ng 0,5. Hµm cña p0 ®­îc cho ë ph­¬ng tr×nh 2.15 th­êng ®­îc gÆp ph¶i trong c¸c bµi tËp vÒ lý thuyÕt th«ng tin. V× vËy th­êng Ên ®Þnh c¸c ký hiÖu cô thÓ cho hµm nµy. Cô thÓ ta ®Þnh nghÜa. (2.16) Ta coi H’(p0) lµ hµm Entropy. Nªn cÈn thËn trong viÖc ph©n biÖt gi÷a c¸c ph­¬ng tr×nh 2.15 & 2.16. H(Á) trong 2.15 cho biÕt entropy cña nguån kh«ng nhí rêi r¹c cã b¶ng mÉu tù nguån Á. MÆt kh¸c, H’(p0) trong ph­¬ng tr×nh 2.16 lµ mét hµm cña x¸c suÊt tiªn nghiÖm p0 ®­îc x¸c ®Þnh trªn kho¶ng [0,1]. Theo ®ã ta cã thÓ vÏ hµm entropy H’(p0) theo p0, ®­îc x¸c ®Þnh trªn kho¶ng [0,1] nh­ h×nh 2.2. Râ rµng ®­êng cong trong h×nh 2.2 nªu bËt ®­îc c¸c vÊn ®Ò ®­îc l­u ý 1,2,3. (2) Më réng cña nguån kh«ng nhí rêi r¹c: Trong viÖc th¶o luËn c¸c kh¸i niÖm lý thuyÕt th«ng tin, ta th­êng t×m c«ng cô h÷u hiÖu ®Ó xÐt c¸c khèi h¬n lµ xÐt c¸c ký hiÖu riªng lÎ, víi mçi khèi gåm n ký hiÖu nguån liªn tiÕp. Ta cã thÓ xem mçi khèi nh­ vËy khi nã ®ang ®­îc t¹o ra bëi mét nguån më réng cã Án nguån sao cho cã Kn khèi riªng, trong ®ã K lµ sè c¸c ký hiÖu riªng cã trong Á cña nguån ban ®Çu. Trong tr­êng hîp nguån kh«ng nhí rêi r¹c, th× c¸c ký hiÖu ®éc lËp thèng kª nhau. V× vËy x¸c suÊt cña ký hiÖu nguån trong Án b»ng tÝch c¸c x¸c suÊt cña n ký hiÖu nguån trong Á t¹o thµnh ký hiÖu nguån cô thÓ trong Án. V× vËy b»ng trùc gi¸c mong muèn H(Án), Entropy cña nguån më réng b»ng n lÇn H(Á), Entropy nguån ban ®Çu. NghÜa lµ, ta cã thÓ viÕt. H(Án) = n H(Á) (2.17) C¸c kªnh kh«ng nhí rêi r¹c - DMC Descrete Memoryless Channels Ta thay viÖc kh¶o s¸t t¹o tin b»ng viÖc truyÒn tin, d­íi gãc ®é nhÊn m¹nh ®é tin cËy. Tr­íc hÕt ®Ò cËp kªnh kh«ng nhí rêi r¹c, b¶n sao cña nguån kh«ng nhí rêi r¹c. Kªnh kh«ng nhí rêi r¹c lµ m« h×nh thèng kª víi: §Çu vµo X. §Çu ra Y lµ phiªn b¶n t¹p ©m cña X. Trong ®ã X vµ Y ®Òu lµ biÕn ngÉu nhiªn. Mçi ®¬n vÞ thêi gian, kªnh nhËn ký hiÖu ®Çu vµo X ®­îc chän tõ À vµ ®¸p øng ra b»ng c¸ch nã ph¸t ký hiÖu Y tõ Â. Kªnh ®­îc gäi lµ “rêi r¹c- Descrete” khi c¶ À vµ  ®Òu cã kÝch th­íc h÷u h¹n vµ ®­îc gäi lµ “kh«ng nhí Memoryless“ khi ký hiÖu ®Çu ra hiÖn thêi chØ phô thuéc ký hiÖu vµo hiÖn thêi vµ kh«ng phô thuéc vµo bÊt kú mét ký hiÖu vµo tr­íc ®ã. H×nh 2.7 cho minh ho¹ kªnh rêi r¹c kh«ng nhí. Kªnh ®­îc m« t¶ d­íi d¹ng c¸c ®Çu vµo vµ ®Çu ra nh­ sau. + C¸c ®Çu vµo: À = {x0,x1,....,xJ-1} (2.29) + C¸c ®Çu ra:  = {y0,y1,....,yJ-1} (2.30) + TËp c¸c x¸c suÊt truyÒn: (2.31) HiÓn nhiªn ta cã. (2.32) B¶ng mÉu tù ®Çu vµo À vµ ®Çu ra  kh«ng nhÊt thiÕt ph¶i cã cïng kÝch th­íc. VÝ dô: trong m· ho¸ kªnh kÝch th­íc ®Çu ra K cña  cã thÓ lín h¬n kÝch th­íc J cña ®Çu vµo À v× thÕ mµ K³J. MÆt kh¸c, ta gÆp ph¶i t×nh huèng trong ®ã kªnh ph¸t ra cïng mét ký hiÖu khi mét trong hai ký hiÖu ®Çu vµo ®­îc göi ®i khi ®ã K£J. X¸c suÊt truyÒn p(yk|xj) lµ x¸c suÊt cã ®iÒu kiÖn mµ ®Çy ra Y=yk, ®· biÕt ®Çu vµo X=xj. Do h¹n chÕ vÒ vËt lý lµm ¶nh h­ëng ®Õn ®é tin cËy khi truyÒn tin qua kªnh g©y ra lçi. V× vËy, khi k=j, th× x¸c suÊt truyÒn p(yk|xj) thÓ hiÖn x¸c suÊt thu cã ®iÒu kiÖn ®óng, vµ khi k¹j, thÓ hiÖn x¸c suÊt lçi cã ®iÒu kiÖn. Ph­¬ng ph¸p phæ biÕn ®Ó m« t¶ kªnh kh«ng nhí rêi r¹c lµ x¾p xÕp c¸c x¸c suÊt truyÒn cña kªnh d­íi d¹ng ma trËn nh­ sau. (2.33) Ma trËn P kÝch th­íc J´K ®­îc gäi lµ ma trËn kªnh (Channel Matrix). L­u ý mçi hµng cña ma trËn P t­¬ng øng víi ®Çu vµo kªnh cè ®Þnh (Fixed Channel Input), cßn mçi cét cña ma trËn P t­¬ng øng víi ®Çu ra kªnh cè ®Þnh (Fixed Channel Output). Còng cÇn l­u ý r»ng, thuéc tÝnh c¬ b¶n cña ma trËn kªnh P lµ tæng c¸c phÇn tö däc theo mét hµng nµo ®ã cña ma trËn lu«n b»ng 1, nghÜa lµ. (2.34). Gi¶ sö ®Çu vµo kªnh rêi r¹c kh«ng nhí ®­îc chän t­¬ng øng víi ph©n phèi x¸c suÊt {p(xj), j=0,1,...J-1}. Nãi c¸ch kh¸c, sù kiÖn ®Çu vµo X=xj xuÊt hiÖn víi x¸c suÊt P(xj) = P(X=xj) víi j = 0,1,...,J-1 (2.35) X¸c ®Þnh biÕn ngÉu nhiªn X biÓu thÞ cho ®Çu vµo kªnh, x¸c ®Þnh biÕn ngÉu nhiªn Y biÓu thÞ cho ®Çu ra kªnh. Ph©n phèi x¸c suÊt hîp cña c¸c biÕn ngÉu nhiªn X vµ Y ®­îc cho bëi. (2.36) Ph©n phèi x¸c suÊt mÐp (Marginal Probability Distribution) cña biÕn nhÉu nhiªn ra Y ®¹t ®­îc b»ng c¸ch lÊy trung b×nh phô thuéc cña p(xj,yk) trªn xj nh­ sau. (2.37) Víi J=K, th× x¸c suÊt lçi ký hiÖu trung b×nh Pe ®­îc x¸c ®Þnh lµ x¸c suÊt mµ biÕn ngÉu nhiªn ®Çu ra Yk kh¸c víi biÕn ngÉu nhiªn ®Çu vµo Xj, ®­îc lÊy trung b×nh trªn toµn bé k¹j. V× vËy ta viÕt. (2.38) Þ HiÖu (1- Pe) lµ x¸c suÊt thu ®óng trung b×nh. C¸c x¸c suÊt p(xj) víi j = 0,1,...,J-1, ®­îc coi lµ x¸c suÊt tiªn nghiÖm (Priori-probability) cña c¸c ký hiÖu vµo. Ph­¬ng tr×nh 2.37 cho biÕt: nÕu biÕt ®Çu vµo cã x¸c suÊt tiªn nghiÖm p(xj) vµ biÕt ma trËn kªnh, ma trËn x¸c suÊt truyÒn p(yk|xj) Þ th× tÝnh ®­îc x¸c suÊt ký hiÖu ra p(yk). PhÇn sau ta tæng kÕt l¹i, ta cho p(xj), p(yk|xj) trong tr­êng hîp nµy ta cã thÓ tÝnh p(yk) b»ng ph­¬ng tr×nh 2.37. VÝ dô 5: Kªnh nhÞ ph©n ®èi xøng BSC Binary Symmetric Channel. Kªnh BSC lµ tr­êng hîp cô thÓ cña kªnh kh«ng nhí rêi r¹c DMC víi J=K=2. Kªnh cã hai ký hiÖu ®Çu vµo (x0 = 0, x1 = 1) vµ hai ký hiÖu ®Çu ra (y0 = 0, y1 = 1). Kªnh ®­îc gäi lµ ®èi xøng v× x¸c suÊt thu ®­îc 1 nÕu 0 ®­îc göi ®i b»ng x¸c xuÊt thu ®­îc bit 0 nÕu bit 1 ®­îc göi ®i tøc lµ p(1|0) = p(0|1) Þ ma trËn kªnh lµ. X¸c suÊt truyÒn hoÆc x¸c suÊt lçi cã ®iÒu kiÖn ®­îc ký hiÖu lµ p. S¬ ®å x¸c suÊt truyÒn cña BSC ®­îc cho ë h×nh 2.8. 2.5: Th«ng tin chÐo Mutual Information. Ta h·y nghÜ vÒ ®Çu ra kªnh Y (®­îc chän tõ b¶ng mÉu tù Â) nh­ lµ phiªn b¶n t¹p ©m cña ®Çu vµo kªnh X (®­îc chän tõ b¶ng mÉu tù À) vµ Entropy H(À) lµ l­îng bÊt ®Þnh tiªn nghiÖm (prior uncertainty) vÒ X, lµm thÕ nµo cã thÓ ®¸nh gi¸ l­îng bÊt ®Þnh vÒ X sau khi quan s¸t ®­îc Y? §Ó tr¶ lêi c©u hái nµy, ta triÓn khai ý t­ëng ®· ®­îc ®Ò cËp trong phÇn 2.1 b»ng c¸ch x¸c ®Þnh Entropy cã ®iÒu kiÖn cña X ®­îc chän tõ b¶ng mÉu tù À khi biÕt Y=yk ®· x¶y ra nh­ H(À|Y=yk) = (2.39) L­îng nµy lµ b¶n th©n biÕn ngÉu nhiªn nhËn c¸c gi¸ trÞ H(À|Y=y0),H(À|Y=y1),....,H(À|Y=yK-1) víi c¸c x¸c suÊt p(y0),p(y1),...,p(yK-1). V× vËy, gi¸ trÞ trung b×nh cña H(À|Y=yk) trªn b¶ng mÉu tù ®Çu ra  ®­îc cho bëi. (2.40) ë dßng cuèi, ta ®· dïng ph­¬ng tr×nh 2.36 viÕt l¹i nh­ sau. . L­îng ®­îc gäi lµ Entropy cã ®iÒu kiÖn (Conditional Entropy). Nã thÓ hiÖn cho l­îng bÊt ®Þnh cßn l¹i ë ®Çu vµo kªnh sau khi ®Çu ra kªnh ®­îc quan s¸t. V× Entropy H(À) biÓu thÞ cho sù bÊt ®Þnh cña ta vÒ ®Çu vµo kªnh tr­íc khi quan s¸t ®Çu ra kªnh, vµ Entropy cã ®iÒu kiÖn biÓu thÞ sù bÊt ®Þnh cho ®Çu vµo kªnh sau khi quan s¸t ®Çu ra kªnh, theo ®ã sù chÕnh lÖch - ph¶i biÓu thÞ sù bÊt ®Þnh cho ®Çu vµo kªnh mµ ®­îc thñ tiªu b»ng c¸ch quan s¸t ®Çu ra kªnh. L­îng quan träng nµy ®­îc gäi lµ th«ng tin chÐo (Mutual Information) cña kªnh ®­îc ký hiÖu bëi , v× vËy ta cã thÓ viÕt. (2.41) (1) C¸c thuéc tÝnh th«ng tin chÐo. Thuéc tÝnh 1: Th«ng tin chÐo cña kªnh cã tÝnh ®èi xøng, nghÜa lµ. (2.42) Trong ®ã th«ng tin chÐo I(À,Â) lµ sè ®o møc ®é bÊt ®Þnh ®Çu vµo kªnh mµ bÞ thñ tiªu b»ng c¸ch quan s¸t ®Çu ra kªnh, vµ th«ng tin chÐo I(Â,À) lµ sè ®o cña sù bÊt ®Þnh vÒ ®Çu ra kªnh mµ bÞ thñ tiªu b»ng c¸ch göi ®Õn (sending) ®Çu vµo kªnh. Thuéc tÝnh 2: Th«ng tin chÐo lu«n lµ sè kh«ng ©m, nghÜa lµ. (2.47). Thuéc tÝnh 2 ph¸t biÓu r»ng, ta kh«ng thÓ lµm mÊt th«ng tin, trªn ph­¬ng diÖn trung b×nh b»ng c¸ch quan s¸t ®Çu ra cña kªnh. V¶ l¹i, th«ng tin trung b×nh b»ng kh«ng, nÕu vµ chØ nÕu c¸c ký hiÖu vµo ra cña kªnh lµ ®éc lËp thèng kª tøc lµ . Thuéc tÝnh 3: Th«ng tin chÐo cña kªnh cã thÓ ®­îc biÓu diÔn d­íi d¹ng Entropy ®Çu ra cña kªnh nh­ sau. (2.51) Trong ®ã: lµ Entropy cã ®iÒu kiÖn. Thuéc tÝnh nµy ®­îc suy ra tõ ®Þnh nghÜa 2.41 vÒ th«ng tin chÐo cña kªnh vµ thuéc tÝnh 1. Thuéc tÝnh 4: Th«ng tin chÐo cña kªnh liªn quan víi Entropy hîp cña ®Çu vµo ra kªnh. (2.52) Þ (2.56) Trong ®ã Entropy hîp ®­îc ®Þnh nghÜa bëi. (2.53). Ta kÕt luËn l­îng th«ng tin chÐo cña kªnh b»ng c¸ch thÓ hiÖn b»ng s¬ ®å cho c¸c ph­¬ng tr×nh 2.41 vµ 2.51 vµ 2.56 ®­îc cho ë h×nh vÏ sau. 2.6: Dung l­îng kªnh channel capacity C¬ së xÐt: §Ó ®¸nh gi¸ kªnh truyÒn ph¶i dùa trªn c¬ së chÊt l­îng truyÒn dÉn (Pe) Û xÐt m« h×nh kªnh sau ®­îc suy ra tõ I(À;Â) = H(À) – H(À|Â) M« h×nh kªnh kh«ng nhiÔu: lµ m« h×nh kªnh ®­îc x¸c ®Þnh bëi I(À;Â) = H(À) H(À) = H(Â) Þ p(xj) = p(yk) M« h×nh kªnh bÞ ®øt: lµ m« h×nh kªnh ®­îc x¸c ®Þnh bëi I(À;Â) = 0 Tin thu kh¸c hoµn toµn víi tin ph¸t. Nh­ vËy coi À &  lµ ®éc lËp nhau nªn p(xj|yk) = p(xj); p(yk|xj) = p (yk) vµ p(xj,yk) = p(xj)p(yk). khi nµy ta cã H(À|yk) = H(À) H(Â|xj) = H(Â) H(À|Â) = H(À) H(Â|À) = H(Â) M« h×nh kªnh cã nhiÔu lµ m« h×nh kªnh ®­îc x¸c ®Þnh bëi I(À;Â) = H(À) – H(À|Â) khi H(À|Â) ¹ 0 H(À|Â) l­îng th«ng tin tæn hao trung b×nh cña mçi tin ë phÝa ph¸t khi phÝa thu ®· thu ®­îc mét tin (dÊu) nµo ®ã. H(À) l­îng tin trung b×nh phÝa ph¸t göi ®i. XÐt kªnh rêi r¹c kh«ng nhí DMC víi tËp c¸c ®Çu vµo À, ®Çu ra  vµ x¸c suÊt truyÒn p(yk|xj). Th«ng tin chÐo cña kªnh ®­îc ®Þnh nghÜa bëi dßng thø nhÊt cña ph­¬ng tr×nh 2.46, ®Ó tiÖn lîi viÕt l¹i. (2.57) Trong ®ã l­u ý theo ph­¬ng tr×nh 2.36. (2.36) Tõ ph­¬ng tr×nh 2.37 ta cã. (2.37) Tõ c¸c ph­¬ng tr×nh nµy cho thÊy ®Ó tÝnh ®­îc th«ng tin chÐo I(À,Â) cña kªnhcÇn ph¶i biÕt: + Ph©n phèi x¸c suÊt ®µu vµo {p(xj), j=0,1,2,...,J-1}. + X¸c suÊt truyÒn cña kªnh p(yk|xj). Þ V× vËy th«ng tin chÐo I(À,Â) cña kªnh kh«ng chØ chØ phô thuéc vµo kªnh mµ cßn phô thuéc vµo c¸ch mµ kªnh ®ã ®­îc dïng. HiÓn nhiªn thÊy ph©n phèi x¸c suÊt ®Çu vµo {p(xj)} ®éc lËp víi kªnh. V× vËy ta cã thÓ cùc ®¹i ho¸ th«ng tin chÐo trung b×nh I(À,Â) cña kªnh theo {p(xj)}. Þ §Þnh nghÜa dung l­îng kªnh rêi r¹c kh«ng nhí DMC: Dung l­îng kªnh C cña DMC lµ th«ng tin chÐo trung b×nh cùc ®¹i MaxI(À,Â) ë mét kªnh ®¬n nµo ®ã (nghÜa lµ, kho¶ng thêi gian tÝn hiÖu), trong ®ã viÖc lÊy cùc ®¹i ho¸ ®­îc thùc hiÖn trªn toµn bé ph©n phèi x¸c suÊt ®Çu vµo {p(xj)} trªn À. Kh¶ n¨ng th«ng qua kªnh ký hiÖu C v× vËy ta cã thÓ viÕt. (2.58) Kh¶ n¨ng th«ng qua cña kªnh ®­îc ®o bëi ®¬n vÞ bits/kªnh (bits per channel use) ý nghÜa: §¸nh gi¸ chÊt l­îng kªnh truyÒn dùa trªn kh¶ n¨ng truyÒn ®óng Þ cho À ®Çu vµo kªnh ®Çu ra kªnh nhËn ®­îc lµ Â. NÕu À =  th× kªnh tèt Þ I(À,Â)Þmax. Ng­îc l¹i th× xÊu (xem h×nh 2.9). Khi kªnh bÞ ®øt th× À vµ  ®éc lËp nhau Þ I(À,Â)=0 Þ VËy ®¸nh gi¸ kh¶ n¨ng th«ng qua cña kªnh dù trªn th«ng tin chÐo gi÷a c¸c ký hiÖu ®Çu vµo ra cña kªnh. L­u ý r»ng dung l­îng kªnh C chØ lµ mét hµm cña x¸c suÊt truyÒn p(yk|xj), mµ x¸c ®Þnh kªnh ®ã. ViÖc tÝnh dung l­îng kªnh C bao gåm thùc hiÖn cùc ®¹i ho¸ th«ng tin chÐo trung b×nh I(À,Â) trªn c¸c biÕn J [nghÜa lµ, c¸c x¸c suÊt ®Çu vµo p(x0),p(x1),...,p(xJ-1)] cho c¶ bÊt ®¼ng thøc p(xj)³0 víi "j vµ ®¼ng thøc . Nãi chung, vÊn ®Ò t×m ra kh¶ n¨ng th«ng qua kªnh C cã thÓ hoµn toµn cã tÝnh th¸ch thøc. VÝ dô 6: Kªnh nhÞ ph©n ®èi xøng BSC. XÐt l¹i kªnh BSC, ®­îc m« t¶ bëi s¬ ®å x¸c suÊt truyÒn cña kªnh h×nh 2.8 S¬ ®å nµy x¸c ®Þnh hoµn toµn x¸c suÊt lçi cã ®iÒu kiÖn p. Do tÝnh ®èi xøng, dung l­îng kªnh C ®èi víi BSC ®¹t ®­îc víi x¸c suÊt ®Çu vµo kªnh p(x0)=p(x1)=1/2 (x¸c suÊt ph¸t ký hiÖu cña nguån tin). (2.59) Tõ h×nh 2.8, ta cã X¸c suÊt thu sai: p(y0|x1) = p(y1|x0) = p X¸c suÊt thu ®óng: p(y0|x0) = p(y1|x1) = 1- p. V× vËy thay c¸c x¸c suÊt truyÒn kªnh nµy vµo ph­¬ng tr×nh 2.57 víi J=K=2. (2.57) Vµ thay c¸c gi¸ trÞ p(x0)=p(x1)=1/2 vµo 2.16. (2.16) Þ Ta t×m ®­îc dung l­îng kªnh cña kªnh BSC theo x¸c suÊt lçi p (2.60) Dùa trªn ph­¬ng tr×nh 2.16 ta x¸c ®Þnh ®­îc hµm Entropy. (2.62) Dung l­îng kªnh C thay ®æi theo x¸c suÊt lçi p nh­ ®­îc cho ë h×nh 2.10 so s¸nh ®­êng cong nµy víi h×nh 2.2, ta cã c¸c nhËn xÐt sau. Khi kªnh lµ kªnh t¹p ©m tù do (Noise-Free kh«ng cã t¹p ©m), cho phÐp ta ®Æt x¸c suÊt lçi p = 0, th× dung l­îng kªnh C tiÕn ®Õn gi¸ trÞ cùc ®¹i cña nã lµ 1bit/kªnh, lµ th«ng tin chÝnh x¸c ë mçi ®Çu vµo. T¹i gi¸ trÞ p = 0 nµy, th× Entropy H(p) tiÕn ®Õn gi¸ trÞ nhá nhÊt cña nã lµ b»ng 0. Khi kªnh lµ kªnh t¹p ©m, t¹o ra x¸c suÊt truyÒn lçi p =1/2, th× dung l­îng kªnh C tiÕn ®Õn gi¸ trÞ cùc tiÓu cña nã b»ng 0, trong khÝ ®ã hµm Entropy H(p) tiÕn ®Õn gi¸ trÞ cùc ®¹i cña nã b»ng 1. Entropy vi ph©n & th«ng tin chÐo ®èi víi toµn bé liªn tôc Differential Entropy & Mutual Information for Continous Ensembles. C¸c nguån vµ kªnh ®­îc xÐt trong phÇn th¶o luËn vÒ c¸c kh¸i niÖm lý thuyÕt th«ng tin h¬n n÷a ph¶i chøa toµn bé c¸c biÕn ngÉu nhiªn mµ cã biªn ®é rêi r¹c. Trong phÇn nµy, ta më réng c¸c kh¸i niÖm ®ã cho c¸c biÕn ngÉu nhiªn liªn tôc vµ c¸c vector ngÉu nhiªn. §éng c¬ thóc ®Èy ®Õn viÖc më réng nµy lµ chuÈn bÞ ph­¬ng ph¸p ®Ó m« t¶ h¹n chÕ c¬ b¶n kh¸c trong lý thuyÕt th«ng tin. XÐt biÕn ngÉu nhiªn liªn tôc X cã hµm mËt ®é x¸c suÊt fX(x). T­¬ng tù víi Entropy cña biÕn ngÉu nhiªn rêi r¹c, ta ®­a ra ®Þnh nghÜa sau. (2.68) h(X) lµ entropy vi ph©n cña X ®Ó ph©n biÖt nã víi entropy tuyÖt ®èi hoÆc th«ng th­êng (ordinary or absolute entropy). Ta thõa nhËn thùc tÕ mÆc dï h(X) lµ l­îng chÝnh x¸c h÷u hiÖu ®Ó biÕt, nh­ng kh«ng lµm mÊt tÝnh ngÉu nhiªn cña X. Tuy nhiªn, ta ®· chøng minh dïng ph­¬ng tr×nh 2.68 nh­ sau. Ta b¾t ®Çu b»ng nh×n nhËn biÕn ngÉu nhiªn liªn tôc X nh­ lµ d¹ng giíi h¹n cña biÕn ngÉu nhiªn rêi r¹c mµ nã nhËn c¸c gi¸ trÞ xk = kDx trong ®ã k=0,±1, ±2,..., vµ DxÞ0. Theo ®Þnh nghÜa th× biÕn ngÉu nhiªn X nhËn gi¸ trÞ trong kho¶ng [xk,xk+Dx] víi x¸c suÊt fX(x)Dx. V× vËy, cho DxÞ0, entropy th«ng th­êng cña biÕn ngÉu nhiªn liªn tôc X cã thÓ ®­îc viÕt l¹i theo giíi h¹n nh­ sau. (2.69) Trong ®ã: ë dßng cuèi cïng ta ®· dïng ph­¬ng tr×nh 2.68 vµ thùc tÕ toµn bé vïng diÖn tÝch d­íi ®­êng cong hµm mËt ®é x¸c suÊt b»ng fX(x) = 1. Khi lÊy giíi h¹n, DxÞ0 th× log2DxÞµ. NghÜa lµ entropy cña biÕn ngÉu nhiªn liªn tôc lµ lín v« cïng. B»ng trùc gi¸c, ta mong muèn lµ ®óng, v× biÕn ngÉu nhiªn liªn tôc cã thÓ nhËn gi¸ trÞ bÊt kú trong kho¶ng [-µ,µ] vµ sù bÊt ®Þnh (l­îng th«ng tin) t­¬ng øng víi biÕn ®ã lµ v« h¹n. Þ Ta ng¨n ngõa vÊn ®Ò liªn quan ®Õn thµnh phÇn log2Dx b»ng c¸ch chÊp nhËn h(X) nh­ lµ Entropy vi ph©n, víi thµnh phÇn - log2Dx xem nh­ chuÈn (tham kh¶o). H¬n n÷a, do th«ng tin ®­îc ph¸t lªn kªnh lµ thùc nªn sù kh¸c nhau gi÷a hai thµnh phÇn entropy mµ cã chuÈn chung Þ th«ng tin sÏ gièng nh­ sù kh¸c nhau gi÷a hai thµnh phÇn entropy vi ph©n t­¬ng øng. V× vËy, ta hoµn toµn chøng minh ®­îc b»ng c¸ch dïng thµnh phÇn h(X), ®­îc ®Þnh nghÜa ë ph­¬ng tr×nh 2.68, nh­ lµ Entropy vi ph©n cña biÕn ngÉu nhiªn liªn tôc X. Khi ta cã vector ngÉu nhiªn liªn tôc X chøa n biÕn ngÉu nhiªn X1, X2,..,Xn, ta ®Þnh nghÜa entropy vi ph©n cña vector X nh­ tÝch ph©n bËc n. (2.70) Trong ®ã: fX(x) lµ hµm mËt ®é x¸c suÊt hîp cña X. VÝ dô: Maximum Differential Entropy for Specified Variance. Trong vÝ dô nµy, ta t×m ra lêi gi¶i cho vÊn ®Ò tèi ­u ho¸ ®­îc h¹n chÕ quan träng (Important Constrained Optimization Problem). Ta x¸c ®Þnh d¹ng mµ hµm mËt ®é x¸c suÊt cña biÕn ngÉu nhiªn X ph¶i cã ®Ó Entropy vi ph©n cña X nhËn gi¸ trÞ lín nhÊt cña nã ®èi víi mét sè gi¸ trÞ ph­¬ng sai ®­îc quy ®Þnh. D­íi d¹ng to¸n häc, ta ph¸t biÓu l¹i vÊn ®Ò nh­ sau. Víi entropy vi ph©n cña biÕn ngÉu nhiªn X ®­îc ®Þnh nghÜa bëi. T×m hµm mËt ®é x¸c suÊt fX(x) ®Ó h(X) ®¹t gi¸ trÞ max, víi gi¶ thiÕt hai h»ng sè sau. (2.71) vµ (2.72) Trong ®ã: m lµ trung b×nh vµ s2 lµ ph­¬ng sai cña X. C«ng thøc h(X) trong ph­¬ng tr×nh 2.68, ®­îc t¸i t¹o ë ®©y cã sù thay ®æi nhá. C«ng nhËn ph­¬ng sai cña X cã mét gi¸ trÞ quy ®Þnh, lµ quan träng (cã ý nghÜa) v× s2 lµ gi¸ trÞ ®¸nh gi¸ c«ng suÊt trung b×nh vµ ®Ó thùc hiÖn cùc ®¹i ho¸ entropy vi ph©n h(X) ph¶i gi¶ thiÕt c«ng suÊt kh«ng ®æi. KÕt qu¶ cña viÖc tèi ­u ho¸ Ðp buéc (Constrained Optimization) sÏ ®­îc khai th¸c ë phÇn 2.9. Ta dïng ph­¬ng ph¸p nh©n Lagrange ®Ó gi¶i bµi to¸n tèi ­u ho¸. Cô thÓ, Entropy vi ph©n h(X) sÏ tiÕn tíi gi¸ trÞ cùc ®¹i chØ khi tÝch ph©n lµ dõng C¸c th«ng sè l1 vµ l2 ®­îc biÕt nh­ lµ sè nh©n Lagrange (Lagrange Multiplier). NghÜa lµ, h(X) ®¹t max chØ khi ®¹o hµm cña tÝch ph©n. theo fX(x) b»ng kh«ng. Þ KÕt qu¶. Trong ®ã e lµ c¬ sè cña logarit tù nhiªn. Gi¶i ®èi víi fX(x) ta ®­îc. (2.73) L­u ý r»ng: l2 ph¶i lµ sè ©m nÕu tÝch ph©n cña fX(x) vµ (x-m)2 fX(x) theo x lµ héi tô. Thay ph­¬ng tr×nh 2.73 vµo ph­¬ng tr×nh 2.71 vµ 2.72, sau ®ã gi¶i ®Ó t×m l1 vµ l2. V× vËy, d¹ng mong muèn ®èi víi fX(x) ®­îc m« t¶ bëi. (2.74) Nã ®­îc nh×n nhËn nh­ hµm mËt ®é x¸c suÊt cña biÕn ngÉu nhiªn Gaussian X cã trung b×nh m vµ ph­¬ng sai s2. Gi¸ trÞ max cña entropy vi ph©n cña biÕn ngÉu nhiªn nh­ vËy ®¹t ®­îc b»ng c¸ch thay ph­¬ng tr×nh 2.74 vµo ph­¬ng tr×nh 2.68ÞKÕt qu¶ ®­îc. (2.75) Ta cã thÓ tæng kÕt l¹i vÝ dô nµy: Khi cho ph­¬ng sai s2, th× biÕn ngÉu nhiªn Gaussian cã mét entropy vi ph©n lín nhÊt cã thÓ ®¹t ®­îc bëi mét biÕn ngÉu nhiªn nµo ®ã. NghÜa lµ, nÕu X lµ mét biÕn ngÉu nhiªn Gausian vµ Y lµ mét biÕn ngÉu nhiªn kh¸c cã cïng ph­¬ng sai vµ gi¸ trÞ trung b×nh, th× víi "Y lu«n cã. (2.76). Trong ®ã dÊu b»ng x¶y ra khi vµ chØ khi X=Y. entropy cña biÕn ngÉu nhiªn Gausian X ®­îc x¸c ®Þnh duy nhÊt bëi ph­¬ng sai cña X (nghÜa lµ ph­¬ng sai cña X ®éc lËp víi trung b×nh cña X). Thùc vËy, v× thuéc tÝnh 1 mµ m« h×nh kªnh Gaussian ®­îc dïng phæ biÕn trong viÖc nghiªn cøu c¸c hÖ thèng viÔn th«ng. . Th«ng tin chÐo- Mutual Information. XÐt cÆp biÕn ngÉu nhiªn liªn tôc X vµ Y. T­¬ng tù ph­¬ng tr×nh 2.44. Ta ®Þnh nghÜa th«ng tin chÐo gi÷a biÕn ngÉu nhiªn liªn tôc X vµ Y nh­ sau. (2.77). Trong ®ã: fX,Y(x,y) lµ hµm mËt ®é x¸c suÊt hîp cña c¸c biÕn ngÉu nhiªn liªn tôc X & Y, vµ fX(x|y) lµ hµm mËt ®é x¸c suÊt cã ®iÒu kiÖn cña X khi ®· biÕt Y=y. Còng t­¬ng tù nh­ c¸c ph­¬ng tr×nh 2.42, 2.47, 2.41 & 2.51, ta t×m ®­îc th«ng tin chÐo I(X;Y) cã c¸c thuéc tÝnh sau. I(X;Y) = I(Y;X) (2.78) I(X;Y) ³ 0 (2.79) I(X;Y) = h(X) – h(X|Y) (2.80) I(X;Y) = h(Y) – h(Y|X). (2.81) Th«ng sè h(X) lµ entropy vi ph©n cña biÕn ngÉu nhiªn liªn tôc X & h(Y) lµ entropy vi ph©n cña biÕn ngÉu nhiªn liªn tôc Y. Th«ng sè h(X|Y) lµ entropy vi ph©n cã ®iÒu kiÖn cña biÕn ngÉu nhiªn liªn tôc X khi ®· cho Y; nã ®­îc ®Þnh nghÜa bëi tÝch ph©n kÐp sau. (2.82). Th«ng sè h(Y|X) lµ entropy vi ph©n cã ®iÒu kiÖn cña biÕn ngÉu nhiªn liªn tôc Y khi ®· cho X; nã ®­îc ®Þnh nghÜa t­¬ng tù nh­ h(X|Y). ®Þnh Lý dung l­îng kªnh channel capacity theorem Trong phÇn nµy ta biÓu diÔn giíi h¹n thø ba trong lý thuyÕt th«ng tin, nã ®­îc ®Þnh nghÜa bëi ®Þnh lý dung l­îng kªnh cho c¸c kªnh Gaussian cã b¨ng tÇn h¹n chÕ vµ c«ng suÊt h÷u h¹n. XÐt qu¸ tr×nh dõng trung b×nh kh«ng X(t) mµ b¨ng tÇn ®­îc giíi h¹n ®Õn B (Hz). Ký hiÖu Xk, k = 1,2,...,n, cho c¸c biÕn ngÉu nhiªn liªn tôc ®¹t ®­îc b»ng c¸ch lÊy mÉu ®ång ®Òu qu¸ tr×nh X(t) t¹i tèc ®é 2B mÉu trªn gi©y (trong ch­¬ng 4, chØ ra r»ng nÕu qu¸ tr×nh X(t) ®­îc giíi h¹n b¨ng trong kho¶ng tÇn sè –B £ f £ B, ®­îc lÊy mÉu t¹i tèc ®é lÊy mÉu lín h¬n hoÆc b»ng 2B mÉu trªn gi©y, th× qu¸ tr×nh gèc cã thÓ ®­îc kh«i phôc l¹i tõ c¸c mÉu cña nã ). C¸c mÉu nµy ®­îc ph¸t ®i trªn kªnh t¹p ©m trong T gi©y vµ còng ®­îc h¹n chÕ b¨ng B (Hz) (nghÜa lµ: kªnh bÞ h¹n chÕ b¨ng B Hz). V× vËy sè mÉu n ®­îc cho bëi n = 2BT (2.83) Coi Xk lµ mÉu tÝn hiÖu ph¸t. §Çu ra kªnh bÞ nhiÔu lo¹n (t¸c ®éng xÊu) bëi t¹p ©m Gaussian tr¾ng céng cã trung b×nh kh«ng vµ mËt ®é phæ c«ng suÊt N0/2. T¹p ©m bÞ h¹n chÕ b¨ng tíi B (Hz). Ký hiÖu c¸c biÕn ngÉu nhiªn liªn tôc Yk , k=1,2,....,n cho c¸c mÉu tÝn hiÖu thu nh­ ®­îc cho bëi. Yk = Xk + Nk k=1,2,...,n (2.84) MÉu t¹p ©m Nk lµ Gaussian cã trung b×nh 0 vµ ph­¬ng sai ®­îc cho bëi. s2 = N0´B (2.85). Ta gi¶ thiÕt c¸c mÉu Yk, k=1,2,...,n lµ ®éc lËp thèng kª. Kªnh mµ trong ®ã tÝn hiÖu thu vµ t¹p ©m nh­ ®· ®­îc m« t¶ gäi lµ kªnh Gaussian kh«ng nhí, rêi r¹c theo thêi gian (Discrete-time, memoryless gaussian). §Ó ph¸t biÓu ®Çy ®ñ ý nghÜa vÒ kªnh ®ã, ta ph¶i Ên ®Þnh chi phÝ (cost) cho mçi ®Çu vµo kªnh. Mét c¸ch ®iÓn h×nh, m¸y ph¸t ®­îc giíi h¹n c«ng suÊt. V× vËy, nã lµ lý do ®Ó x¸c ®Þnh chi phÝ nh­. E[X2k] = P k = 1,2,...,n (2.86) Trong ®ã P lµ c«ng suÊt ph¸t trung b×nh. Cho nªn, ta ®Þnh nghÜa dung l­îng kªnh nh­ sau. (2.87) Trong ®ã: I(Xk;Yk) lµ th«ng tin chÐo trung b×nh gi÷a mÉu tÝn hiÖu ph¸t Xk, vµ mÉu tÝn hiÖu thu Yk t­¬ng øng. Gi¸ trÞ Max ®­îc chØ ra ë ph­¬ng tr×nh 2.87 ®­îc thùc hiÖn theo hµm mËt ®é x¸c suÊt cña Xk, fXk(x). Th«ng tin chÐo trung b×nh I(Xk;Yk) cã thÓ ®­îc biÓu diÔn ë mét trong hai d¹ng t­¬ng ®­¬ng phï hîp víi c¸c ph­¬ng tr×nh 2.80 vµ 2.81. Víi môc ®Ých, ta dïng d¹ng ph­¬ng tr×nh 2.81, ph¸t biÓu l¹i nh­ sau. I(Xk;Yk) = h(Yk) – h(Yk|Xk) (2.88) V× Xk vµ Nk lµ c¸c biÕn ngÉu nhiªn ®éc lËp, vµ tæng cña chóng lµ Yk theo 2.84, ta thÊy r»ng entropy vi ph©n cã ®iÒu kiÖn cña Yk, khi ®· râ vÒ Xk b»ng víi entropy cã ®iÒu kiÖn cña Nk (xem bµi tËp ®Ò 2.8.4) h(Yk|Xk) = h(Nk) (2.89) V× vËy ta cã thÓ viÕt l¹i ph­¬ng tr×nh 2.88 nh­ sau. I(Xk;Yk) = h(Yk) – h(Nk) (2.90) V× h(Nk) ®éc lËp víi ph©n phèi cña Xk, thùc hiÖn ®¹i ho¸ I(Xk;Yk) theo ph­¬ng tr×nh 2.87 cÇn ph¶i cùc ®¹i ho¸ Entropy vi ph©n mÉu tÝn hiÖu thu Yk, h(Yk). §Ó h(Yk) lµ cùc ®¹i, th× Yk ph¶i lµ biÕn ngÉu nhiªn Gaussian (xem vÝ dô 8). NghÜa lµ c¸c mÉu tÝn hiÖu thu thÓ hiÖn qu¸ tr×nh tùa t¹p ©m (Noise-like process). Ta còng thÊy r»ng, do Nk lµ Gaussian theo gi¶ thiÕt, nªn mÉu Xk cña tÝn hiÖu ph¸t còng ph¶i lµ Gaussian. V× vËy ta cã thÓ ph¸t biÓu r»ng, viÖc thùc hiÖn cùc ®¹i ho¸ ®­îc chØ ra ë 2.87 ®¹t ®­îc b»ng c¸ch chän c¸c mÉu tÝn hiÖu ph¸t tõ qu¸ tr×nh tùa t¹p ©m c«ng suÊt trung b×nh P. V× lÏ ®ã, ta cã thÓ thµnh lËp l¹i c«ng thøc 2.87 nh­ sau. (2.91) Trong ®ã th«ng tin chÐo I(Xk;Yk) ®­îc cho trong ph­¬ng tr×nh 2.89. §Ó ­íc tÝnh dung l­îng kªnh C, ta xö lý 3 giai ®o¹n sau. Ph­¬ng sai cña mÉu tÝn hiªu thu Yk b»ng P + s2. V× vËy, dïng ph­¬ng tr×nh 2.75 ®­îc entropy vi ph©n cña Yk nh­ sau. (2.92) Ph­¬ng sai cña mÉu t¹p ©m Nk b»ng s2. V× vËy, dïng ph­¬ng tr×nh 2.75 ®­îc entropy vi ph©n cña Nk nh­ sau. (2.93) Thay ph­¬ng tr×nh 2.92 vµ 2.93 vµo ph­¬ng tr×nh 2.90 vµ chÊp nhËn ®Þnh nghÜa dung l­îng kªnh C ®­îc cho ë ph­¬ng tr×nh 2.91, ta thu ®­îc kÕt qu¶ mong muèn. (2.94) Víi kªnh ®ã ®­îc dïng n lÇn ®Ó truyÒn n mÉu cña qu¸ tr×nh X(t) trong T gi©y, th× ta t×m ®­îc dung l­îng kªnh trªn thêi gian ®¬n vÞ lµ (n/T) lÇn kÕt qu¶ ®­îc cho ë ph­¬ng tr×nh 2.94. Con sè n = 2BT, nh­ ph­¬ng tr×nh 2.83. Theo ®ã, ta cã thÓ biÓu diÔn dung l­îng kªnh C trªn thêi gian ®¬n vÞ nh­ sau. (2.95) Trong ®ã ta ®· dïng ph­¬ng tr×nh 2.85 ®èi víi ph­¬ng sai t¹p ©m s2. Dùa vµo c«ng thøc 2.95, ta cã thÓ ph¸t biÓu ®Þnh lý thø ba cña Shannon (næi tiÕng nhÊt)- ®Þnh lý dung l­îng kªnh nh­ sau. §Þnh lý dung l­îng kªnh truyÒn: Dung l­îng kªnh cã ®é réng b¨ng B (Hz), bÞ nhiÔu lo¹n bëi t¹p ©m Gaussian tr¾ng céng AWGN cã mËt ®é phæ c«ng suÊt N0/2 vµ bÞ giíi h¹n b¨ng th«ng B, ®­îc cho bëi Trong ®ã P lµ c«ng suÊt ph¸t trung b×nh. §Þnh lý dung l­îng kªnh lµ mét trong c¸c thµnh qu¶ quan träng nhÊt cña lý thuyÕt th«ng tin v× nã nªu bËt lªn ®­îc sù t¸c ®éng lÉn nhau m¹nh mÏ nhÊt gi÷a ba th«ng sè quan träng: §é réng b¨ng th«ng kªnh Channel Bandwidth, C«ng suÊt ph¸t trung b×nh Average Transmitted Power (mét c¸ch t­¬ng ®­¬ng c«ng suÊt tÝn hiÖu thu trung b×nh Average Received Signal Power), vµ mËt ®é phæ c«ng suÊt t¹p ©m Noise Power Spectral Density t¹i ®Çu ra kªnh truyÒn dÉn. §Þnh lý hµm ý r»ng: NÕu cho c«ng suÊt ph¸t trung b×nh P, ®é réng b¨ng th«ng cña kªnh B Þ ta cã thÓ truyÒn th«ng tin t¹i tèc ®é C bit/s nh­ ®­îc x¸c ®Þnh ë ph­¬ng tr×nh 2.95 víi x¸c suÊt lçi nhá tuú ý b»ng c¸ch dïng c¸c hÖ thèng m· ho¸ phøc t¹p thÝch hîp. Kh«ng thÓ truyÒn tin t¹i tèc ®é lín h¬n C bit/s bëi mét hÖ thèng m· ho¸ nµo ®ã mµ kh«ng cã lçi. Þ V× vËy ®Þnh lý dung l­îng kªnh truyÒn dÉn x¸c ®Þnh giíi h¹n c¬ b¶n vÒ tèc ®é truyÒn dÉn kh«ng lçi víi kªnh Gaussian h¹n chÕ b¨ng, c«ng suÊt giíi h¹n. Tuy nhiªn, ®Ó tiÕn tíi giíi h¹n nµy, th× tÝn hiÖu ph¸t ph¶i cã thuéc tÝnh thèng kª xÊp xØ víi c¸c thuéc tÝnh cña t¹p ©m Gaussian tr¾ng. HÖ thèng lý t­ëng: Ideal System Ta ®Þnh nghÜa hÖ thèng lý t­ëng lµ hÖ thèng mµ d÷ liÖu ph¸t t¹i tèc ®é bit Rb b»ng víi dung l­îng kªnh C (Rb = C). Ta biÓu diÔn c«ng suÊt ph¸t trung b×nh nh­ sau. P = Eb´C = Eb´Rb (2.96) Trong ®ã: Eb lµ n¨ng l­îng tÝn hiÖu ph¸t trªn bit. Theo ®ã, hÖ thèng lý t­ëng ®­îc ®Þnh nghÜa bëi. (2.97) Mét c¸ch t­¬ng ®­¬ng, ta cã thÓ ®Þnh nghÜa tØ sè gi÷a n¨ng l­îng trªn bit (Eb) trªn mËt ®é phæ c«ng suÊt t¹p ©m (N0), d­íi d¹ng hiÖu qu¶ sö dông b¨ng th«ng (Bandwidth Efficiency), C/B cho hÖ thèng lý t­ëng nh­ sau. (2.98) Ph­¬ng tr×nh nµy ®­îc thÓ hiÖn nh­ ®­êng cong ®­îc ®¸nh nh·n “biªn giíi dung l­îng kªnh Capacity Boundary” ë h×nh 2.14. VÏ hiÖu qu¶ sö dông b¨ng th«ng Rb/B theo Eb/N0 nh­ ®­îc cho ë h×nh 2.14 ®­îc gäi lµ s¬ ®å hiÖu qu¶ sö dông b¨ng th«ng. Dùa trªn s¬ ®å nµy ta cã mét sè nhËn xÐt sau. Víi ®é réng b¨ng th«ng v« h¹n, th× tØ sè gi÷a n¨ng l­îng tÝn hiÖu trªn mËt ®é t¹p ©m Eb/N0 tiÕn ®Õn gi¸ trÞ h÷u h¹n. (2.99) Gi¸ trÞ nµy ®­îc gäi lµ giíi h¹n Shannon (Shannon limit), biÓu diÔn theo ®¬n vÞ dB th× nã b¨ng –1,6 dB. Gi¸ trÞ giíi h¹n dung l­îng kªnh t­¬ng øng ®¹t ®­îc b»ng c¸ch cho ®é réng b¨ng th«ng kªnh B Þµ ta t×m ®­îc nh­ sau. (2.100) Ranh giíi dung l­îng kªnh (Capacity Boundary), ®­îc x¸c ®Þnh bëi ®­êng cong víi tèc ®é bit tíi h¹n Rb = C, ng¨n c¸ch sù kÕt hîp c¸c th«ng sè hÖ thèng mµ cã kh¶ n¨ng trî gióp cho viÖc truyÒn dÉn kh«ng lçi (Rb C) th× truyÒn dÉn kh«ng lçi lµ kh«ng thÓ ®­îc. S¬ ®å nªu bËt sù dung hoµ (trade-off) gi÷a Eb/N0, Rb/B vµ x¸c suÊt lçi ký hiÖu Pe. Thùc tÕ, ta cã thÓ nh×n nhËn sù di chuyÓn cña c¸c ®iÓm lµm viÖc däc theo ®­êng n»m ngang nh­ quan hÖ Pe theo Eb/N0 khi cè ®Þnh Rb/B. MÆt kh¸c, ta cã thÓ xÐt sù di chuyÓn c¸c ®iÓm lµm viÖc däc theo ®­êng th¼ng ®øng nh­ quan hÖ gi÷a Pe theo Rb/B khi cè ®Þnh gi¸ trÞ Eb/N0. Giíi h¹n Shannon còng cã thÓ ®­îc x¸c ®Þnh d­íi d¹ng Eb/N0 theo yªu cÇu cña hÖ thèng lý t­ëng ®èi víi truyÒn dÉn kh«ng lçi cã thÓ ®­îc. Ta cã thÓ viÕt cho hÖ thèng lý t­ëng . (2.101) Quan ®iÓm nµy vÒ hÖ thèng lý tëng ®­îc m« t¶ trong h×nh 2.15. Ranh giíi gi÷a truyÒn dÉn kh«ng lçi vµ truyÒn dÉn kh«ng kh¶ tin cã c¸c lçi cã thÓ x¶y ra ®­îc ®Þnh nghÜa bëi giíi h¹n Shannon trong h×nh 2.15 t­¬ng tù nh­ ranh giíi dung l­îng kªnh trong h×nh 2.14.