Đề tài Nghiên cứu về cách xây dựng mạng phân cụm kết hợp hai hướng mờ - FBACN

1. Giới thiệu Đề tài tập trung đi sâu nghiên cứu về cách xây dựng mạng phân cụm kết hợp hai hướng mờ - FBACN. Mạng này được phát triển phục vụ cho vấn đề tối ưu các ràng buộc với các hàm mục tiêu. Cấu trúc mạng bao gồm hai lớp mạng hồi quy được đưa ra cho phân cụm mờ dựa trên phương pháp hàm mục tiêu. 2. Phân cụm mờ 2.1. Vấn đề phân cụm mờ Thông thường, mỗi phương pháp PCDL phân một tập dữ liệu ban đầu thành các cụm dữ liệu có tính tự nhiên và mỗi đối tượng dữ liệu chỉ thuộc về một cụm dữ liệu, phương pháp này chỉ phù hợp với việc khám phá ra các cụm có mật độ cao và rời nhau (phân cụm rõ). Tuy nhiên, trong thực tế, các cụm dữ liệu lại có thể chồng lên nhau, nghĩa là một số các đối tượng dữ liệu thuộc về nhiều các cụm khác nhau, người ta đã áp dụng lý thuyết về tập mờ trong PCDL để giải quyết cho trường hợp này, cách thức kết hợp này được gọi là phân cụm mờ. Trong phương pháp phân cụm mờ, độ phụ thuộc của đối tượng dữ liệu xk tới cụm thứ i (uik) có giá trị thuộc đoạn [0,1]. Ý tưởng trên đã được giới thiệu bởi Ruspini (1969) và được Dunn áp dụng năm 1973 nhằm xây dựng một phương pháp phân cụm mờ dựa trên tối thiểu hoá hàm mục tiêu. Bezdek (1982) đã tổng quát hoá phương pháp này và xây dựng thành thuật toán phân cụm mờ c-means có sử dụng trọng số mũ. K-means là thuật toán PCDL rõ và c-means là thuật toán phân cụm mờ tương ứng, hai thuật toán này cùng sử dụng chung một chiến lược phân cụm dữ liệu. Thuật toán c-means mờ hay còn gọi tắt là thuật toán FCM (Fuzzy C means - FCM) đã được áp dụng thành công trong giải quyết một số lớn các bài toán PCDL như trong nhận dạng mẫu, xử lý ảnh, y học, … Tuy nhiên, nhược điểm lớn nhất của thuật toán FCM là nhạy cảm với các nhiễu và phần tử ngoại lai trong dữ liệu, nghĩa là các trung tâm cụm có thể nằm xa so với trung tâm thực của cụm. Đã có nhiều các phương pháp đề xuất để cải tiến cho nhược điểm trên của thuật toán FCM bao gồm : Phân cụm dựa trên xác suất (keller, 1993), phân cụm nhiễu mờ (Dave, 1991), Phân cụm dựa trên toán tử LP Norm (Kersten, 1999). Thuật toán ε - Insensitive Fuzzy C-means (ε FCM). 2.2. Hàm mục tiêu Một cách phổ biến trong PCDL là tối thiểu hoá hàm mục tiêu nhằm để đo chất lượng của phân hoạch. Trong phân cụm mờ, tổng tất cả các phân hoạch mờ có c cụm dữ liệu của tập dữ liệu có N đối tượng trong không gian D chiều được xác định như sau: -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 1 ⎪⎭ ⎪⎬ ⎫ ⎪⎩ ⎪⎨ ⎧ <<=∈ ≤≤∧≤≤ ∈= ∑ ∑∀ = = c i N k ikikikcNfc N Nkci U uuuRM 1 1 0,1],1,0[ 11 | (1) Trong đó : là không gian của tất cả các ma trận thực cấp c*N, uRcN ik là các phần tử của ma trận U. Hàm mục tiêu của phân cụm mờ được định nghĩa như sau : ∑∑ = = = c i N k ik m m duZ ikVU 1 1 2)(),( (2) Trong đó : M fcU ∈ , V=[v1, v2, …, vc] Rpc∈ là ma trận mẫu biểu diễn các giá trị đối tượng tâm của cụm, m là trọng số mũ nằm trong (1,∞ ). Hơn nữa, được xác định như sau : d ik )()(||2 vxvxvxd ik T Gik Gikik −== −− (3) Trong đó : G là ma trận hữu hạn dương 3. Xây dựng mạng nơron phân cụm kết hợp hai hướng mờ (FBACN) bằng việc sử dụng mạng đa khớp nối Layer 1 Tối ưu các trung tâm cụm vi recursion1 Layer 2 Tối ưu các độ thuộc ui,k recursion2 vi’s ui’s recursion3 Hình 1 : Mô hình FBACN FBACN sử dụng các mạng nơron đa khớp nối, không gắn trực tiếp các công thức của fuzzy c-means. Cấu trúc của FBACN được đưa ra như hình 1. Lớp hồi quy layer1 (recursion1) được thực hiện bởi một mạng Hopfield để tối ưu hoá các trung tâm cụm. Trong khi đó lớp hồi quy layer2 (recursion2) được thực hiện bởi một mạng nơron đa khớp nối để tối ưu các độ thuộc. Kết hợp layer1 và layer2 tạo thành lớp hồi quy 3 (recursion3). -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 2 Hoạt động của FBACN được mô tả như sau: thứ nhất là khởi tạo ngẫu nhiên các trung tâm cụm và độ thuộc thành viên của layer1 và layer2 tương ứng. Thứ 2, khởi tạo các độ thuộc thành viên trong layer2 sẽ được truyền sang layer1. Thứ 3, dựa trên việc nhận được các độ thuộc thành viên, layer1 thực hiện quá trình hồi quy để thu được các trung tâm cụm tối ưu mới. Thứ 4, các trung tâm cụm mới của layer1 truyền sang layer2. Thứ 5, dựa trên việc nhận được các trung tâm cụm mới, thực hiện quá trình hồi quy để thu được độ thuộc thành viên tối ưu mới. Việc hoàn tất quá trình trên từ bước 2 đến bước 5 được gọi là quá trình lặp. Quá trình lặp diễn ra cho tới khi nào đạt tới một tiêu chuẩn tới hạn. 3.1. Xây dựng lớp mạng layer1 cho tối ưu các trung tâm cụm 1 s 2 f f f v1 v2 vs w11 w21 ws1 w12 w22 ws1 w1s w2s wss i1 i2 is net1 net2 nets v1 v2 vs M M Hình 2: Layer1 của FBACN Lớp mạng Layer1 sử dụng mô hình mạng Hopfield, chức năng tối ưu hóa các trung tâm cụm. Ma trận đại diện tổng đầu vào mạng: NET = W.V +I (4) Với NET = , W = , V = và I = (5) ⎥⎥ ⎥⎥ ⎦ ⎤ ⎢⎢ ⎢⎢ ⎣ ⎡ snet net net M 2 1 ⎥⎥ ⎥⎥ ⎦ ⎤ ⎢⎢ ⎢⎢ ⎣ ⎡ sss21 2s2221 1s1211 w... w w... w w... w sw w w MOMM ⎥⎥ ⎥⎥ ⎦ ⎤ ⎢⎢ ⎢⎢ ⎣ ⎡ sv v v M 2 1 ⎥⎥ ⎥⎥ ⎦ ⎤ ⎢⎢ ⎢⎢ ⎣ ⎡ si i i M 2 1 - Tính động của mạng (cho mỗi nơron thứ j), với g là chỉ số hồi quy -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 3 (6) - Để tối thiểu hoá hàm mục tiêu Zm, sự cần thiết phải xây dựng hàm năng lượng tính toán E cho Layer1 bằng các thêm các thành phần tương ứng vào công thức (4), ta được (7) (7) ∑− j jj j j vvv2 E ∑∑ == = = ss s i iji iw 11 1 1- - Biến đổi hàm mục tiêu (*) để phù hợp quá trình đối sánh với hàm năng lượng của mạng (loại bỏ sự tồn tại dạng véc tơ, gán lại nhãn, loại bỏ thành phần hằng số) (8) - Đối sánh giữa hàm năng lượng E và hàm mục tiêu Zm tìm ra các giá trị của các ma trận W, I. Chi tiết như công thức (10) (10) • Quá trình tối ưu của Layer1 - Tính toán vectơ năng lượng gradient của (4) ta được (11) - Sự thay đổi trong mỗi bước tiến hoá của mạng (12) - Xây dựng hàm kích hoạt rời rạc (13) Với δ là hệ số cập nhật giá trị dương nhỏ để điều chỉnh vj. Quan sát rằng nếu netj(g)≥0 thì ∆vj = - =)1( +gjv )(gjv jδ >0. Điều này dẫn đến sự thay đổi năng lượng, ≤ 0 trong công thức (12) có giá trị âm. Khi netj s j vnetE Δ−=Δ ∑ =1 j (g) <0, ∆vj = -)( 1+gjv [ ]+ vxv )()2V)(U;Z ∑∑∑ = = = +×−+×−−= n k l i l lpi m kilklpi m ki uu 1 1 1 2 )1(,,)1(,m ( p NETE −=∇ j s j j vnet Δ−=ΔE ∑ =1 ( )( ) ( ) ( )( ) ( )⎪⎩ ⎪⎨ ⎧ <−= + 0 if if 1( g jj g j gg jg j g j netv netv net δ ≥++ 0 ) jjfv δ j -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 4 )( g jv = - jδ <0, điều này cũng đem lại < 0 . Do đó một hàm kích hoạt rời rạc như (13) bảo đảm rằng giá trị của (8) sẽ giảm xuống trong quá trình hồi quy layer1. Khuynh hướng đạt đến năng lượng thấp sẽ tác động làm cho các v j s j vnetE Δ−=Δ ∑ =1 i ’s xuất hiện tốt hơn. 3.2. Xây dựng lớp mạng layer2 cho tối ưu các độ thuộc - Chức năng là tối ưu các uik - Biến đổi hàm mục tiêu Zm thuận lợi cho quá trình đối sánh sau này bằng các loại bỏ các thành phần hằng số, dạng véc tơ, và gán lại nhãn, ta được công thức (14). (14) - Tồn tại dưới dạng bậc cao, thúc đẩy phát triển mạng đa khớp nối. - Mô hình mạng đa khớp nối được sử cho Layer2 1−m su 1−m su 1 2 s f f f h h h u1 11 −mu u2 12 −mu us i1 i2 is net1 net2 nets u2 us w11 1 1 −mu 1 2 −muM M z21 zs1 u1 w21 w31 z11 Hình 3: Layer2 của FBACN - Ma trận đầu vào mạng: NET = W.U + Z.U + I (15) - Tính động của mạng: (16) ( ) ( )( ) ⎟⎠⎝ += ji iufu )) ⎞⎜⎛ += ∑= −+ jsi gimgijigjgj zuwfnet 1 (1)()(1( - Để tối thiểu hóa hàm mục tiêu, một cách tương tự như Layer1, ta thiết lập hàm năng lượng, sau đó đối sánh để tìm ra các giá trị của các ma trân: W, Z, I. -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 5 • Quá trình tối ưu của Layer2 - Vectơ năng lượng gradient được tính toán liên quan đến uj j j net u E δ δ −= - Hàm kích hoạt rời rạc được đưa ra (17) ( ) ( ) ( ) ( ) ( )⎪⎩ ⎪⎨ ⎧ <− ≥+==+ 0 if 0 if jjj)()1( g jj g j gg g j g j netu netu netfu δ δ - Với vectơ năng lượng gradient luôn âm và công thức (17), đảm bảo mạng Layer2 sẽ tối ưu trong quá trình tiến hoá. 4. Sự hội tụ của FBACN Một yếu tố quan trọng cho mạng hồi quy đó là khả năng ổn định của mạng. Trước khi đưa ra tính ổn định của mạng FBACN, chúng ta sẽ bắt đầu với một vài định nghĩa về không gian metric và định lý đưa ra bởi Steck và sau đó là một định lý hội tụ phổ quát. Định nghĩa 1. Một không gian metric trên tập X nếu trên nó có một hàm giá trị thực d xác định trên XxX, có một số tính chất sau: 1) d(x,y)≥0, với x,y∈X. 2) d(x,y)=0, nếu x=y. 3) d(x,y)=d(y,x), với x,y∈X. 4) d(x,z) ≤ d(x,y)+d(y,z), x,y,z∈X Dịnh nghĩa 2. X là một không gian metric với một metric d và đặt Φ là một hàm xác định từ X vào X, thì điểm x ∈ X được gọi là một điểm cố định nếu Φ(x) = x. Định nghĩa 3. Φ là một sự thu gọn (contraction) nếu tồn tại một điểm c*, 0<c*<1, sao cho d(Φ(x),Φ(y)) ≤ c*.d(x,y), với x,y ∈ X. (18) phương pháp ánh xạ thu gọn : Một ánh xạ thu gọn của không gian metric đầy đủ có chính xác một điểm cố định [19]. Định lý 1: Ứng với một mạng nơron hồi quy kết nối đầy đủ gồm s nơron với tính động kích hoạt sau: -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 6 ( ) ( )( ) js i g iji g j inetfwnet += ∑ = + 1 1 (19) Với f là hàm thực khả vi liên tục, có giới hạn và nếu các điều kiện sau thoả mãn s cwf ji 1<<′ **max với 1≤ i & j≤ s (20) thì mạng hội tụ tới một điểm duy nhất với bất kỳ giá trị khởi tạo nào [20][21]. Bổ đề: Với f là hàm thực khả vi liên tục có giới hạn thì với mọi x, y ta có R ∈ ( ) ( ) yxfyfxf −≤− 'max (21) Dựa vào các định nghĩa, định lý và bổ đề ở trên, một phương pháp hội tụ phổ biến cho mạng nơron đa khớp nối được đưa ra như sau: Định lý 2: (đối với mạng nơron đa khớp nối) Ứng với mạng nơron đa khớp nối gồm s nơron có hai trọng số wji và zji và có tính động kích hoạt sau ( ) (22) ( )( )( ) ( ) jgijims i g iji g j inetfznetfwnet ++= ∑ = + 1 1 với f là hàm thực khả vi, liên tục và có giới hạn, có các điều kiện sau thoả mãn ( ) s cwfwf jiji m 11 <<′+− **max'max (23) với 1 ≤ i&j ≤ s Thì mạng hội tụ tới một điểm cố định duy nhất với bất kỳ giá trị khởi tạo nào. Kết luận Quá trình tính toán và chứng minh, ta có được kết quả sau: - Với Layer1, mạng thoả mãn giả thuyết của định lý 1, nên mạng hội tụ - Với Layer2, mạng thoả mãn giả thuyết của định lý 2, nên mạng hội tụ 5. Giải thuật của FBACN Các bước thực hiện sau: 1). Thiết lập các giá trị c, m, λ, ε và các hệ số iδv, iδu trong các layer1, layer2 tương ứng 2). Thiết lập các hệ số ∆v, ∆u cho layer1, layer2 tương ứng -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 7 3). Khởi tạo ngẫu nhiên , trong layer1 với i=1,2…,c và =1,2,…,p và ( ) lpiv +− *1 l các độ thuộc thành viên [ui,k]Є Mfc trong layer2 với i=1,2,...,c và k=1,2,…,n 4). Gán δvj = iδv và δuj = iδu và net(0)j =0 với mọi j=1,2..s (s=c*p trong layer1 và s=n*c trong layer2) 5). Thiết lập chỉ số hồi quy g=1 cho layer1 6). Trong layer1: Tính ma trận W theo công thức(3.12), ma trận I theo công (3.11), và ma trận NET theo công thức (3.4) 6 Step goto and 1g:g Else Step10 goto then ))Δ(δ&...&)Δ(δ&)Δ((δ IF 9). v: velse v: then v0net if s to1jFor 8). 2 δ :δ then 0 net . net if s to1jFor 7). vvsvv2vv1 vjjj vjjj g j vj vj 1g j g j += ≤≤≤ −= +=≥ = =< = − δ δ 10). Đặt g=1 cho layer2 11). Trong layer2: Tính ma trận W theo công thức (3.23), Z theo công thức (3.24) và I=[2λ, 2λ,…, 2λ]T1,cxn và ma trận NET = W.U + Z.U +I Step4 goto Else algorithm inateThen term εUU If 15). Step11 goto and 1g:g Else Step15 goto then ))Δ(δ&...&)Δ(δ&)Δ((δ If 14). δu:u else δu:u then 0net if s to1jFor 13). 2 δ :δ then 0 net . net if s to1jFor 12). 1)(g(g) uusuu2uu1 ujjj ujjj g j uj uj 1g j g j ≤− += ≤≤≤ −= +=≥ = =< = − − 6. Thực nghiệm • Input - Hai tập dữ liệu + Tập dữ liệu Butterfly, với 53 điểm dữ liệu, kích thước 2 cho mỗi điểm. -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 8 + Tập dữ liệu về loài hoa Iris, với 150 điểm dữ liệu, kích thước 4 - Các thông số sử dụng: + Trọng số mờ: m=2 + Hằng số nhân Lagrange: λ = 1000 + Hệ số giới hạn: ε = 0.001 + Khởi tạo hệ số cập nhật: iδv=0.5 và iδu = 0.2 + Hệ số ổn định hồi quy: ∆v=0.0001 và ∆u=0.0001 • Ouput - Butterfly: Lặp toàn mạng 15 lần - Iris: Lặp toàn mạng 35 lần - Hàm mục tiêu Zm 1361.67501 1211.33943 773.37927 549.62118 536.57204 536.28857 536.16007 535.98195 536.01463 536.00108 536.00069 536.0014 535.99992 536.00138 536.00039 - Hàm mục tiêu Zm 489.76932 402.26199 303.28219 227.94389 199.70799 171.40243 154.44207 148.90185 144.87851 142.01987 … 125.99175 125.76015 125.60948 125.27014 - 2 cụm (26, 26) - 3 cụm (57,50,40) - Đánh giá: Kết quả đạt được tốt. 7. Tài liệu dẫn [1] Martin T. Hagan and Howard B. Demuth “Neural network design”, PWS Publishing Company, 1996. [2] J.H.Wang and C.Y.Peng, “Optimal clustering using neural network,” in Proc. IEEE Int. Conf. Syst., Man, Cybern., vol.2, 1998, pp.1625-1630 [3] Y.Guo, X.Yin, and W.Gong, “ART2 neural network clustering for hierarchical simulation,” in Proc. SPIE Int. Soc.Opt.Eng., vol. 2.1998, pp.35-48 [4] M.F.Augusteijn and U.J.Steck, “Supervised adaptive clustering: A hybrid neural network clustering algorithm,” neural Comput.Applicat., vol.7,no. 1, pp.78-89, 1998. [5] T.Kohonen, “Self – organization and associative memorry”, Berlin, Germany: Springer-Verlag, 1984. -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 9 [6] E. C. Tsao, J. C. Bezdek, and N. R. Pal, “Fuzzy Kohonen clustering network”, Patterm recognition, vol.27, no.5, pp.757-764, 1994. [7] J. Lin, K. Cheng, and C.Mao, “A fuzzy Hopfield neural network for medical image segmentation”, IEEE Trans. Nuclear Sci., vol.43, 1996. [8] Vũ Thanh Nguyên, “Ứng dụng logic mờ, mạng nơron mờ, hệ các luật mờ phân tích dự báo các mặt hàng chiến lược”, Hội thảo khoa học Hệ mờ, mạng nơron và ứng dụng, lần thứ nhất, Hà nội 8-9/11/2006. [9] Bùi Công Cường và Nguyễn Doãn Phước, “Hệ mờ, mạng nơron và ứng dụng ”, NXB Khoa học và kỹ thuật, 2006. [10] Jiawei Han and Micheline Kamber, “Data Mining: Concepts and Techniques”, Hacours Science and Technology Company, USA, 2001. [11] J.Han, M.Kamber and A.K.H. Tung, “Spatial Clustering Methods in Data mining : A Survey”, Simon Fraster University, Canada, 2002 . [12] MARIA HALKIDI, “On Clustering Validation Techniques”, Kluwer Academic Publishers, Holland, 2001. [13] Hoàng Tuỵ, “Hàm thực và giải tích hàm”, Nhà xuất bản Đại học Quốc gia Hà Nội, 2003. [14] Jacek Leski (2001), “An ε -Insensitive Approach To Fuzzy Clustering”, International Journal Applied Mathematics and Computer Sciences, Vol.11, No.4, 2001, pp.993-1007. [15] Kersten P.R.(1999), “Fuzzy Order Statistics and their application”, IEEE Trans.Fuzzy Syst, No 6. [16] Hathaway R.J and Bezdek J.CNTT (2000), “Generalized fuzzy c-means clustering Strategies using LP Norm Distances”, IEEE Trans.Fuzzy Syst, No 5, pp.576-582. [17] K.S. Al-Suntal and S.Z.Selin, “A global algorithm for the fuzzy clustering problem,”, Patterm Recognition, vol. 26, no.9, pp. 1357-1361, 1993. [18] H.S. Rhee amd K.W.Oh, “Performance measure for the fuzzy cluster validity,” in Proc.Asian Fuzzy Syst. Symp., 1996. [19] R. E. Greene, “Introduction to Topology”, New York: Saunders, 1983, ch.1 -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 10 [20] J. E. Steck, “Convergence of recurrent networks as contraction mappings,” in Proc. Int.Joint Conf. Newral Networks, vol.III, 1992, pp.462-467 [21] J.E.Steck and S.N.Balakrishnan, “Use of Hopfield newral networks in optimal guidance,” IEEE Trans. Aerosp.Electron. Syst., vol.30, no.1, pp 287-293, Jan.1994. -----------------------Lê Minh Hoàng, Bộ môn Khoa học máy tính và Công nghệ phần mềm------------------- 11