Điều khiển Mobile Robot ứng dụng các mạng Neuron nhân tạo

ñoäng phi tuyeán w0 : giaù trò ngöôõng . Maïng nuoâi tieán laø moâ hình thöôøng ñöôïc ñeà caäp ,moâ hình naøy ñaùp öùng ngay laäp töùc ñeán caùc ñaàu vaøo vì caáu truùc cuûa noù khoâng chöùa caùc yeáu toá ñoäng ,vì vaäy caáu truùc maïng naøy coøn ñöôïc goïi laø maïng Neuron tónh .Moâ hình maïng tónh m ñaàu vaøo vaø n ñaàu ra ñöôïc moâ taû nhö ôû hình sau : Maïng truyeàn luøi laø moät hình thöùc môû roäng cuûa maïng nuoâi tieán ,maïng naøy keát hôïp yeáu toá hoài tieáp vaø yeáu toá ñoäng trong caáu truùc cuûa noù .Moâ hình maïng truyeàn luøi ñöôïc moâ taû nhö sau : x1 x2 . . xm y1 y2 . . yn x1 x2 . . xm y1 y2 . . yn Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 7 Vôùi söï phaùt trieån song song cuûa logic môø ,nhieàu moâ hình maïng Neuron chöùa nguyeân taéc cuûa maïng Neuron vaø caû logic môø ñang ñöôïc phaùt trieån .Maëc duø ,caùc maïng tónh ,ñoäng vaø caùc maïng Fuzzy_Neuron ñang ñöôïc öùng duïng trong nhieàu boä ñieàu khieån ,nhöng moâ hình cô baûn cuûa maïng Neuron vaãn chæ moâ phoûng lôø môø theo moâ hình thöïc . Nhöõng naêm tröôùc ñaây ,caùc nhaø nghieân cöùu ñaõ ñöa ra nhieàu moâ hình maïng tónh ,ñoäng vaø Fuzzy_Neuron khaùc nhau .Moâ taû chi tieát nhöõng moâ hình naøy khoù coù theå thöïc hieän ñöôïc .Tuy nhieân ,chuùng ta seõ coá gaéng ñöa ra moät soá khaùi nieäm cô baûn cuûa nhöõng caáu truùc Neuron khaùc nhau maø nhöõng caáu truùc naøy thöôøng ñöôïc duøng trong moâ hình ñieàu khieån . 1.2.2 Tính toaùn trong maïng Neuron : Muïc ñích cuûa vieäc nghieân cöùu nhöõng tính toaùn trong maïng Neuron laø ñeå phaùt trieån moâ hình toaùn maïng Neuron maø khoâng caàn thieát nghieân cöùu veà maët sinh hoïc ,moâ hình toaùn coù theå thöïc hieän baèng nhöõng haøm tính toaùn khaùc nhau .Maïng Neuron nhaân taïo (ANNs) ,hay nhöõng maïng Neuron ñôn giaûn thöôøng ñöôïc moâ taû baèng nhöõng moâ hình keát noái hay maïng xöû lyù phaân boá song song (parallel distributed processing networks). Baét ñaàu vôùi söï phaùt trieån cuûa nhöõng tính toaùn Neuron döïa treân nhöõng hieåu bieát veà caáu truùc sinh hoïc cuûa noù cuøng vôùi luaät hoïc .Ñieàu naøy daãn ñeán quaù trình tính toaùn trong maïng Neuron ñöôïc thöïc hieän theo 3 böôùc sau : Ø Phaùt trieån moâ hình Neuron döïa treân caáu truùc sinh hoïc cuûa noù . Ø Moâ hình keát noái vaø caáu truùc synapse . Ø Luaät hoïc . Caùc nhaø nghieân cöùu ñaõ khaùm phaù ra nhieàu caáu truùc maïng Neuron khaùc nhau nhöng neáu xeùt veà caáu truùc ;maïng Neuron coù theå phaân thaønh maïng tónh ,maïng ñoäng ,maïng moät lôùp vaø maïng nhieàu lôùp .Hôn nöõa ,nhöõng caùch tính toaùn khaùc nhau trong maïng Neuron cuõng laøm naûy sinh nhöõng caùch keát noái synapse khaùc nhau giöõa caùc Neuron . Maëc duø caùc nhaø nghieân cöùu ñaõ ñöa ra nhieàu caáu truùc maïng Neuron cuõng nhö giaûi thuaät hoïc khaùc nhau ,nhöõng maïng Neuron cuõng coù chung nhieàu ñaëc tính ,maø nhöõng ñaëc tính naøy laø duy nhaát ñoái vôùi moät heä sinh hoïc .Nhöõng ñaëc tính naøy töông phaûn vôùi phöông phaùp tính toaùn truyeàn thoáng .Nhöõng tính toaùn trong maïng Neuron coù theå ñieàu tieát nhieàu ñaàu vaøo song song vaø maõ hoaù thoâng tin theo moâ hình phaân boá .Kieåu maõ hoaù naøy töông phaûn vôùi sô ñoà boä nhôù truyeàn thoáng ,ôû ñoù nhöõng maãu thoâng tin cuï theå ñöôïc chöùa trong moät vuøng boä nhôù .Söï phaân phaùt boä nhôù trong maïng Neuron coù nhieàu thuaän lôïi ,quan troïng nhaát laø boä nhôù chöùa dö ra nhieàu thoâng tin tieâu bieåu moät luùc .Vì vaäy maïng Neuron vaãn coù theå hoaït ñoäng toát khi bò phaù huyû moät vaøi boä phaän trong caáu truùc maïng . Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 8 Thuoäc tính cuûa maïng Neuron nhö luaät hoïc ,söï toång hôïp thoâng tin dö thöøa vaø dung sai cho pheùp laø ñoäng cô choïn löïa moâ hình sinh hoïc thích hôïp cho maïng Neuron .Nhöõng kích thích (potential benefits) cuûa maïng Neuron coù theå ñöôïc toùm taét nhö sau : Ø Moâ hình Neuron coù nhieàu Neuron lieân keát vôùi nhau theo moät caáu truùc song song .Vì coù caáu truùc song song neân söï baát thöôøng cuûa moät vaøi Neuron khoâng gaây ra nhöõng aûnh höôûng quan troïng leân toaøn boä heä thoáng .Ñaëc tính naøy ñöôïc xem nhö dung sai. Ø Chieàu daøi cuûa maïng phuï thuoäc vaøo luaät hoïc vaø khaû naêng thích nghi cuûa noù .Khaû naêng thích nghi vaø hoïc töø moâi tröôøng coù nghóa laø maïng Neuron coù theå xöû lyù ñöôïc nhöõng döõ lieäu mô hoà,khoâng roõ raøng(imprecise data) vaø nhöõng tình huoáng khoâng ñöôïc ñònh nghóa toát (ill_defined situation ).Maïng ñöôïc huaán luyeän thích hôïp seõ coù khaû naêng toång hôïp khi ñaàu vaøo khoâng xuaát hieän trong quaù trình huaán luyeän . Ø Ñaëc tính quan troïng nhaát cuûa maïng Neuron laø khaû naêng xaáp xæ nhöõng haøm lieân tuïc phi tuyeán ñeán ñoä chính xaùc mong muoán .Khaû naêng naøy cuûa maïng laøm cho chuùng trôû neân höõu ích khi xaây döïng moät moâ hình trong boä ñieàu khieån phi tuyeán . Ø Maïng Neuron coù theå coù nhieàu ñaàu vaøo vaø nhieàu ñaàu ra neân coù theå öùng duïng cho nhieàu heä thoáng khaùc nhau . Ø Vôùi söï tieán boä cuûa kyõ thuaät phaàn cöùng ,gaàn ñaây nhieàu nhaø cung caáp ñaõ giôùi thieäu kyõ thuaät VLSI trong maïng Neuron,ñieàu naøy laøm taêng toác ñoä tính toaùn trong maïng . Maëc duø moät soá löôïng lôùn nhöõng pheùp toaùn trong maïng Neuron vaø giaûi thuaät hoïc ñöôïc ñöa ra ,nhöng haàu heát nhöõng maïng naøy ñeàu coù moät ñaëc tính chung naøo ñoù vôùi heä Neuron sinh hoïc .Caáu truùc cô baûn cuûa moät maïng Neuron bao goàm nhieàu Neuron ñöôïc phaân boá song song vaø caùch thöùc giaûi maõ thoâng tin trong keát noái synapse vaø caùch thöùc goïi thoâng tin vôùi ñaùp öùng ñaàu vaøo hieän taïi .Caùc maïng Neuron khaùc nhau ñeàu coù caùch hoïc töông töï nhau ,chuùng ñeàu ruùt ra nhöõng kinh nghieäm töø nhöõng döõ lieäu ñöôïc ñöa vaøo . Treân ñaây laø nhöõng giôùi thieäu toång quaùt veà caáu truùc maïng Neuron .Moâ taû chi tieát veà caáu truùc maïng ñoäng vaø maïng tónh seõ ñöôïc trình baøy trong caùc phaàn sau . 1.3 Maïng nuoâi tieán hay coøn goïi laø maïng tónh : 1.3.1 Moâ hình toaùn cuûa maïng nuoâi tieán : Moät Neuron bao goàm synapse ( ñieåm noái ) vaø soma ( thaân Neuron ) .Trong moâ hình maïng Neuron ,ñaàu ra axon cuûa Neuron naøy ñöôïc noái vôùi caùc ñaàu vaøo dendrite cuûa caùc Neuron khaùc thoâng qua keát noái synapse vaø söï keát noái naøy quyeát ñònh troïng soá giöõa caùc Neuron .Moãi soma coù trung bình 104 ñaàu vaøo dendrite vaø Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 9 soma coù chöùc naêng toång hôïp troïng soá cuûa taát caû caùc ñaàu vaøo naøy .Neáu troïng soá naøy lôùn hôn giaù trò ngöôõng thì noù seõ taïo thaønh xung kích ôû ñaàu ra Neuron ,nhöõng xung kích naøy thoâng qua axon ñeå chuyeån ñeán ñaàu vaøo caùc Neuron khaùc . Nhìn ôû goùc ñoä veà xöû lyù tín hieäu ,Neuron coù hai yeáu toá then choát laø synapse vaø soma-noù coù chöùc naêng tính toaùn vaø nhôù nhöõng döõ lieäu trong quaù khöù .Moãi synapse laø moät phaàn töû ñeå löu tröõ döõ lieäu (hay troïng soá ) vaø noù seõ ñöôïc hoïc ñeå hieäu chænh nhöõng troïng soá naøy cho ñeán khi ñaït ñöôïc ñaàu ra nhö mong muoán .Soma coù nhieäm vuï toång hôïp caùc troïng soá ñaàu vaøo cuûa Neuron vaø taïo thaønh kích thích ôû ñaàu ra Axon thoâng qua haøm taùc ñoäng daïng phi tuyeán . Moät caùch ñôn giaûn , ta coù xem moät Neuron nhö laø moät phaàn töû xöû lyù thoâng tin (PE) goàm coù n ñaàu vaøo nTn RtxtxtxtX Î= )](),...,(),([)( 21 vaø ñaàu ra voâ höôùng 1)( Rty Î .Vector ñaàu vaøo X(t) chính laø caùc ñaàu ra cuûa caùc Neuron ôû lôùp tröôùc hay töø caùc Neuron caûm bieán töø moâi tröôøng . Xeùt veà maët toaùn hoïc khaû naêng xöû lyù thoâng tin cuûa moät Neuron ñöôïc xem nhö laø pheùp toaùn aùnh xaï phi tuyeán(NE) töø Vector ñaàu vaøo nRtX Î)( ñeán ñaàu ra mong muoán 1)( Rty Î : Ne : nRtX Î)( 1)( Rty Î (1.2) Hay 1])([)( RRtXNety n ÎÎ= (1.3) Luùc naøy ,moâ hình cuûa moät Neuron coù theå ñöôïc bieåu dieãn nhö sau : vôùi W(t) vector troïng soá , [.]Y laø haøm taùc ñoäng phi tuyeán . AÙnh xaï phi tuyeán Ne bao goàm 2 thaønh phaàn laø : Haøm toång hôïp vaø Haøm taùc ñoäng phi tuyeán .Haøm toång hôïp cung caáp troïng soá ,caùch keát noái vaø giaù trò ngöôõng ñeán ñaàu vaøo Neuron .Ñeå tính toaùn giaù trò ngöôõng chuùng ta seõ ñònh nghóa theâm moät vector ôû ñaàu vaøo Neuron ,luùc naøy ñaàu vaøo vaø troïng soá cuûa Neuron ñöôïc cho nhö sau : 1 10 )](),....,(),...,(),([)( +Î= nTnia RtxtxtxtxtX (1.4) vôùi 1)(0 =tx W(t) Neural Input nRtX Î)( [.])( Y=ty )(tu 1)( Rty Î Synapse Soma Axon Neural output Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 10 vaø 110 )](),....,(),...,(),([)( +Î= nTnia RtwtwtwtwtW (1.5) trong ñoù w0(t) laø giaù trò ngöôõng ,Xa(t) laø vector ñaàu vaøo ,Wa(t) laø vector troïng soá . a. Haøm toång hôïp : Veà maët sinh hoïc ,haøm toång hôïp töôïng tröng cho troïng soá cuûa tín hieäu ñaàu vaøo Xa(t) ,döõ lieäu ñöôïc toàn tröõ taïi vector troïng soá (synapse ) Wa(t) ,söï keát noái nhöõng troïng soá ñaàu vaøo ñöôïc thöïc hieän bôûi Soma .Synapse vaø Soma aùnh xaï tuyeán tính nhö ñöôïc moâ taû ôû phöông trình sau : å = == n i iia T a xwtXtWtu 0 )()()( (1.6) ; Xa(t) vaø Wa(t) ñöôïc ñònh nghóa theo phöông trình (1.4) vaø (1.5) . b. Chöùc naêng cuûa haøm taùc ñoäng phi tuyeán : Caùc chöùc naêng cuûa haøm taùc ñoäng phi tuyeán [.]Y aùnh xaï giaù trò haøm toång hôïp u(t) thaønh giaù trò ñaàu ra .Nhìn chung ñaàu ra cuûa Neuron trong khoaûng [0,1] hoaëc [- 1,1],vaø ñöôïc tính nhö sau : )([)]([)( tWtuty aY=Y= T 1)]( RtX a Î (1.7) MOÄT SOÁ HAØM TAÙC ÑOÄNG THOÂNG THÖÔØNG : + Haøm baäc thang ñôn vò : + Haøm ngöôõng hay coøn goïi laø haøm daáu : + Haøm Ramp : + Haøm Unipolar Sigmoid : te fa l-+ = 1 2 )( ê ë é = 0 1 )( fa neáu 0³f neáu 0<f ê ë é - == 1 1 )sgn()( ffa neáu 0³f neáu 0<f ê ê ê ë é - == 1 1 )sgn()( fffa neáu 1>f neáu 10 ££ f neáu 1<f Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 11 +Haøm Bipolar Sigmoid : 1 1 2 )( - + = - te fa l Coù nhieàu haøm toaùn hoïc khaùc nhau coù theå ñöôïc duøng laøm haøm taùc ñoäng phi tuyeán ,moät vaøi daïng cô baûn ñöôïc trình baøy ôû treân,trong ñoù daïng haøm Sigmoid thöôøng ñöôïc söû duïng nhieàu hôn trong caùc maïng Neuron .Choïn löïa haøm taùc ñoäng thích hôïp coù theå cho keát quaû ñaàu ra nhö mong muoán . c. Luaät hoïc : Troïng soá vaø pheùp toång hôïp ñöôïc thöïc hieän bôûi synapse vaø soma ,chuùng taïo ra pheùp ño ñoàng boä giöõa vector ñaàu vaøo Xa(t) vaø vector troïng soá Wa(t) .Khi coù moät ñaàu vaøo môùi thì noù seõ ñöôïc so saùnh vôùi döõ lieäu ôû caùc böôùc hoïc tröôùc ñeå hieäu chænh caùc troïng soá sao cho sai soá ôû ñaàu ra giaûm ñi .Noùi caùch khaùc quaù trình huaán luyeän (hoïc ) laø laøm cho vector Xa(t) töông ñöông vôùi vector Wa(t) . Haàu heát caáu truùc cuûa maïng neuron ñeàu phaûi traûi qua quaù trình hoïc ñeå caäp nhaät troïng soá. Giaûi thuaät ñeå thay ñoåi troïng soá ñöôïc goïi laø luaät hoïc. Muïc ñích cuûa luaät hoïc phuï thuoäc vaøo töøng öùng duïng . Trong baøi toaùn veà phaân loaïi vaø xaáp xæ ,moãi laàn huaán luyeän xong moät cô sôû döõ lieäu ñöôïc goïi laø chu kyø huaán luyeän. Tuy nhieân khoâng coù coâng thöùc toång quaùt ñeå huaán luyeän chung cho caùc maïng neuron. Giaûn ñoà minh hoaï cho nhöõng luaät hoïc khaùc nhau ñeå caäp nhaät troïng soá ñöôïc trình baøy trong hình sau : Theo nhö hình veõ treân , neáu chæ xeùt veà hoïc thoâng soá thì luaät hoïc coù theå phaân loaïi thaønh luaät hoïc giaùm saùt vaø luaät hoïc khoâng giaùm saùt . Ø Giaûi thuaät hoïc giaùm saùt: Duøng moät tín hieäu mong muoán ôû ngoaøi nhö moät thaày giaùo vaø sai soá cuûa tín hieäu ñöôïc phaùt sinh baèng caùch so saùnh ñaàu ra mong muoán vaø ñaàu ra thöïc söï cuûa maïng. Döïa treân tín hieäu sai soá maïng neuron seõ caûi tieán troïng soá ñeå caûi tieán hoaït Hoïc khoâng giaùm saùt Hoïc thoâng soá Hoïc caáu truùc Hoïc giaùm saùt Hoïc Neuron Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 12 ñoäng cuûa heä thoáng vôùi giaû söû ñaàu ra mong muoán cuûa maïng ñöôïc bieát tröôùc nhö hình sau : Phöông trình toång quaùt cho giaûi thuaät hoïc giaùm saùt ñöôïc trình baøy nhö sau : wi(t+1) = wi(t) + Dwi(t) (1.8) vôùi Dwi (t) = m.xi (t) .[yd(t) – y(t)] (1.9) Vôùi wi(t) laø troïng soá khi ñaàu vaøo laø x(t), Dwi(t) laø söï thay ñoåi cuûa troïng soá , m laø haèng soá hoïc ,yd(t) laø ñaàu ra mong muoán , y(t) laø ñaàu ra thöïc söï cuûa maïng . Söï löïa choïn haèng soá hoïc m raát quan troïng trong luaät hoïc naøy, moät giaù trò raát nhoû cuûa haèng soá hoïc seõ laøm cho keát quaû hoïc chaäm ñi raát nhieàu, moät giaù trò lôùn cuûa haèng soá hoïc seõ laøm cho quaù trình hoïc dieãn ra nhanh hôn nhöng noù cuõng coù theå laøm cho heä thoáng trôû neân dao ñoäng baát oån ñònh . Ø Giaûi thuaät hoïc khoâng giaùm saùt: Ngöôïc laïi ,luaät hoïc khoâng giaùm saùt khoâng coù tín hieäu mong muoán. Trong caùch hoïc naøy khoâng coù thoâng tin hoài tieáp töø moâi tröôøng ñeå baùo caùc ñaàu ra thöïc söï cuûa maïng laø ñuùng hay sai, maïng seõ töï ñieàu chænh caùc troïng soá keát noái giöõa caùc neuron baèng caùch söû duïng caùc ñaàu ra thöïc söï cuûa maïng . Coù hai caáu truùc quan troïng cuûa luaät hoïc khoâng giaùm saùt ñoù laø luaät hoïc Hebbian vaø luaät hoïc caïnh tranh . Luaät hoïc Hebbian laøm thay ñoåi troïng soá theo ñaùp öùng töông quan cuûa hai neuron noái lieàn nhau. Luaät hoïc Hebbian ñôn giaûn duøng ñeå moâ taû töông quan giöõa tín hieäu ñaàu vaøo vaø tín hieäu ñaàu ra ñöôïc moâ taû baèng phöông trình : )()()( tytxtw ii m=D + - y(t) Î R1 xWa(t)T y[u(t)] Loãi döïa treân luaät hoïc DWa(t) Xa(t) Î Rn+1 ya(t) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 13 Moâ hình moâ taû luaät hoïc Hebbian : Luaät hoïc Competitive ñöôïc öùng duïng cho lôùp neuron aån. Luaät hoïc döïa treân nguyeân taéc moät ñaàu vaøo ñaïi dieän cho moät lôùp neuron, moãi neuron caïnh tranh ñeán taát caû caùc neuron khaùc ñeå nhaän ñöôïc tín hieäu tích cöïc vaø gôûi tín hieäu thuï ñoäng ñeán caùc neuron xung quanh. Sau moät khoaûng thôøi gian neuron coù traïng thaùi hoaït ñoäng lôùn nhaát seõ tích cöïc (hay coøn ñöôïc goïi laø neuron chieán thaéng) vaø caùc neuron khaùc seõ bò huyû boû. Toùm laïi : Coù hai luaät hoïc laø luaät hoïc giaùm saùt vaø luaät hoïc khoâng giaùm saùt. Hoïc giaùm saùt caàn ñaàu ra mong muoán neáu ñaàu ra mong muoán laø khoâng bieát truôùc thì giaûi thuaät giaùm saùt seõ khoâng theå söû duïng ñieàu naøy coù nghóa laø giaûi thuaät giaùm saùt seõ trôû neân höõu ích. Gaàn nhö taát caû caùc maïng neuron keát hôïp chaët cheõ hai luaät naøy hoaëc bieán ñoåi chuùng. Tuy nhieân moät vaøi maïng neuron coù troïng soá coá ñònh vaø nhöõng maïng naøy hoaït ñoäng baèng caùch thay ñoåi khaû naêng cuûa moãi neuron neáu nhö noù khoâng thay ñoåi troïng soá. 1.3.2 Maïng nuoâi tieán nhieàu lôùp : Trong nhöõng phaàn tröôùc, moâ hình toaùn hoïc chi tieát cuûa moät maïng neuron ñôn ( maïng moät lôùp ) ñaõ ñöôïc moâ taû. Maëc duø moät maïng ñôn coù theå thöïc hieän moät chöùc naêng ñôn giaûn naøo ñoù nhöng khaû naêng tính toaùn cuûa maïng phuï thuoäc vaøo soá löôïng neuron ñöôïc keát noái trong caáu truùc maïng. Moät maïng lôùn ñöa ra moät khaû naêng tính toaùn vó ñaïi. Söï xaép xeáp neuron trong moät lôùp baét chöôùc moät phaàn caáu truùc cuûa boä naõo con ngöôøi. Nhöõng maïng neuron nhieàu lôùp ñöôïc chöùng minh raèng coù khaû naêng vöôït xa maïng neuron ñôn . Caáu truùc maïng neuron ñöôïc duøng thoâng thöôøng nhaát trong caùc öùng duïng nhö caùc heä thoáng nhaän daïng vaø ñieàu khieån laø nhöõng maïng neuron nhieàu lôùp (Multilayer neural network :MNN) vôùi giaûi thuaät truyeàn luøi sai soá. Moät maïng (MNN) tieâu bieåu goàm moät lôùp neuron ñaàu vaøo, moät lôùp neuron ñaàu ra vaø moät lôùp neuron aån ñöôïc bieåu dieãn nhö hình sau : xWa(t)T y[u(t)] Xa(t) Î Rn+1 y(t) Î R1 m DWa(t) = mXa(t) .y(t) y(t) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 14 Hay moâ hình khoái : Aùnh xaï ñaàu vaøo vaø ra cuûa MNN ñöôïc moâ taû bôûi coâng thöùc : Y(t) = N3[N2[N1[X(t) Î Rn]]]Î Rm Khi haøm taùc ñoäng vaø haøm toång hôïp coù daïng phi tuyeán thì phöông trình treân ñöôïc vieát laïi nhö sau : Y(t) = y3[W3a(t) T y2[W2a(t) T y [W1a(t) T Xa(t)]]] vôùi yI [.] laø haøm taùc ñoäng phi tuyeán , W1a(t) , W 2 a(t), W 3 a(t) laø troïng soá cuûa neuron ñaàu vaøo , neuron aån vaø neuron ñaàu ra . Taát caû caùc thoâng tin ñeàu ñöôïc löu tröõ trong troïng soá cuûa maïng nuoâi tieán trong suoát quaù trình hoïc. Caùc phaàn töû cuûa ma traän troïng soá w1a(t), w 2 a(t), w 3 a(t) thöôøng xuyeân ñöôïc caäp nhaät giaù trò môùi. Luaät hoïc giaùm saùt döïa treân sai soá phaùt sinh thöôøng ñöôïc duøng ñeå xaùc ñònh Dw1a(t) , Dw 2 a(t), Dw 3 a(t) .Troïng soá cuõng coù theå ñöôïc caäp nhaät duøng giaûi thuaät giaûm sai soá hay thöôøng ñöôïc goïi laø giaûi thuaät truyeàn luøi baèng caùch truyeàn sai soá veà phía sau töø nuùt ñaàu ra thoâng qua lôùp neuron aån ñeå ñieàu chænh troïng soá .Moät maïng nuoâi tieán coù theå duøng kyõ thuaät hoïc khoâng giaùm saùt neáu troïng soá cuûa maïng nuoâi tieán ñöôïc caäp nhaät duøng luaät hoïc Hebbian. Vôùi maïng nuoâi tieán nhieàu lôùp luaät hoïc ñöôïc söû duïng phoå bieán laø giaûi thuaät hoïc truyeàn luøi. Giaûi thuaät truyeàn luøi laø moät luaät toång quaùt hoaù luaät bình phöông sai soá toái thieåu cho moät maïng neuron nhieàu lôùp. Noù coá gaéng giaûm sai soá taïi moãi nuùt baèng caùch toái thieåu troïng soá nhieãu loaïn vaø caûi tieán noäi dung cuûa thoâng tin tröôùc khi giaûi maõ troïng soá. Giaûi thuaät hoïc truyeàn luøi coù theå ñöôïc aùp duïng ñeán maïng coù lôùp neuron aån baát kyø baèng caùch tính sai soá ñaàu ra vaø sai soá ñöôïc truyeàn luøi veà lôùp ñöùng tröôùc noù vaø X (t) Î Rn · · · · · · · · · x1(t) x2(t) xn(t) y1(t) y2(t) yn(t) Y (t) Î Rm Input layer Hidden layer Output layer N1 N2 N3 X (t) Î Rn Y (t) Î Rm Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 15 caäp nhaät troïng soá vôùi sai soá toái thieåu. Nguyeân taéc cuûa giaûi thuaät hoïc truyeàn luøi ñöôc toùm taét nhö sau : v Caáu truùc maïng neuron duøng giaûi thuaät hoïc truyeàn luøi tieâu bieåu bao goàm lôùp neuron ñaàu vaøo ,lôùp neuron aån vaø lôùp neuron ñaàu ra. Lôùp neuron aån coù theå coù nhieàu lôùp, raát khoù xaùc ñònh moâ hình cuûa maïng neuron coù bao nhieâu lôùp aån laø caàn thieát cho moät öùng duïng cuï theå. Khoâng coù nhieàu tính toaùn xaûy ra ôû lôùp neuron ñaàu vaøo, soá löôïng neuron ôû lôùp neuron ñaàu vaøo baèng vôùi soá löôïng thaønh phaàn vector ñaàu vaøo. Trong quaù trình hoïc taäp lôùp neuron ñaàu vaøo seõ gôûi tín hieäu ñaàu vaøo ñeán neuron aån nhö ñöôïc bieåu dieãn ôû hình sau : v Caùc neuron aån truyeàn keát quaû cuûa chuùng ñeán taát caû caùc neuron ñaàu ra. Moãi ñaàu ra seõ tính toång troïng soá ,töùc laø ñaàu ra thöïc söï vaø tröø ñi ñaàu ra mong muoán ñeå taïo ra sai soá taïi ñaàu ra cuûa maïng ,quaù trình ñöôïc bieåu dieãn nhö sau : v Nuùt ñaàu ra tính ñaïo haøm caùc thaønh phaàn cuûa vector sai soá vaø truyeàn keát quaû naøy veà lôùp aån. Nhöõng tính toaùn naøy trong suoát quaù trình hoïc goïi laø giaûi thuaät truyeàn luøi. Moãi neuron aån tính toång ñaïo haøm sai soá ñeå bieát aûnh höôûng cuûa noù ñeán sai soá ôû ñaàu ra . Söï truyeàn luøi sai soá ñeán lôùp neuron ñöôïc bieåu dieãn ô û hình sau : yn(t) y1(t) y2(t) · · · · · · · · · x1(t) x2(t) xn(t) Input layer Hidden layer Output layer · · · · · · · · · x1(t) x2(t) xn(t) y1(t) y2(t) yn(t) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 16 Moãi neuron trong lôùp aån vaø lôùp ñaàu ra thay ñoåi troïng soá cuûa noù theo moät luaät hoïc ñöôïc ñònh tröôùc ñöôïc cho bôûi coâng thöùc 1.8 vaø 1.9 . Nhö vöøa trình baøy : giaûi thuaät truyeàn luøi ñoøi hoûi ñaàu ra mong muoán trong suoát quaù trình hoïc ñaõ ñöôïc tính toaùn sai soá vaø ñieàu chænh troïng soá, sau quaù trình hoïc maïng neuron ñöôïc ñöa vaøo nhöõng giaù trò môùi vaø bieát tröôùc (nhöõng döõ lieäu naøy khoâng ñöôïc duøng trong suoát quaù trình hoïc) ñeå kieåm tra maïng . Ñoä chính xaùc cuûa maïng neuron vôùi döõ lieäu beân ngoaøi luaät hoïc cho bieát khaû naêng khaùi quaùt cuûa maïng neuron töùc laø noù cho bieát ñoä tin caäy cuûa maïng. Sau giai ñoaïn hoïc vaø kieåm tra, maïng neuron coù theå duøng ñeå phaân loaïi moâ hình vaø moâ hình hoaù cho nhöõng maïng phi tuyeán khoâng bieát tröôùc . Moät trong nhöõng ñaëc tính quan troïng nhaát cuûa maïng neuron laø khaû naêng xaáp xæ haøm phi tuyeán. Nghieân cöùu chöùc naêng xaáp xæ chieám moät vò trí quan troïng trong maïng neuron . 1.4 Maïng Truyeàn Luøi : 1.4.1 Giôùi thieäu : Trong nhöõng phaàn tröôùc chuùng ta ñaõ trình baøy ngaén goïn veà caáu truùc cuûa maïng neuron nuoâi tieán moät lôùp, nhieàu lôùp vôùi caáu truùc khoâng hoài tieáp. Nhöõng maïng neuron naøy ñöôïc goïi laø maïng tónh,nuoâi tieán hoaëc khoâng tuaàn hoaøn .Nhöõng maïng nhö theá khoâng coù boä nhôù ñoäng nhö laø ñaùp öùng cuûa maïng vì vaäy noù phuï thuoäc vaøo ñaàu vaøo hieän taïi vaø troïng soá, nhöõng maïng naøy khoâng coù hoài tieáp neân noù oån ñònh. Quaù trình nuoâi tieán vaø nuoâi luøi aûnh höôûng qua laïi laãn nhau, ñieàu chænh troïng soá, laøm giaûm sai soá ñaàu ra trong suoát quaù trình hoïc .Moät maïng neuron ñöôïc thaønh laäp toát seõ coù theå xaáp xæ haøm phi tuyeán vôùi ñoä chính xaùc nhö mong muoán. Ñaëc tính naøy cuûa maïng nuoâi tieán ñöôïc caùc nhaø nghieân cöùu duøng trong moâ hình ñoäng, tuy nhieân maïng naøy cuõng coù nhöõng haïn cheá nhaát ñònh. yn(t) · · · · · · x1(t) x2(t) xn(t) y1(t) y2(t) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 17 Trong phaàn naøy chuùng ta seõ moâ taû caáu truùc cuûa maïng nuoâi luøi hay coøn goïi laø maïng ñoäng , maïng tuaàn hoaøn. Nhöõng maïng naøy khoâng chæ cung caáp nhöõng ñaëc tính tính toaùn beàn vöõng maø coøn mang laïi söï hieåu bieát saâu saéc hôn trong caáu truùc sinh hoïc cuûa maïng neuron. Maïng neuron ñoäng ñöa ra nhöõng tính toaùn thuaän lôïi hôn so vôùi maïng tónh . Ví duï : boä loïc coù baäc voâ haïn (FIR) töông ñöông vôùi boä loïc xaùc ñònh baäc 1 (IIR) nhö trong hình veõ : Hình (a) : Hình (b): Töø hình (a) :ñaùp öùng cuûa boä loïc FIR baäc n coù theå ñöôïc vieát laïi nhö sau v(k) = x(k) + x(k-1) + x(k-2) + . . +x(k-n) = å = n i 0 x(k-i) n -> ¥ (1.10) Duøng daïng chuyeån ñoåi chuùng ta coù theå vieát laïi nhö sau : )( )( ZX ZY = 1+Z-1 + Z-2+ . . +Z-n z < 1 (1.11) Phöông trình moâ taû caáu truùc HR baäc 1 ñöôïc bieåu dieãn nhö hình (b) coù theå ñöôïc vieát laïi nhö sau : v(k+1) = x(k) +v(k) (1.12) Duøng haøm chuyeån ñoåi chuùng ta vieát laïi nhö sau : )( )( kX kV = 11 1 -- z = 1 + z-1 +z-2 + z-n n->¥ , z <1 (1.13) Ta nhaän thaáy raèng 1.11 vaø 1.13 coù caáu truùc töông ñöông nhau. Vì vaäy maïng nuoâi luøi töông ñöông vôùi caáu truùc nuoâi tieán voâ haïn . Z-1 Z-1 Z-1 å x(k) v(k) Z-1 å + x(k) v(k +1) ) v(k) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 18 Khoâng nhö maïng tónh, maïng ñoäng ( hay maïng truyeàn luøi ) duøng hoài tieáp môû roäng giöõa caùc neuron, coù nghóa laø maïng coù boä nhôù cuïc boä. Phöông trình cuûa caùc nuùt trong maïng truyeàn luøi ñöôïc moâ taû bôûi phöông trình vi phaân. Ñieån hình moät maïng ñoäng duøng ñaàu ra nuoâi tieán vaø ñaàu vaøo nuoâi luøi ñöôïc bieåu dieãn nhö hình veõ : Phöông tình toaùn moâ taû neuron trong mieàn thôøi gian rôøi raïc ñöôïc moâ taû bôûi phöông trình (1.14) : y(k) = y[W1a(k) T*Xa(k) + W2a(k) T* Ya(k-1)] (1.14) vôùi k laø bieán rôøi raïc trong mieàn thôøi gian, y[.] laø haøm taùc ñoäng phi tuyeán, Xa(k) Î R n+1 laø vector ñaàu vaøo taïi thôøi ñieåm k, Ya(k) vaø Ya(k-1) laø vector ñaàu ra taïi thôøi ñieåm k vaø k-1. W1a(k) laø ma traän troïng soá nuoâi tieán, W 2 a(k) laø ma traän troïng soá nuoâi luøi. Moâ hình hoïc toång quaùt cho maïng ñöôïc minh hoaï trong hình sau : Bôûi vì maïng nuoâi luøi coù hoài tieáp töø neuron ñaàu ra ñeán neuron ñaàu vaøo neân ñaùp öùng cuûa maïng ñöôïc goïi laø ñaùp öùng ñoäng. Sau khi caäp nhaät moät ñaàu vaøo môùi, ñaàu ra seõ ñöôïc tính toaùn vaø hoài tieáp ñeå hieäu chænh ñaàu vaøo, sau ñoù ñaàu ra laïi ñöôïc tính toaùn laïi vaø quaù trình tieáp tuïc ñöôïc laäp laïi nhö theá. Söï laäp laïi lieân tuïc laøm ñaàu ra coù söï thay ñoåi ngaøy caøng nhoû thaäm chí laø haèng soá. Trong moät vaøi tröôøng hôïp quaù xa(k) w1a(k)T ya(k-1) w2a(k)T x0= 0 y0= 0 + z-1 y[U(k)] X(k)ÎRn Y(k-1)ÎRm Y(k) Î Rm xn ym · · · · · · x1 x2 y1 y2 X (k) Î Rn Y (k) Î Rm Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 19 trình xöû lyù thoâng tin seõ khoâng keát thuùc , nhöõng maïng nhö vaäy goïi laø maïng khoâng oån ñònh . Caáu truùc neuron cuûa maïng nuoâi luøi thích hôïp cho moâ hình nhaän daïng vaø ñieàu khieån .., nhöõng maïng naøy raát quan troïng bôûi vì nhieàu heä thoáng thöïc teá maø caùc nhaø khoa hoïc muoán xaây döïng moâ hình thöïc laø nhöõng heä thoáng ñoäng khoâng tuyeán tính, nhöõng heä thoáng ñieàu khieån maø chuùng ta muoán xaây döïng moâ hình ñoù laø maùy bay, teân löûa, robot vaø taøu khoâng gian .... Trong phaàn naøy chuùng ta moâ taû hai loaïi maïng neuron ñoäng . Loaïi thöù nhaát phaùt trieån môû roäng töø maïng neuron tónh ñöôïc moâ taû ôû treân, trong ñoù chuùng ta moâ taû hai loaïi laø maïng tuaàn hoaøn vaø maïng thôøi gian treã. Loaïi thöù hai seõ ñöôïc phaùt trieån döïa treân nhöõng daáu hieäu sinh hoïc cuûa nhöõng neuron tích cöïc trong CNS, phuï thuoäc vaøo nhöõng taùc ñoäng qua laïi cuûa neuron tích cöïc vaø neuron thuï ñoäng. 1.4.2 Môû roäng maïng neuron tónh : a. Maïng tuaàn hoaøn : Caáu truùc maïng tuaàn hoaøn ñöôïc giôùi thieäu bôûi Hopfiel, taïo ra nhöõng moâ hình thay ñoåi cuûa maïng neuron tónh. Caáu truùc bao naøy bao goàm maïng neuron moät lôùp coù ñaëc tính truyeàn luøi vôùi thôøi gian trì hoaõn ñöôïc bieåu dieãn nhö hình veõ : Maïng nuoâi luøi naøy ñaëc tröng cho heä thoáng ñoäng rôøi raïc vaø coù theå ñöôïc moâ taû bôûi phöông trình (1.15a) y(k+1) = y [w(k) . y(k)] , x(0) = x0 (1.15a) vôùi y(k) vaø y(k+1) laø traïng thaùi cuûa maïng neuron ôû thôøi ñieåm k vaø k+1 , x(0) laø giaù trò ñaàu, w(k) laø vector troïng soá , y[.] laø haøm taùc ñoäng phi tuyeán Giaù trò ban ñaàu x(0) cuûa heä thoáng ñoäng suy ra traïng thaùi caân baèng neáu choïn y[.] thích hôïp, ñieàu kieän ñaàu trong vuøng laân caän cuûa x(0) hoäi tuï ñeán cuøng moät traïng thaùi caân baèng thì ñöôïc ñoàng nhaát vôùi traïng thaùi ñoù. Boä nhôù lieân hôïp (assocoative memory) ñöôïc duøng ñeå moâ taû heä thoáng nhö theá. Moät maïng nuoâi luøi vôùi ñaàu vaøo haèng soá hay thay ñoåi chæ ñôn thuaàn laø moät heä thoáng ñoäng phi tuyeán vaø tieäm caän cuûa heä thoáng naøy phuï thuoäc vaøo traïng thaùi ñaàu vaøo cuï theå vaø haøm phi tuyeán . w(k) y[.] z-1 x(k) u(k) x(k+1) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 20 Maïng tuaàn hoaøn moät lôùp goàm n neuron coù giaù trò ngöôõng laø woi ñöôïc moâ taû bôûi hình sau : Ñaàu vaøo hoài tieáp ñeán neuron thöù i baèng vôùi toång troïng soá cuûa ñaàu ra y i vôùi i = 1 -> n ,wij laø troïng soá keát noái giöõa neron thöù j vaø neuron thöù i . Chuùng ta coù theå bieåu dieãn toång ñaàu vaøo u i cuûa neuron thöù i nhö sau : ui = å = n j 1 wijyj + x i –w0i ; i = 1,2…n (1.15b) Bieåu thöùc 1.15b coù theå vieát laïi nhö sau : ui = wi Ty + x i – w0i ; i = 1,2… n (1.15c) vôùi wi = ú ú ú ú û ù ê ê ê ê ë é in i i w w w ........ 2 1 vaø y = ú ú ú ú û ù ê ê ê ê ë é ny y y ....... 2 1 Phaàn tuyeán tính cuûa maïng tuaàn hoaøn coù theå ñöôïc moâ taû döôùi daïng ma traän nhö sau : U = Wy + X – w0 å y[.] un(k) å y[.] u1(k) å y[.] u2(k) · · · z-1 y1(k) y2(k) yn(k) y1(k+1) y2(k+1) yn(k) · · · w01 w02 w0n w12 w21 x1 x2 xn Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 21 vôùi U = ú ú ú ú û ù ê ê ê ê ë é nu u u ...... 2 1 , X = ú ú ú ú û ù ê ê ê ê ë é nx x x ...... 2 1 , w0 = ú ú ú ú û ù ê ê ê ê ë é n o w w w 0 ......... 02 1 (1.15d) Ma traän W trong bieåu thöùc 1.15d ñöôïc goïi laø ma traän keát noái (n x n) coù theå ñöôïc vieát nhö sau: W = ú ú ú ú ú ú û ù ê ê ê ê ê ê ë é 0...... ............................ 0 ....0 ....0 321 3.........3231 22321 11312 nnn n n n www www www www ma traän naøy laø ma traän ñoái xöùng wij = wji vaø wii = 0 noù noùi leân raèng khoâng coù keát noái veà chính noù b. Maïng neuron thôøi gian treã (TDNN): Ta coù theå söû duïng maïng tónh ñeå xöû lyù döõ lieäu noái tieáp baèng caùch chuyeån ñoåi thôøi gian lieân tuïc thaønh moâ hình rôøi raïc baèng caùch thôøi gian ñöôïc xem nhö moät khía caïnh khaùc cuûa baøi toaùn . Töø thöïc teá noù coù theå bieán ñoåi thôøi gian lieân tuïc thaønh nhöõng khoaûng thôøi gian xaùc ñònh baèng caùch ñöa ñaàu vaøo lieân tuïc vaøo cô caáu trì hoaõn sau ñoù tín hieäu ra seõ ñöôïc ñöa vaøo maïng neuron tónh. Moät caáu truùc nhö theá ñöôïc goïi laø maïng neuron trì hoaõn thôøi gian. Caáu truùc maïng naøy döïa treân maïng nuoâi tieán vôùi yeáu toá ñoäng vì pheùp toaùn laøm treã neân maïng TDNN ñöôïc xem nhö maïng neuron ñoäng . Ñôn vò neuron thôøi gian treã cô baûn ñöôïc trình baøy nhö ôû hình veõ coù chöùc naêng cô baûn nhö moät boä loïc thích nghi baèng caùch tính tích voâ höôùng giöõa vector ñaàu vaøo Xa(k) vaø vector troïng soá Wa(k) . Vector troïng soá Wa(k) seõ ñöôïc hieäu chænh bôûi giaûi thuaät hoïc bình phöông sai soá toái thieåu. Ñôn vò neuron naøy ñöôïc huaán luyeän baèng caùch laáy ñaàu ra mong muoán cuûa maïng laøm ñaàu vaøo ñöôïc trì hoaõn . Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 22 Caáu truùc neuron naøy coù theå duøng ñeå thu heïp taàn soá cuûa ñaàu vaøo noái tieáp Xa(k). Phöông phaùp naøy seõ gaàn nhö hoaøn haûo neáu tín hieäu mong muoán khoâng ñeø leân nhau trong vuøng taàn soá ñoù. Tuy nhieân tín hieäu vaø nhieãu ñeø leân nhau trong vuøng taàn soá thì sau ñoù quaù trình xöû lyù coù khuynh höôùng loïc ra tín hieäu. Noùi caùch khaùc caáu truùc naøy coù theå laøm suy yeáu ñaëc tính cuûa heä thoáng . Ñôn vò neuron thôøi gian treã ñöôïc moâ taû nhö phöông trình 1.16a vaø 1.16b v(k ) = å = n i 0 wi.x(k - i) (1.16a) y(k) = y[v(k)] (1.16b) c. Ñôn vò neuron ñoäng (Dynamic Neural Unit DNU) : Ñöôïc ñöa ra bôûi Gupta vaø Rao laø moät moâ hình ñoäng cuûa neuron sinh hoïc, caáu truùc cuûa neuron ñöôïc phaùt trieån döïa treân caáu truùc sinh hoïc cuûa moät maïng neuron luoân ñöôïc hoài tieáp lieân tuïc . Ví duï cuûa heä thoáng naøy laø söï phaûn xaï voøng quanh trong moät nhoùm neuron cuûa heä thaàn kinh trung taâm (CNS),chöùc naêng ñöôïc moâ taû nhö sau : moät tín hieäu kích thích ñeán neuron ñaàu tieân sau ñoù kích thích ñeán neuron thöù 2,3,4… nhieàu nhaùnh trôû veà neuron ñaàu tieân cung caáp hoài tieáp vaø kích thích laïi noù nhö ñöôïc moâ taû ôû hình sau : · · · z-1 z-1 z-1 å w0 w1 w2 w3 wn+1 Haøm phi tuyeán LMS - + yd(k) Error, e(k) x(k) x(k-1) x(k-2) x(k-n) Time delay unit y(k) v(k) ) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 23 S(k) v(k) Söï phaûn xaï voøng laø hoaït ñoäng cô baûn trong nhieàu hoaït ñoäng cuûa CNS , noù cho pheùp moät tín hieäu ñaàu vaøo ñeå suy ra ñaùp öùng sau vaøi giaây , vaøi phuùt thaäm chí vaøi giôø. Haàu heát taát caû caùc hoaït ñoäâng nhòp nhaøng cuûa cô baép nhö söï di chuyeån thöôøng ñöôïc ñieàu khieån bôûi phaûn xaï voøng . Caáu truùc DNU nhö hình treân chæ töông töï nhö phaûn xaï voøng maø khoâng tieâu bieåu cho baát cöù cô caáu cuï theå naøo trong heä thoáng thaàn kinh sinh hoïc. Vì theá DNU thöïc hieän hai quaù trình rieâng bieät ñoù laø quaù trình synape vaø quaù trình soma. Thao taùc thöù nhaát töông öùng vôùi vieäc caäp nhaät troïng soá nuoâi tieán vaø nuoâi luøi trong khi thao taùc thöù hai töông öùng vôùi vieäc caäp nhaät ñoä lôïi cuûa haøm taùc ñoäng phi tuyeán . Moät DNU ñoäng tuyeán tính coù theå bieåu dieãn nhö phöông trình 1.17 : w(k, aff, bfb) = )( )(1 ks kv = [ ][ ]2211 2 2 1 10 1 -- -- + ++ + zbzb zazaa (1.17) vôùi S(k) laø vector ñaàu vaøo cuûa DNU Si Î R n laø ñaàu vaøo töø nhöõng neuron khaùc hoaëc töø caûm bieán wÎRn laø troïng soá ñaàu vaøo q laø giaù trò ngöôõng v1(k) Î R 1 laø ñaàu ra cuûa caáu truùc ñoäng, u(k) laø ñaàu ra cuûa neuron aff=[a0, a1,a2] T, bfb=[b1,b2] T laø vecto troïng soá hoài tieáp nuoâi tieán hay nuoâi luøi coù theå thích nghi. Moät caùch vieát khaùc phöông trình 1.17 coù theå moâ taû nhö sau : v1(k) = -b1v1(k-1) – b2v1(k-2) + a0s(k) +a1s(k-1) + a2s(k-2) (1.18) output <· <· <· input Feedback paths Feedforward paths transmission Sypaptic weight a0 a1 a1 z-1 z-1 Rs å b1 a0 å Haøm phi tuyeán + + DNU Neuron dynamic u(k) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 24 Vector cuûa tín hieäu vaø troïng soá thích nghi ñöôïc cuûa DNU ñöôïc ñònh nghóa nhö sau: é(k,v1,s) = [v1(k-1) v1(k-2) s(k) s(k-1) s(k-2)] T (1.19) vaø x (aff, bfb) = [-b1 –b2 a0 a1 a2] T (1.20) Duøng 1.18, 1.19 vaø 1.20 chuùng ta coù theå vieát laïi nhö sau: v1(k) = x T(aff, bfb) é(k,v1,s) (1.21) Aùnh xaï phi tuyeán leân v1(k) ñeán neuron ñaàu ra u(k) ñöôïc cho bôûi : )]([)( 1 kvgku sY= (1.22) vôùi y[.] laø haøm taùc ñoäng phi tuyeán, gs laø ñoä lôïi soma duøng ñeå ñieàu khieån ñoä lôïi cuûa haøm taùc ñoäng, nhieàu daïng khaùc nhau cuûa caùc coâng thöùc toaùn hoïc coù theå ñöôïc duøng trong moâ hình cuûa neuron sinh hoïc phi tuyeán. Ñeå môû roäng caùc pheùp toaùn vôùi caùc ñaàu vaøo kích ñoäng thuï ñoäng, haøm taùc ñoäng daáu trong khoaûng töø [-1 , 1] ñöôïc bieåu dieãn bôûi phöông trình : y[v(k)] = [ ][ ]11 11 gsvgsv gsvgsv ee ee - - + - = tanh[gsv1(k)]= tanh[v(k)] (1.23) vôùi v(k)=gs .v1(k) 1.4.3 Caáu truùc neuron ñoäng döïa treân soá löôïng Neuron: Caáu truùc maïng neuron duøng ñeå tính toaùn döïa treân nhöõng khaùi nieäm maïng tónh ñôn, caáu truùc neuron naøy thöôøng baét chöôùc moät phaàn caáu truùc sinh hoïc cuûa chuùng, vì vaäy chuùng khoâng phaûn aùnh nhieàu ñaëc tính cuûa neuron sinh hoïc. Ví duï moâ hình neuron tónh khoâng ñöa vaøo tính toaùn thôøi gian treã, maø nhöõng yeáu toá naøy aûnh höôûng ñeán heä thoáng ñoäng, nhieàu ñaàu vaøo taïo ra moät ñaàu ra maø khoâng coù boä nhôù. Hôn nöõa noù khoâng chöùa ñöïng tính ñoàng boä hay chöùc naêng ñieàu cheá taàn soá cuûa neuron sinh hoïc. Neuron sinh hoïc thöôøng taäp hôïp trung bình hôn 10.000 sysnape ñaàu vaøo. Moãi neuron laø moät phaàn töû tính toaùn phöùc taïp vaø chuùng thöïc hieän nhieàu pheùp toaùn hôn laø chæ pheùp toaùn coäng . Caáu truùc maïng neuron ñöôïc moâ taû trong nhöõng phaàn tröôùc xem taùc ñoäng cuûa moät neuron rieâng reõ nhö laø moät phaàn töû tính toaùn cô baûn. Moãi ñôn vò tính toaùn trong maïng neuron döïa treân moät neuron ñöôïc lyù töôûng hoùa. Neuron lyù töôûng hoùa ñöôïc giaû söû laø ñaùp öùng toái öu vôùi nhöõng ñôn vò ñaàu vaøo. Tuy nhieân kinh nghieäm nghieân cöùu trong neuron sinh hoïc cho thaáy, ñaùp öùng cuûa moät neuron sinh hoïc xuaát hieän moät caùch ngaãu nhieân. Hôn nöõa nghieân cöùu nhöõng neuron rieâng bieät coù theå thích hôïp ñeå caïnh tranh vôùi nhöõng chöùc naêng cuûa maïng neuron sinh hoïc. Tuy nhieân noù khoâng caàn thieát cho Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 25 nghieân cöùu trong nhöõng phaàn coù lieân quan ñeán chöùc naêng beân ngoaøi nhö laø xöû lyù thoâng tin töø sensor keøm theo nhöõng luaät hoïc phöùc taïp, boä nhôù löu tröõ.... Toång theå nhöõng hoaït ñoäng cuûa neuron taïo ra beân trong moät lôùp moâ thaàn kinh laø keát quaû cuûa nhöõng teá baøo thaàn kinh keát noái daøy ñaëc goïi laø soá löôïng neuron (neuron population) hoaëc khoái neuron (neuron mass). Khoái neuron bao goàm nhieàu neuron vaø ñaëc tính cuûa noù coù ñaëc ñieåm gioáng vôùi nhöõng neuron rieâng reõ. Ñaëc tính cuûa khoái neuron phuï thuoäc vaøo nhöõng thoâng soá khaùc nhau cuûa nhöõng neuron caù nhaân vaø noù cuõng phuï thuoäc vaøo söï keát noái beân trong cuûa nhöõng neuron naøy. Moãi khoái neuron coù theå ñöôïc chia nhoû thaønh taïo thaønh nhöõng khoái nhoû cuøng toàn taïi bao goàm nhöõng lôùp neuron töông töï nhau naèm trong moät vuøng khoâng gian gaàn nhau. Nhöõng neuron trong moãi khoái con ñöôïc giaû söû nhaän nhöõng ñaàu vaøo thoâng thöôøng ñeå cho ñaùp öùng ñaàu ra .Keát noái sysnape beân trong baát cöù moät khoái con naøo ñeàu laø ngaãu nhieân, nhöng cöôøng ñoä thì ñuû ñeå coù söï keát noái giöõa baát kyø hai neuron naøo. Nhöõng khoái neuron thoâng thöôøng thì ñöôïc pha troän giöõa khoái nhoû tích cöïc vaø khoái nhoû thuï ñoäng. Khoái nhoû tích cöïc taêng xung löïc ñieän giöõa keát noái sysnape cuûa neuron trong khi khoái con thuï ñoäng laøm giaûm xung löïc ñieän .Nhöõng neuron rieâng bieät trong khoái con phaùt sinh ra y(k) nhaän xung löïc töø nhöõng neuron khaùc trong lôùp moâ thaàn kinh vaø töï hoài tieáp veà chính noù . Caáu truùc hình hoïc toái thieåu cuûa moät khoái neuron bao goàm neuron tích cöïc, neuron thuï ñoäng( keát noái sysnape töø neuron kích ñoäng ñeán neuron thuï ñoäng) ,thuï ñoäng-tích cöïc (keát noái sysnape töø thuï ñoäng ñeán kích ñoäng) vaø voøng hoài tieáp. Caáu truùc khoái neuron ñöôïc moâ taû nhö hình sau : Ngoõ ra Hoài tieáp thuï ñoäng Neuron tích cöïc Neuron thuï ñoäng Ñaàu vaøo töø beân ngoaøi Hoài tieáp tích cöïu Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 26 a. PN_Boä xöû lyù neuron : Vai troø tính toaùn ñöôïc thöïc hieän bôûi boä xöû lyù neuron PN ,noù caïnh tranh vôùi khaû naêng xöû lyù thoâng tin . Moâ hình khoâng gian traïng thaùi cuûa boä xöû lyù nhöõng thoâng tin roõ raøng töông öùng vôùi moät maûng hai chieàu vôùi maät ñoä keát noái beân trong PEs phi tuyeán. Moät phaàn töû xöû lyù rieâng reõ ñaïi dieän cho moät neuron tích cöïc ñöôïc ñöa ra bôûi nhöõng khoái con cuïc boä cuûa nhöõng teá baøo thaàn kinh tích cöïc hay thuï ñoäng. Söï keát noái nuoâi tieán ñeán moãi PEs seõ chuyeån ñoåi tín hieäu beân ngoaøi thaønh nhöõng neùt ñaëc tröng cuûa thoâng tin. Söï keát noái nuoâi luøi giöõa caùc PE khaùc nhau trong moät maïng phaùt sinh ñaëc tính ñoäng maø tính chaát naøy raát höõu ích cho vieäc thöïc hieän nhöõng tính toaùn ña daïng nhö boä loïc STF ,phaùt hieän di ñoäng, oån ñònh (STS), boä nhôù ngaén haïn(STVN) ,ñòa chæ noäi dung boä nhôù(CAM), ñieàu cheá taàn soá xung(PFM). Tính toaùn treân heä thoáng roõ coù theå phaùt trieån neáu boä xöû lyù neuron roõ ñöïôc keát hôïp chaët cheõ beân trong caáu truùc tính toaùn hình choùp, noù söû duïng kyõ thuaät xöû lyù thoâng tin song song vaø noái tieáp. Nhöõng öùng duïng trong heä thoáng neuron roõ bao goàm robot thoâng minh, giaùm saùt töï ñoäng ,robot y hoïc vaø heä thoáng cheá taïo maùy. Sô ñoà moâ hình khoâng gian traïng thaùi cho boä xöû lyù neuron ñöôïc bieåu dieãn nhö hình veõ : Söï phaùt trieån cuûa PE beân trong boä xöû lyù neuron ñöôïc cho bôûi phöông trình 1.24 X(k+1) = µX(k) + (1 - µ)Y(k) (1.24) Vôùi a laø toác ñoä phaân raõ taïi traïng thaùi hieän taïi X(k)Î[0,1] vaø (1-a ) laø toác ñoä sinh tröôûng traïng thaùi môùi taïi ñaàu vaøo. Y(k) Î [0.1] neáu a tieán ñeán 0 thì traïng thaùi môùi X(k+1) tyû leä vôùi ñaàu vaøo hieän taïi Y(k) ,traïng thaùi ñaàu vaøo cuûa Y(k) ñöôïc cho bôûi phöông trình 1.25 Y(k) = F[U(k)] (1.25) Vôùi f laø pheùp aùnh xaï phi tuyeán, U(k) Î [-¥,+ ¥] ,Y(k) Î [0,1]. Toång taùc ñoäng ñaàu vaøo ñeán nhöõng phaàn töû PEs khaùc nhau cuûa caùc boä xöû lyù roõ ñöôïc cho bôûi phöông trình 1.26 U(k) = AS(k) + WX(k) (1.26) Coù hai loaïi ñaàu vaøo ñöôïc caáu thaønh bôûi PEs. Loaïi thöù nhaát phaùt sinh töø ñaàu vaøo beân ngoaøi : tín hieäu S(k) vaø loaïi thöù 2 baét nguoàn töø keát noái tuaàn hoaøn giöõa PEs beân trong maïng X(k). Pheùp bieán ñoåi tín hieäu töø beân ngoaøi ñöôïc cho bôûi ma traän A W f[.] A 1-µ µ z-1 + + + S(k) X(k) F(k) U(k) Y(k) X(k+1) Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 27 cuûa maïng nuoâi tieán. Troïng soá keát noái cuûa maïng tuaàn hoaøn giöõa moãi PE rieâng reõ ñöôïc cho bôûi ma traän W cuûa maïng nuoâi luøi. Söï ña daïng cuûa quaù trình xöû lyù thoâng tin keát hôïp vôùi traïng thaùi tröôùc ñoù cuûa cô caáu roõ coù theå thöïc hieän bôûi caáu truùc boä xöû lyù neuron cô baûn. Nhöõng pheùp tính khaùc nhau ñaït ñöïôc baèng caùch choïn löïa ma traän A vaø W, vaø nhöõng thoâng soá cuûa pheùp aùnh xaï phi tuyeán f[.] Heä soá cuûa ma traän A trong maïng nuoâi tieán ñöôïc xem nhö boä loïc khoâng gian tuyeán tính seõ laøm taêng ñoä phaúng ñaàu ra vôùi ñaàu vaøo S(k). Heä soá ñöôïc choïn cho W trong maïng nuoâi luøi phuø hôïp vôùi thoâng soá f[.] seõ quyeát ñònh vai troø tính toaùn cuûa boä xöû lyù. b. Boä xöû lyù maïng neuron ñoäng (Dynamic Neural Processor: DNP): DNP ñöôïc phaùt trieån döïa treân ñaëc tính sinh hoïc cuûa nhöõng neuron. Noù phuï thuoäc vaøo söï taùc ñoäng qua laïi cuûa khoái neuron tích cöïc vaø thuï ñoäng . DNP bao goàm 2 nuùt cô baûn ñöôïc goïi laø ñôn vò neuron ñoäng vaø moät caëp neuron tích cöïc vaø thuï ñoäng. Caáu truùc cuûa DNU bieåu hieän phaàn töû trì hoaõn-nuoâi luøi, troïng soá nuoâi tieán nuoâi luøi theo sau bôûi haøm phi tuyeán bieán ñoåi theo thôøi gian. Moâ hình cuûa DNP ñöôïc moâ taû trong hình sau : Trong caáu truùc naøy Sl(k) vaø Ul(k) tieâu bieåu cho kích thích cuûa neuron ñaàu vaøo vaø ñaàu ra, l chæ ñeán traïng thaùi tích cöïc hay thuï ñoäng. Stl(k) laø toång ñaàu vaøo cuûa neuron ñôn vò. Wll laø cöôøng ñoä keát noái sysnape töø moät neuron ñôn vò ñeán moät neuron khaùc, phaàn töû Z-1 bieåu dieãn söï trì hoaõn thôøi gian. Chöùc naêng ñoäng cuûa ñôn vò tính toaùn neuron(DNU). Ñöôïc ñònh nghóa bôûi phöông tình vi phaân baäc 2 ñöôïc trình baøy nhö phöông trình 1.18. Bieán traïng thaùi DNUE wEE z-1 wIE z-1 WEI z-1 wee z-1 DNUI wE wI sE(k) sIE(k) uE(k) uI (k) sI (k) sI(k) fE fI - - + + - - Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 28 uE(k+1) phaùt sinh taïi thôøi ñieåm k+1 bôûi caùc ñôn vò neuron kích ñoäng vaø thuï ñoäng ñöôïc bieåu dieãn bôûi haøm phi tuyeán nhö sau: )](),([)1( kvkuEku EEE =+ (1.27a) )](),([)1( 111 kvkuku =+ (1.27b) vôùi vE(k) vaø vI(k) laø ñaïi dieän cho söï caân xöùng neuron trong neuron ñôn vò nghóa laø ñaàu vaøo seõ lôùn hôn giaù trò ngöôõng, E vaø I laø neuron phi tuyeán tích cöïc vaø thuï ñoäng. Nhöõng neuron coù ñaàu vaøo lôùn hôn giaù trò ngöôõng thì ñöôïc cho bôûi haøm phi tuyeán Vl(k) vaø y[ Vl(k)]. Toång ñaàu vaøo taùc ñoäng leân ñôn vò tích cöïc hay thuï ñoäng ñöôïc bieåu dieãn bôûi 1.28a vaø 1.28b stE(k) = wEsE(k) + wEEuE (k-1) – wiEuI (k-1) - fE (1.28a) stI(k) = wIsI(k) - wIIuI (k-1) + wiE uE(k-1) - fI (1.28b) Vôùi wE vaø wI laø troïng soá taïi ñaàu vaøo neuron tích cöïc vaø thuï ñoäng ;wEE vaø wII laø cöôøng ñoä keát noái vôùi chính noù ;wIE vaø wEI laø cöôøng ñoä keát noái giöõa caùc neuron fE vaø fI laø giaù trò ngöôõng cuûa neuron kích ñoäng vaø thuï ñoäng, phöông trình 1.28a vaø 1.28b coù theå vieát laïi döôùi daïng ma traän 1.29 ú û ù ê ë é )( )( ks ks iI iE = ú û ù ê ë é I E w w 0 0 ú û ù ê ë é )( )( ks ks I E + ú û ù ê ë é - - IIEI IEEE ww ww ú û ù ê ë é - - )1( )1( ku ku I E - ú û ù ê ë é I E q q (1.29) Duøng pheùp giaûi tích tröïc tieáp ñeå xaùc ñònh traïng thaùi oån ñònh vaø ñaùp öùng thôøi gian cuûa DNP thì khoâng theå thöïc hieän ñöôïc bôûi vì tính phi tuyeán voán coù trong phöông trình 1.28a vaø 1.28b. Tuy nhieân phöông trình phi tuyeán coù theå phaân tích ñònh tính baèng phöông phaùp quyõ ñaïo pha trong mieàn pha phaúng uE-uI. Quyõ ñaïo pha naøy theå hieän tính chaát cuûa heä thoáng maø khoâng caàn giaûi phöông trình phi tuyeán. Quyõ tích nhöõng ñieåm maø quyõ ñaïo pha doác ñöôïc goïi laø ñöôøng cong ñaúng khuynh ( isocline surve) , traïng thaùi oån ñònh ñöôïc moâ taû bôûi DNU cuûa boä xöû lyù neuron coù theå ñöôïc nghieân cöùu baèng caùch xaùc ñònh ñöôøng cong ñaúng khuynh töông öùng vôùi uE (k+1)=uE(k) vaø u I(k+1)=uI(k). c. Moâ hình neuron ñoäng toång quaùt : Phaùt trieån moâ hình tính toaùn chung trong maïng neuron laø thaät söï caàn thieát , moâ hình naøy coù theå ñaïi dieän cho ñaëc tính vaø caïnh tranh vôùi phöông trình toaùn cuûa caáu truùc neuron sinh hoïc .Trong phaàn naøy chuùng ta phaûi phaùt trieån moät moâ hình neuron toång quaùt döïa treân khaùi nieäm maïng neuron ñöôïc moâ taû tröôùi ñaây vaø cuõng chöùng minh söï toàn taïi cuûa moâ hình neuron nhö maïng nuoâi tieán ,nuoâi luøi. TDNN, DNU laø nhöõng maïng toång quaùt . Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 29 Moâ hình maïng toång quaùt ñöôïc moâ taû trong hình sau : Ñoù laø moät moâ hình ñoäng baäc hai maø ñaàu ra cuûa noù ñöôïc tính baèng haøm taùc ñoäng phi tuyeán thay ñoåi theo thôøi gian .Moâ hình toång quaùt laø môû roäng cuûa DNU vaø keát hôïp vôùi hoài tieáp ñaëc tröng cho troïng soá giöõa caùc neuron . Trong hình treân ,ma traän troïng soá nuoâi tieán ñöôïc moâ taû bôûi G,H,P trong khi ma traän nuoâi luøi A,B vôùi giaù trò ngöôõng laø q , ma traän C ñöôïc moâ taû nhö cöôøng ñoä töï keát noái hoài tieáp cuûa neuron beân trong (selt – inter- neuron). Ma traän F,D ñaëc tröng cho ma traän ñaàu vaøo vaø ñaàu ra cuûa tín hieäu .Trong maïng neuron tónh coå ñieån ,ma traän F ñaëc tröng cho troïng soá .Ñaàu ra cuûa neuron ñoäng ñöôïc xaùc ñònh töø haøm taùc ñoäng phi tuyeán thöôøng duøng laø haøm daáu vôùi ñoä doác thay ñoåi. Söï thích nghi trong haøm sigmoid slope taïo ra ñaëc tính töï ñieàu höôûng ñeán moâ hình cuûa maïng neuron . Haøm taùc ñoäng moâ taû caáu truùc neuron ñöôïc ñaëc tröng bôûi phöông trình sai phaân 1.30 x(k) = Fs(k) -q (a) q(k) = x(k) + Aq(k-1) + Bq(k-2) + Cq(k-1) (b) v1(k) = G[q(k)] + H[q(k-1)] + P[q(k-2)] (c) v(k) = g sv1(k) (d) u(k) = Y[v(k)] (e) y(k) = Du(k) (f) Sau ñaây chuùng ta seõ chæ ra raèng caáu truùc cuûa neuron ñaõ toàn taïi coù nguoàn goác töø moâ hình neuron toång quaùt naøy . Maïng nuoâi tieán (tónh) nhö ñaõ ñöôïc trình baøy ôû nhöõng phaàn tröôùc: caáu truùc tónh cuûa maïng neuron nhaân taïo coù ñaàu vaøo nhaän töø neuron khaùc hoaëc töø nhöõng caûm bieán . Toång troïng soá cuûa nhöõng ñaàu vaøo naøy caáu thaønh argument cuûa haøm taùc ñoäng .Keát quaû cuûa haøm taùc ñoäng neáu vöôït qua giaù trò ngöôõng thì cuõng chính laø ñaàu P H G å z-1 z-1 å å gs y[.] D A B F C z-1 u(k) v(k) s(k) q(k) q x(k) v1(k) q(k-1) q(k-2) y(k) Somatic component synapetic component Luaän Vaên Toát Nghieäp GVHD :Thaày Nguyeãn Thieän Thaønh SVTH : Hoaøng Trung Hieáu & Nguyeãn Trung Duõng trang 30 ra . Ñaàu ra naøy phaân boá caùc troïng soá ñeán caùc ñôn vò xöû lyù khaùc .Maïng neuron tónh coù caáu truùc toång quaùt vôùi C = H = P = C = 0,G=1, gs = 1(haøm phi tuyeán vôùi ñoä doác thay ñoåi ) ñöôïc bieåu dieãn nhö hình sau : Maïng nuoâi luøi (maïng tuaàn hoaøn) : caáu truùc maïng coå ñieån ñöôïc trình baøy trong hình beân döôùi ,noù laø trong tröôøng hôïp ñaëc bieät cuûa caáu truùc toång quaùt A = B = H = P =0 , G=gs=1 Maïng neuron thôøi gian treã : tính chaát ñoäng cuûa mang neuron thôøi gian treã coù theå ñöôïc moâ taû nhö tröôøng hôïp toång quaùt vôùi A=B=C=0, gs=1. Caáu truùc naøy ñöôïc bieåu dieãn nhö hình veõ sau : x(k) u(k) Ñaàu ra y(k) F y[.] F D å q ñaàu vaøo s(k) Giaùtrò ngöôõng Troïng soá cuûa synape Troïng soá ñaàu ra ñeán caùc neuron khaùc q Ñaàu ra y(k) Troïng soá ñaàu ra ñeán caùc neuron khaùc u(k) Giaùtrò ngöôõng y[.] F D x(k) F å ñaàu vaøo s(k) Troïng soá cuûa synape å å å z-1 z-1 å v(k) x(k) u(k) Ñaàu ra y(k) F y[.] F D å q ñaàu vaøo s(k) Giaùtrò ngöôõng Troïng soá cuûa synape Troïng soá ñaàu ra ñeán caùc neuron khaùc C z-1