Tìm hiểu phương pháp phân đoạn ảnh

2.2.2 Phát hiện biên Phát hiện biên một cách lý tưởng là xác định được tất cả các đường bao trong các đối tượng. Có nhiều phương pháp phát hiện biên, thông thường chúng ta sử dụng phương pháp phát hiện biên trực tiếp. Phương pháp này nhằm làm nổi biên dựa vào sự biến thiên về giá trị độ sáng của điểm ảnh. Kỹ thuật chủ yếu dùng ở đây là kỹ thuật đạo hàm. Nếu lấy đạo hàm bậc nhất của ảnh ta có phương pháp Mức xám x Mức xám x Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 17 Gradient, nếu lấy đạo hàm bậc hai ta có kỹ thuật Laplace. Phương pháp này có ưu điểm là ít chịu ảnh hưởng của nhiễu, song nếu sự biến thiên của độ sáng không đột ngột thì hiệu quả đạt được là rất kém. 2.2.2.1 Kỹ thuật Gradient Phương pháp Gradient là phương pháp dò biên cục bộ dựa vào cực đại của đạo hàm. Theo định nghĩa, Gradient là một véctơ có các thành phần biểu thị tốc độ thay đổi giá trị của điểm ảnh theo hai hướng x và y. Các thành phần của gradient được tính theo công thức: dy yxfdyyxff y yxf dx yxfydxxff x yxf y x ),(),(),( ),(),(),( −+≈=∂ ∂ −+≈=∂ ∂ (2.6) trong đó, dx là khoảng cách giữa các điểm theo hướng x (khoảng cách tính bằng số điểm), dy là khoảng cách giữa các điểm theo hướng y. Thực tế, người ta hay dùng với dx = dy = 1. Với một ảnh liên tục f(x,y), các đạo hàm riêng của nó cho phép xác định vị trí cực đại cục bộ theo hướng của biên. Thực vậy, một ảnh liên tục được biểu diễn bởi một hàm f(x,y) dọc theo r với góc ϕ (toạ độ cực): )sin.,cos.(),( ϕϕ rrfyxf = (2.7) gradient được định nghĩa: ϕϕϕϕϕ ϕϕ cossin sincos rfrfy y fx x ff ff r y y f r x x f r f yx yx +−=∂ ∂ ∂ ∂+∂ ∂ ∂ ∂=∂ ∂ +=∂ ∂ ∂ ∂+∂ ∂ ∂ ∂=∂ ∂ (2.8) ϕ là hướng của biên khi: Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 18 ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛=⇔ =⇔ =+−⇔ =∂ ∂ y x y x yx f farctg f ftg rfrf f ϕ ϕ ϕϕ ϕ 0cossin 0 Thực ra, đạo hàm của ảnh là không tồn tại vì f(x,y) không liên tục. Ở đây, ta chỉ sử dụng mô phỏng theo ý nghĩa của đạo hàm, việc tính toán là xấp xỉ đạo hàm bằng kỹ thuật nhân chập. Trong phương pháp gradient, người ta chia nhỏ thành hai kỹ thuật (tương ứng với hai toán tử khác nhau): + Kỹ thuật gradient dùng toán tử gradient, lấy đạo hàm theo một hướng; + Kỹ thuật la bàn dùng toán tử la bàn, lấy đạo hàm theo tám hướng: Bắc, Nam, Đông, Tây, và Đông Bắc, Tây Bắc, Đông Nam, Tây Nam. 2.2.2.2 Kỹ thuật Gradient Kỹ thuật gradient sử dụng một cặp mặt nạ H1, H2 trực giao (theo hai hướng vuông góc). Nếu định nghĩa gx, gy là gradient tương ứng theo hai hướng x, y thì biên độ của gradient tại điểm (i,j)- ký hiệu là g(i,j) được tính theo công thức: ),(),(),( 220 jigjigAjig yx +== (2.9) Góc ϕ: ) ),( ),(arctan(),( jig jigji y x r =ϕ (2.10) Có nhiều toán tử đạo hàm khác nhau đã được áp dụng. Em xin trình bày một số toán tử tiêu biểu (tương ứng là các mặt nạ khác nhau) như Toán tử Robert, toán tử Sobel, Toán tử Prewitt … Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 19 +/ Toán tử Robert (Do Robert đề xuất năm 1965): Toán tử này là áp dụng trực tiếp của công thức đạo hàm tại điểm (x,y). Chọn cặp mặt nạ H1, H2 như sau: ⎥⎦ ⎤⎢⎣ ⎡ −= 01 10 1H , ⎥⎦ ⎤⎢⎣ ⎡ − −= 10 01 2H Với mỗi điểm ảnh I(x,y) của I, gọi gx, gy tương ứng là các đạo hàm theo các hướng x và y, ta có: ⎩⎨ ⎧ −+= −+= ),()1,(),( ),(),1(),( jiIjiIjig jiIjiIjig y x (2.11) Điều bày tương đương với việc chập ảnh với hai mặt nạ H1, H2: ⎩⎨ ⎧ ⊗= ⊗= 2 1 ),(),( ),(),( HjiIjig HjiIjig y x (2.12) Người ta gọi H1, H2 là mặt nạ Robert. Trong trường hợp tổng quát, giá trị gradient biên độ g và gradient hướng ϕr được tính bởi công thức (2.9), (2.10). Ngoài ra, để giảm thời gian tính toán ta cũng có thể dùng các chuẩn sau để tính g(i,j): ),(),(1 jigjigA yx += (2.13) Hoặc ( )),(,),(2 jigjigMaxA yx= (2.14) Một điểm nữa là: khi di chuyển mặt nạ trên ảnh, trường hợp gặp các điểm biên, thì coi các điểm ứng với mặt nạ ở bên ngoài ảnh có giá trị 0. +/ Toán tử Solbel: Toán tử Solbel sử dụng hai mặt nạ H1, H2 như sau: ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ − − − = 101 101 101 1H , ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −−− = 111 000 111 2H (2.15) Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 20 Khi đó: ⎪⎪⎩ ⎪⎪⎨ ⎧ ++++=⊗= ++++=⊗= ∑∑ ∑∑ −= −= −= −= 1 1 1 1 22 1 1 1 1 11 ))1,1(),((),(),( ))1,1(),((),(),( k t y k t x tkHtjkiIHjiIjig tkHtjkiIHjiIjig (2.16) Hình 3.2 minh hoạ việc xấp xỉ gx, gy trong toán tử Solbel I(i-1,j-1) I(i,j-1) I(i+1,j-1) I(i-1,j) I(i,j) I(i+1,j) I(i-1,j+1) I(i,j+1) I(i+1,j+1) Hình 3.2 Xấp xỉ gx, gy trong toán tử Solbel +/ Toán tử Prewitt: Sử dụng hai mặt nạ: ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ − − − = 101 202 101 1H , ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −−− = 121 000 121 2H (2.17) +/ Mặt nạ đẳng hướng (Isometric): Sử dụng hai mặt nạ: ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ − − − = 101 202 101 1H , ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −−− = 121 000 121 2H (2.18) Cần chú ý thêm là các chuẩn trong công thức (2.13), (2.14) đã tạo nên sự “vặn xoắn” trong việc tính toán biên độ. Thực vậy, nếu gx hoặc gy bằng 0 thì A1 = A2 = A0, nếu gx = gy thì ta sẽ có A1 = gx, A2 = gy, A0 = 2xg . Sau khi thực hiện tính toán theo các công thức (2.12) và (2.16) ta thấy phương pháp Robert và Solbel dùng chuẩn A1. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 21 Có thể nhận thấy rằng việc lấy đạo hàm một tín hiệu có xu hướng làm tăng nhiễu trong tín hiệu đó. Thực tế đã chứng minh các toán tử Sobel và Prewitt tốt hơn toán tử Robert vì chúng ít nhậy cảm với nhiễu hơn. Cũng với mục đích nghiên cứu các mặt nạ cho kết quả tốt hơn, người ta nghĩ đến việc xem xét các lân cận theo 8 hướng chính – đó chính là phương pháp Kirsh và gọi là toán tử Kirsh hay toán tử la bàn. Phần tiếp theo chúng tôi đề cập đến toán tử này. 2.2.2.3 Kỹ thuật la bàn Toán tử la bàn đo gradient theo 8 hướng ngược chiều kim đồng hồ, mỗi hướng cách nhau 450. Khi đó: gọi gk là gradient la bàn theo hướng θk = π/2+2kπ, với k = 0, 1, …, 7. Có nhiều toán tử la bàn khác nhau, ở đây ta chỉ trình bày một cách chi tiết toán tử Kirsh. Toán tử này sử dụng mặt nạ 3x3, mặt nạ Hk ứng với hướng θk với k = 0, 1, 2, ..., 7. Mặt nạ H0 – cho hướng θ0 = 00 có dạng như sau: ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −− − −− = 533 503 533 0H Trên cơ sở mặt nạ gốc định nghĩa thêm 7 mặt nạ khác nhau từ H1 đến H7 cho 7 hướng còn lại: 450, 900, 1350, 1800, 2250, 2700, 3150. ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −−− − − = 333 503 553 1H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −−− −−= 333 303 555 2H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −−− − − = 333 305 355 3H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −− − −− = 335 305 335 4H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ − − −−− = 355 305 333 5H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −− −−− = 555 303 333 6H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ − − −−− = 553 503 333 7H (2.19) Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 22 Nếu ta kí hiệu Ai với i = 0, 1, …, 7 là gradient thu được theo 8 hướng bởi 8 mặt nạ thì biên độ gradient tại I(i,j), ký hiệu là g(i,j) sẽ được tính như sau: ( ) ( )0..7 k ,j)(i,g Max ji,g k == (2.20) Trong trường hợp tổng quát, giả sử có n hướng cách đều tương ứng với các mặt nạ Wi với i=0, 1, …, n đối với ảnh I, khi đó: A(x,y) = Max( ),...,1,0,),(W¦ Ti niyxI = , thực chất đây chính là chuẩn A2. 2.2.2.4 Kỹ thuật Laplace Các phương pháp đánh giá gradient ở trên làm việc khá tốt khi mà độ sáng thay đổi rõ nét. Khi mức xám thay đổi chậm, miền chuyển tiếp trải rộng, phương pháp cho hiệu quả hơn đó là phương pháp sử dụng đạo hàm bậc hai – ta gọi là phương pháp Laplace. Theo kỹ thuật này, vị trí biên của ảnh là chỗ trong ảnh có toán tử Laplace đổi dấu, hay nói cách khác là tại giao điểm của nó với trục hoành. Toán tử Laplace được định nghĩa như sau: 2 2 2 2 2 dy f dx ff ∂+∂=∇ (2.21) Toán tử Laplace dùng nhiều kiểu mặt nạ khác nhau để xấp xỉ rời rạc đạo hàm bậc hai. Dưới đây là ba kiểu mặt nạ hay dùng: ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ − −− − = 010 141 010 1H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ −−− −− −−− = 111 181 111 2H ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ − −− − = 121 242 121 3H (2.22) Để thấy rõ việc xấp xỉ đạo hàm bậc hai trong không gian rời rạc bởi mặt nạ H1, ta xét chi tiết cách tính đạo hàm bậc hai như sau: ),1(),1(),(22 2 yxfyxfyxf x f +−−−=∂ ∂ (2.23) Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 23 )1,()1,(),(22 2 +−−−=∂ ∂ yxfyxfyxf y f (2.24) Lúc đó: 2 2 2 2 2 dy f dx ff ∂+∂=∇ = -f(x-1,y)-f(x,y-1)+4f(x,y)-f(x,y+1)-f(x+1,y) (2.25) Công thức (2.25) tương đương với kết quả nhân chập ảnh f(x,y) với mặt nạ H1. Tương tự, ta cũng chứng minh được cách xấp xỉ đạo hàm bậc hai ảnh f(x,y) bởi các mặt nạ H2 và H3. Trong kỹ thuật Laplace, điểm biên được xác định bởi điểm cắt điểm không. Điểm không là duy nhất cho nên kỹ thuật này thường cho đường biên mảnh - tức là đường biên có độ rộng khoảng 1 pixel. Tuy nhiên, do đạo hàm bậc hai thường không ổn định nên bản đồ biên của ảnh được xác định bởi kỹ thuật Laplace thường chứa nhiễu. Hình ảnh tiếp theo minh hoạ các kỹ thuật phát hiện biên. (a) Ảnh gốc (b) Robert Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 24 (c) Sobel (d) Prewitt (e) Laplace H1 (f) Laplace H2 Hình 8. Minh hoạ một số phương pháp phát hiện biên 2.2.3 Làm mảnh biên Làm mảnh biên thực chất là làm nổi biên với độ rộng chỉ 1 pixel. Chúng ta cũng đã biết rằng chỉ có kỹ thuật Laplace mới cho biên có độ rộng 1 pixel trong khi các kỹ thuật khác thì không hoàn toàn như thế. Vấn đề đặt ra là sau khi thu được bản đồ biên của ảnh chúng ta cần phải làm mảnh biên. Có rất nhiều kỹ thuật làm mảnh biên đối tượng nói chung hoặc mảnh biên chữ nói riêng, ở đây chúng tôi trình bày hai thuật toán làm mảnh biên chữ,, đó là: kỹ thuật “ Loại bỏ các điểm không cực đại” và kỹ thuật do Sherman đề xuất. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 25 + Kỹ thuật loại bỏ các điểm không cực đại: Giả sử ảnh I(x,y) gồm gradient hướng và gradient biên độ (còn gọi là bản đồ hướng và bản đồ biên độ). Với mỗi điểm ảnh I(x,y), ta xác định các điểm lân cận của nó theo hướng gradient, gọi các điểm đó là I(x1, y1) và I(x2,y2). Nếu I(x,y) lớn hơn cả I(x1,y1) và I(x2,y2) thì giá trị của I(x,y) sẽ được bảo toàn, ngược lại ta gán giá trị của nó bằng 0 và xem như bị loại bỏ khỏi biên. + Kỹ thuật làm mảnh biên chữ do Sherman đề xuất (về sau được Fraser cải tiến và áp dụng cho ảnh nhị phân). Kỹ thuật này được mô tả tóm tắt như sau: Tại mỗi vị trí cửa sổ, phần tử trung tâm sẽ được xoá (đổi thành trắng) nếu nó thoả mãn một trong hai điều kiện sau: * Nó là điểm đen duy nhất kết nối với hai điểm đen không kề nhau. * Nó là điểm đen có duy nhất một lân cận cũng là điểm đen ngoại trừ không tồn tại một chuyển đổi nào tại phần tử trước nó. 2.2.4 Nhị phân hoá đường biên Nhị phân hóa đường biên là giai đoạn then chốt trong quá trình trích chọn vì nó xác định đường bao nào thực sự cần và đường bao nào có thể loại bỏ. Nói chung, người ta thường nhị phân hóa đường biên theo cách thức làm giảm nhiễu hoặc tránh hiện tượng kéo sợi trên ảnh. Điều này cũng giải thích tại sao phân đoạn dựa theo biên có hiệu quả khi ảnh có độ tương phản tốt. Trong trường hợp ngược lại, có thể sẽ bị mất một phần đường bao hay đường bao có chân, không khép kín, v.v.., do đó sẽ bất lợi cho biểu diễn sau này. Một phương pháp hay được dùng là chọn ngưỡng thích nghi. Với cách chọn này, ngưỡng sẽ phụ thuộc vào hướng của gradient nhằm làm giảm sự xoắn của biên. Đầu tiên, người ta định ra một ngưỡng nào đó và sau đó sử dụng một hệ số sinh thích nghi thông qua lời giải toán tử đạo hàm theo hướng tìm được để tinh chỉnh. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 26 2.2.5 Mô tả biên Khi đã có bản đồ biên ảnh, ta cần phải biểu diễn nó dưới dạng thích hợp phục vụ cho việc phân tích và làm giảm lượng thông tin dùng để miêu tả, lưu trữ đối tượng. Người ta thường thực hiện theo nguyên tắc: tách riêng từng biên và gán cho mỗi biên một mã. Có rất nhiều phương pháp miêu tả biên, mỗi phương pháp thích hợp với một loại ứng dụng riêng. Tuy nhiên, nhìn chung các biên sẽ được làm rõ hơn thông qua các thao tác: loại bỏ đường biên hở, khép kín đường biên, loại bỏ các chân rết bám theo đường biên vv... Thông thường, các cấu trúc cơ sở mã hoá đường biên bao gồm 4 loại: điểm, đoạn thẳng, cung và đường cong. Tuy nhiên, nếu ta biểu diễn đường biên bởi các điểm thì rất đơn giản về mặt tính toán nhưng lại nghèo nàn về mặt cấu trúc và không cô đọng. Ngược lại, nếu biểu diễn biên bởi đường cong đa thức bậc cao thì cấu trúc dữ liệu rất cô đọng nhưng độ phức tạp tính toán lại khá lớn. Do đó, tuỳ từng loại ứng dụng cụ thể và từng bài toán cụ thể mà chúng ta có thể chọn cách mã hoá đường biên theo kiểu nào. Dưới đây, chúng tôi trình bầy một số phương pháp mã hoá đường biên hay dùng. 2.2.5.1 Mã hoá theo toạ độ Đềcác Đường biên của ảnh được biểu diễn bởi một danh sách các điểm ảnh tạo nên đường bao. Gọi C là đường bao ảnh, C(i,j) là các điểm thuộc C. Cách biểu diễn này rất đơn giản, việc tính toán khá nhanh nhưng có nhược điểm là không làm giảm tải được lượng thông tin. Việc mã hoá sử dụng kỹ thuật tìm kiếm thông tin theo chiều sâu trên cây. Nếu áp dụng một cách đơn thuần kỹ thuật này ta sẽ thu được một đường biên có tồn tại một số điểm xuất hiện hơn một lần. Để làm mịn biên – nghĩa là mỗi điểm trên biên chỉ xuất hiện một lần chúng ta sẽ phối hợp với việc kiểm tra 8 liên thông. Thuật toán Contour Following được mô tả như sau: Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 27 Void CountFoll (Pic, Depth) { For each point I(x,y) do { If I(x,y) ∈ C then {Root ← I(x,y) KQ ← CountFoll (Root, 0) If KQ then Dem ← Dem+1. } } 2.2.5.2 Mã hoá Freeman Phương pháp này biểu diễn đường biên bằng việc sử dụng vị trí tương đối của điểm trên biên với điểm trước. Nguyên tắc mã hoá như sau: sử dụng mặt nạ ở hình để xác định mã của mỗi điểm trong 8 liên thông so với điểm ở tâm, sau đó từ một điểm đã cho trên biên người ta mã hoá đường biên bằng cách đi theo nó. Thông thường người ta hay mã hoá đường biên theo góc giữa các cung – xem hình Hình 9. Liên thông và mã hướng tương ứng 1 0 7 6 5 4 3 2 Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 28 Hình 10. Mã hoá theo góc Giả sử ta có bản đồ biên như sau: Xuất phát Nếu mã hoá theo cung thì mã đường biên là {6 0 7 0 2 0 0 2 4 3 5 4 4 }, còn nếu mã hoá theo góc thì ta có {2 2 -1 1 2 -2 0 2 2 -1 2 -1 0} 2.2.5.3 Xấp xỉ bởi đoạn thẳng Ngược với hai cách mã hoá ở trên, kỹ thuật mã hoá bởi đoạn thẳng không cho phép khôi phục tất cả các thông tin chứa đựng trong đường biên nhưng lại có thể xấp xỉ nó bởi đoạn thẳng với độ chính xác phụ thuộc vào người dùng. Thuật toán xấp xỉ bởi đoạn thẳng được mô tả như sau: - B1: Chọn điểm xuất phát R. - B2: Nối R với điểm đang xét Pc – ta được đoạn thẳng RPc 3 2 1 -1 -2 -3 Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 29 - B2: Tính dj = Max {di - khoảng cách từ các điểm Pi nằm giữa R và Pc đến đoạn thẳng RPc } - B3: Nếu dj > θ - ngưỡng cho trước, còn gọi là độ chính xác của xấp xỉ thì phân đoạn RPc thành hai đoạn RPi và PiPc. Sau đó, lặp lại bước 2. Ngược lại, nếu dj < θ - tức là đoạn thẳng đang xét “rất gần” với cung của biên thì dừng thuật toán. Thuật toán sẽ đạt hiệu quả rất cao nếu chúng ta chọn được độ chính xác của xấp xỉ hợp lí. Độ chính xác càng thấp, thông tin mô tả càng cô đọng. Cũng trong phương pháp xấp xỉ bởi đoạn thẳng, có một cách tiếp cận khác với phương pháp trên, đó là phép biến đổi Hough [Tr 143 - 147]. 2.3. PHÂN ĐOẠN THEO MIỀN ĐỒNG NHẤT 2.3.1 Giới thiệu Giả sử rằng một miền ảnh X phải được phân thành N vùng khác nhau: R1, …, RN và nguyên tắc phân đoạn là một vị từ của công thức P(R). Việc phân đoạn ảnh chia tập X thành các tập con Ri, i = 1..N phải thoả mãn: ¾ Các vùng Ri, i=1..N phải lấp kín hoàn toàn ảnh: U N i iRX 1= = (2.26) ¾ Hai vùng khác nhau phải là những tập hợp rời nhau: 0=∩ ji RR với i ≠ j (2.27) ¾ Mỗi vùng Ri phải có tính đồng nhất: P(Ri) = TRUE với i = 1..N (2.28) ¾ Nếu Ri, Rj là hai vùng rời nhau thì (Ri ∪Rj) phải là một vùng ảnh không đồng nhất: P(Ri ∪ Rj) = FALSE với i ≠ j (2.29) Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 30 Kết quả của việc phân vùng ảnh phụ thuộc vào dạng của vị từ P và các đặc trưng được biểu diễn bởi vectơ đặc trưng. Thường thì vị từ P có dạng P(R,X,t), trong đó X là vectơ đặc trưng gắn với một điểm ảnh và t là một tập hợp các tham số (thường là các ngưỡng). Trong trường hợp đơn giản nhất, vectơ đặc trưng X chỉ chứa giá trị mức xám của ảnh I(k,l) và vectơ ngưỡng chỉ gồm một ngưỡng T. Một nguyên tắc phân đoạn đơn giản có công thức: P(R): f(k,l) < T (2.30) Trong trường hợp các ảnh màu, vectơ đặc trưng X có thể là ba thành phần ảnh RGB [fR(k,l), fG(k,l), fB(k,l)]T. Lúc đó luật phân ngưỡng có dạng: P(R,x,t): ((fR(k,l)<TR)&& (fG(k,l)<TR)&&(fB(k,l)<TR)) (2.31) 2.3.2 Phương pháp tách cây tứ phân Phương pháp tách cây tứ phân dựa trên nguyên tắc kiểm tra tính hợp thức của tiêu chuẩn đồng nhất một cách tổng thể trên miền lớn. Nếu tiêu chuẩn được thoả việc phân đoạn coi như kết thúc. Trong trường hợp ngược lại, chia miền đang xét thành 4 miền nhỏ hơn, áp dụng đệ quy bằng phương pháp trên cho mỗi miền nhỏ hơn cho đến khi tất cả các miền đều thoả mãn tiêu chuẩn đồng nhất. Thuật toán được mô tả như sau: Procedure PhanDoan(Mien) Begin If miền đang xét không thoả Then Begin Chia miền đang xét thành 4 miền: Z1, Z2, Z3, Z4 For i=1 to 4 Do PhanDoan(Zi) End Else Exit End; Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 31 Thuật toán này tạo nên một cây mà mỗi nút cha có 4 nút con ở mọi mức, trừ mức ngoài cùng. Vì thế cây này có tên là cây tứ phân. Gốc của cây là ảnh ban đầu, một vùng thoả tiêu chuẩn tạo nên một nút lá, nếu không sẽ tạo nên một nút nhánh . Giả sử chọn tiêu chuẩn phân vùng là màu sắc và quy ước mọi điểm của vùng là màu trắng sẽ tạo nên một nút lá trắng và tương tự như vậy với nút lá đen. Nút màu ghi có nghĩa là vùng không thuần nhất và phải tiếp tục chia. Hình 4.1 a-e minh họa thuật toán tách cây tứ phân: ảnh gốc (a) được chia thành 4 phần được kết quả phân mức 1 (b), tiếp tục thực hiện đối với các phần nhỏ, ta được phân mức 2, 3. a) Ảnh gốc Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 32 1 2 3 4 b) Phân mức 1 5 6 9 10 7 8 11 12 13 14 4 15 16 c) Phân mức 2 Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 33 5 17 18 9 10 19 20 21 22 8 11 12 23 24 25 26 29 30 4 27 28 31 32 15 16 d) Phân mức 3 e) Cây tương ứng Hình 11. Phương pháp tách cây tứ phân 1 2 3 4 6 7 13 14 5 8 9 10 11 12 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 34 2.3.3 Phương pháp phân vùng bởi hợp Phương pháp phân vùng bởi hợp thao tác ngược lại với phương pháp tách cây tứ phân, nghĩa là xuất phát từ các miền nhỏ nhất – các điểm ảnh rồi hợp chúng lại nếu thoả mãn tiêu chuẩn đề ra để được miền đồng nhất lớn hơn. Tiếp tục với các miền thu được cho đến khi ta không thể hợp nhất chúng với nhau nữa, lúc này số miền còn lại chính là các phân vùng của ảnh. Việc hợp nhất hai miền phải thoả mãn hai nguyên tắc sau: - Hai vùng phải kế cận. - Hai vùng phải đáp ứng tiêu chuẩn, như cùng màu, cùng mức xám hay cùng kết cấu vv ... Giả sử vùng Ri có n điểm, lúc đó giá trị trung bình mi và độ lệch tiêu chuẩn σi được tính theo công thức: ∑ ∈ = iRlk lkI n ),( ),(1 mi (2.31) 2 ),( )),((1 ∑ ∈ −= iRlk ii mlkIn σ (2.32) Hai vùng R1 và R2 có thể hợp thành một vùng nếu Tmm <− 21 và điểm I(k, l) sẽ được hợp với vùng Ri nếu TmlkI i <−),( , với T là một ngưỡng. Đầu tiên chúng ta cố gắng hợp điểm (k, l) với một trong các vùng lân cận Ri. Nếu việc hợp không thành công thì ta hợp với các vùng khác đã có. Nếu vẫn không thành công hoặc không có vùng lân cận tồn tại thì điểm này được coi là một vùng mới. Sau khi hợp nhất (k,l) vào vùng R thì ta phải cập nhật lại giá trị trung bình và độ lệch tiêu chuẩn: Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 35 )m*nl)(I(k, m i ' i ++= 1 1 n (2.33) [ ] )),( 1 ( 1 1 222 iii mlkIn nn n −+++= σσ (2.34) Nếu có nhiều hơn một vùng lân cận thoả mãn thì hợp điểm (k, l) với vùng Ri sao cho sự khác biệt imlkI −),( nhỏ nhất. Cũng trong phương pháp pháp phân vùng bởi hợp, có một cách tiếp cận khác với kỹ thuật trên, đó là phương pháp phân vùng dựa vào đồ thị. Phân vùng dựa trên đồ thị tìm cách hợp nhất hai miền Ri và Rj theo tính chất so sánh giữa hai cặp miền. Thuật toán này được chúng tôi trình bày chi tiết ở chương 3. 2.3.4 Phương pháp tổng hợp Hai phương pháp vừa xét ở trên có một số nhược điểm. Phương pháp tách tạo nên một cấu trúc phân cấp và thiết lập mối quan hệ giữa các vùng. Tuy nhiên nó thực hiện việc chia quá chi tiết. Phương pháp hợp cho phép làm giảm số miền liên thông xuống tối thiểu nhưng cấu trúc hàng ngang dàn trải, không cho ta thấy mối liên hệ giữa các vùng. Chính vì nhược điểm này mà ta nghĩ đến phương pháp phối hợp cả 2 phương pháp. Trước tiên dùng phương pháp tách để tạo nên cây tứ phân, phân đoạn theo hướng từ gốc đến lá. Tiếp theo tiến hành duyệt cây theo chiều ngược lại và hợp các vùng có cùng tiêu chuẩn. Với phương pháp này ta thu được miêu tả cấu trúc của ảnh với các miền liên thông có kích thước tối đa Giải thuật trên gồm một số bước sau: 1. Kiểm tra tiêu chuẩn đồng nhất 1.1. Nếu không thoả và số điểm trong vùng lớn hơn một điểm, tách làm 4 vùng (trên, dưới, trái, phải) bằng cách gọi đệ quy. Nếu kết quả tách xong và không tách được nữa chuyển sang bước ii. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 36 1.2. Nếu tiêu chuẩn đồng nhất là thoả thì tiến hành hợp vùng và cập nhật giá trị trung bình cho vùng. 2. Hợp vùng: Cần kiểm tra 4 lân cận đã nêu trên. Có thể có nhiều vùng thoả mãn khi đó ta chọn vùng tối ưu rồi tiến hành hợp. Phương pháp này thu được kết quả số vùng là nhỏ hơn phương pháp tách và ảnh được làm trơn hơn. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 37 CHƯƠNG 3 : PHÂN ĐOẠN ẢNH DỰA VÀO ĐỒ THỊ Phân đoạn ảnh dựa vào đồ thị là một phương pháp tiếp cận khá hiện đại dựa trên thuộc tính non-local của ảnh đầu vào. Phương pháp này phát hiện ra biên giữa hai vùng của ảnh bằng cách so sánh sự khác nhau giữa nội vùng (inter-component) với sự khác nhau với các vùng khác. Thuật toán phân đoạn dựa vào đồ thị tuân theo chiến lược tham lam, có thời gian chạy gần như tuyến tính, nhưng vẫn đảm bảo được việc phân đoạn chính xác và hiệu quả. 3.1 Giới thiệu Các phương pháp phân đoạn ảnh cổ điển đều có chung một nhược điểm là chạy rất chậm trong các ứng dụng XLA và hầu như không nắm bắt được các thuộc tính non-local quan trọng của ảnh. Vì vậy, hầu hết các nghiên cứu của những năm gần đây đều có xu hướng tìm kiếm một kỹ thuật phân đoạn có khả năng xử lý trong cơ sở dữ liệu ảnh lớn một cách nhanh chóng, chính xác và hiệu quả. Kỹ thuật phân đoạn dựa vào đồ thị được mô tả ở đây không những vừa nắm bắt được các đặc tính non-local mà độ phức tạp tính toán chỉ là O(nlogn) đối với bức ảnh có n điểm ảnh (pixel). Giống như các phương pháp phân cụm cổ điển, phương pháp này cũng dựa trên việc chọn các cạnh từ một đồ thị. Đồ thị này được xây dựng bằng cách coi mỗi điểm ảnh là một đỉnh, hai điểm ảnh kề nhau thì được nối bởi một cạnh vô hướng, trọng số trên một cạnh thể hiện sự khác nhau giữa hai điểm ảnh. Tuy nhiên, phương pháp này thực hiện việc điều chỉnh sự phân đoạn dựa vào mức độ thay đổi giữa các miền lân cận của ảnh. Lấy một ví dụ đơn giản thể hiện việc nắm bắt được các đặc tính non-local của phương pháp này. Hãy để ý vào ảnh phía trên bên trái của hình []; hầu hết ta đều nói rằng bức ảnh này có ba miền phân biệt: một hình chữ nhật ở nữa bên trái, một hình Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 38 chữ nhật đặc ở giữa nửa bên phải và phần bao quanh hình chữ nhật đặc này. Vì sao ta khẳng định được như thế? Chắc chắn đó là thuộc tính quan trọng của sự tri giác (perceptually) và chúng tôi tin rằng các đặc trưng này cũng sẽ được nắm bắt bởi thụật toán phân đoạn. Hình 12. Ví dụ về nhận dạng các vùng ảnh Phương pháp phân đoạn dựa vào đồ thị sẽ tìm dấu hiệu đường biên giữa hai vùng bằng cách so sánh hai đại lượng: một là dựa vào cường độ khác nhau dọc theo đường biên và hai là dựa vào cường độ khác nhau giữa các điểm ảnh với mỗi vùng. 3.2 Phân đoạn dựa vào đồ thị Cho G = (V,E) là một đồ thị vô hướng với các đỉnh vi∈ V, là tập hợp các phần tử cần được phân đoạn và các cạnh (vi ,vj) ∈ E, tương ứng với các cặp đỉnh lân cận nhau. Mỗi cạnh (vi ,vj) ∈ E có một trọng số tương ứng, trọng số là một số không âm đo sự khác nhau giữa hai phần tử lân cận vi và vj, ký hiệu w(vi, vj). Ở đây trọng số của cách cạnh đo sự khác nhau giữa hai điểm nối bởi cạnh đó (có nhiều mức độ khác nhau: màu sắc, vị trí, sự vận động hoặc các thuộc tính khác). Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 39 Như vậy phân đoạn một bức ảnh là việc phân chia V thành các thành phần, mà mỗi thành phần (hoặc miền) C ∈ V tương đương với một thành phần liên thông trong đồ thị G’ = , E’ ⊆ E. 3.3 Tính chất của so sánh cặp miền Để có thể dễ dàng định lượng dấu hiệu của một đường biên giữa hai vùng trong ảnh, chúng ta định nghĩa một tính chất D. Tính chất này dựa vào độ đo sự khác nhau giữa các phần tử dọc theo một đường biên của hai thành phần liên quan nhằm đo sự khác nhau giữa các phần tử lân cận trong mỗi thành phần. Kết quả là so sánh sự khác nhau giữa nội vùng (inter-component) với sự khác nhau với các vùng khác. Trước hết, ta định nghĩa độ-khác-nội vùng (internal difference) và độ-khác- giữa-hai-vùng (difference between two components). Độ-khác-nội-vùng (internal difference) của một thành phần C ⊆ V là trọng số lớn nhất trong cây tỏa nhánh tối thiểu của thành phần đó, kí hiệu Int(C). Khi đó: )(max)( ),( ewCInt ECMSTe∈ = (3.1) Độ-khác-giữa-hai-vùng (difference between two components) C1, C2 ⊆ V, là trọng số nhỏ nhất của các cạnh nối giữa hai vùng, kí hiệu là Dif(C1, C2). Khi đó: )),((min),( ),(,,21 221 jiEvvCvCv vvwCCDif jii ∈∈∈ = (3.2) Nếu không có cạnh nối nào giữa C1 và C2 thì đặt ∞=),( 21 CCDif . Độ đo sự khác nhau này về nguyên lý thì vẫn có vẻ mơ hồ, vì nó chỉ phản ánh được cạnh có trọng số nhỏ nhất nối giữa hai thành phần. Điều này cũng phản ánh rất rõ trong quá trình chạy thử nghiệm. Một khái niệm có liên quan trong định nghĩa về tính chất D là giá trị khác-nội- vùng nhỏ nhất, kí hiệu MInt. Giá trị MInt được định nghĩa như sau: Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 40 ))()(),()(min(),( 211121 CCIntCCIntCCMInt ττ ++= (3.3) Hàm ngưỡng τ điều khiển mức độ khác nhau giữa hai thành phần, sao cho giá trị này phải lớn hơn các giá trị khác-nội-vùng của các thành phần để nhằm mục đích nhận ra đường biên giữa chúng. Đối với các thành phần nhỏ, Int(C) là ko đủ tốt để ước lượng các đặc tính của dữ liệu. Trong một số trường hợp khi 0)(,1 == CIntthìC với C là kích thước của thành phần C. Khi đó chúng ta sử dụng một hàm ngưỡng dựa trên kích thước của thành phần: CkC /)( =τ (3.4) với k là một tham số hằng. Trong thực tế thì k được chọn không nhỏ hơn kích thước của thành phần nhỏ nhất. Lúc này tính chất so sánh giữa hai cặp miền C1 và C2, kí hiệu D(C1, C2) được định nghĩa như sau: ⎩⎨ ⎧ >= otherwisefalse CCMIntCCDiftrue CCD ),(),( ),( 212121 (3.5) 3.4 Thuật toán và các tính chất Trong mục này chúng tôi đưa ra một thuật toán phân đoạn sử dụng tiêu chuẩn quyết định D đã mô tả ở trên. Ta sẽ chỉ ra rằng phân đoạn bằng thuật toán này sẽ tuân theo các thuộc tính không quá thô (too coarse) và cũng không quá mịn (too fine), theo các định nghĩa sau đây. 3.4.1 Định nghĩa 1 Một phân đoạn được xem là quá mịn nếu tồn tại một số cặp miền C1, C2 ∈ S mà giữa hai miền này ko có dấu hiệu của đường biên Để định nghĩa được những khái niệm bổ sung cho phân đoạn quá thô, chúng tôi đưa ra khái niệm tinh chỉnh (refinement) của một phân đoạn. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 41 Cho hai phân đoạn S và T của cùng một tập cơ sở, ta nói rằng T là một tinh chỉnh (refinement) của S khi mỗi thành phần của T được chứa trong (hoặc bằng) một số thành phần của S. Và ta cũng nói rằng T là một tinh chỉnh đúng (proper refinement) của S khi T ≠ S. Chú ý rằng nếu T là tinh chỉnh đúng của S thì T có thể được chứa bởi một hoặc một số các miền trong S và S được gọi là thô hơn T. 3.4.2 Định nghĩa 2 Một phân đoạn được xem là quá thô khi tồn tại một tinh chỉnh đúng của S mà phân đoạn đó vẫn chưa là quá mịn. Vấn đề đặt ra là liệu có phải luôn luôn tồn tại phân đoạn không quá thô cũng không quá mịn hay không? Và nếu tồn tại thì phân đoạn đó có là duy nhất không?. Thực tế cho thấy là nói chung luôn có thể có nhiều hơn một phân đoạn không quá thô cũng không quá mịn, do đó phân đoạn này là không duy nhất. Đây là một tính chất đặc biệt của phân đoạn ảnh dựa trên đồ thị và được chứng minh chi tiết ở mục 3.4.3 3.4.3 Tính chất 1 Với một đồ thị hữu hạn G = (V,E) bất kỳ luôn tồn tại một số phân đoạn S không quá thô mà cũng không quá mịn. Chứng minh: Chúng ta dễ dàng nhận thấy là tính chất này đúng. Thật vậy, nếu phân đoạn mà tất cả các phần tử đều nằm trong một thành phần, thì phân đoạn này là không quá mịn, vì nó chỉ có đúng một thành phần (định nghĩa 1). Nếu mà phân đoạn này cũng không quá thô thì coi như xong. Ngược lại, theo định nghĩa 2, thì sẽ có một tinh chỉnh đúng mà ko quá mịn. Lấy một trong số các tinh chỉnh đó và lặp lại thủ tục này cho đến khi chúng ta sẽ thu được một phân đoạn không quá thô. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 42 Trở lại với thuật toán phân đoạn dựa trên đồ thị, thuật toán này gần với thuật toán Kruskal xây dựng cây tỏa nhánh tối thiểu của một đồ thị. Độ phức tạp của thuật toán là O(m log m), trong đó m là số cạnh của đồ thị. 3.4.4 Thuật toán 1 Thuật toán phân đoạn Input: Đồ thị G = (V,E), gồm n đỉnh và m cạnh. Output: Một phân đoạn của V thành các thành phần S = (C1, C2,…). Thuật toán: - Bước 0: Sắp xếp các cạnh của G theo thứ tự không giảm của trọng số. ),...,,( 21 mooo=π - Bước 1: Bắt đầu với phân đoạn S0, lúc này mỗi đỉnh nằm trong một thành phần. - Bước 2: Lặp lại bước 3 với q = 1,…,m - Bước 3: Xây dựng Sq từ Sq-1 như sau: Cho vi và vj là hai đỉnh nối với nhau bởi cạnh thứ q, tức là oq = (vi,vj). Nếu vi và vj nằm trong hai thành phần tách rời nhau của Sq-1 và w(oq) nhỏ hơn sự khác-nhau-nội-vùng của cả hai thành phần thì trộn hai thành phần này với nhau, ngược lại không làm gì cả. Cụ thể hơn, gọi Ciq-1 là thành phần của Sq-1 chứa vi và Cjq-1 là thành phần của Sq-1 chứa vj. Nếu 11 −− ≠ qjqi CC và ),()( 11 −−≤ qjqiq CCMIntow thì Sq thu được từ Sq-1 bằng cách trộn Ciq-1 với Cjq-1. Ngược lại Sq = Sq-1. - Bước 4: Trả về kết quả S = Sm. Chúng ta sẽ chứng minh rằng phân đoạn S được xây dựng trong thuật toán trên là tuân theo các thuộc tính toàn cục khi sử dụng tính chất so sánh cặp miền đã định nghĩa trong phần trước. Nghĩa là mặc dù thuật toán chỉ dựa vào các quyết định Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 43 tham lam nhưng phân đoạn được xây dựng vẫn thỏa mãn các thuộc tính toàn cục. Để chứng minh điều này chúng ta xem xét các bổ đề và các định lý sau đây: 3.4.5 Bổ đề 1 Giả sử Ciq-1 và Cjq-1 biểu diễn hai thành phần được nối với nhau bằng cạnh oq = (vi,vj) thì Ci = Ciq-1 hoặc Cj = Cjq-1 mà Ci là thành phần chứa vi và Cj là thành phần chứa vj trong phân đoạn S cuối cùng. Chứng minh: Khi hai thành phần không được trộn với nhau thì có hai trường hợp có thể xảy ra. Hoặc là )()()( 11 −− +> qiqiq CCInto τω , hoặc là )()()( 11 −− +> qjqjq CCInto τω . Vì các cạnh được sắp xếp theo chiều không giảm của trọng số, nên )()( qk oo ωω ≥ với mọi k >= q+1. Do đó không có thêm phép trộn nào xảy ra nữa. 3.4.6 Định lý 1 Phân đoạn S sử dụng tính chất so sánh miền D và thuật toán 1 là không quá mịn theo định nghĩa 1. Chứng minh: Theo định nghĩa, để S là quá quá mịn thì phải có một số cặp thành phần nào đó mà D không nắm bắt được. Thế thì phải tồn tại ít nhất một cạnh giữa hai thành phần cùng cặp vì theo bước 3 của thuật toán thì chúng không được trộn thành 1 miền. Chẳng hạn cho ),( jiq vvo = là cạnh có thứ tự đầu tiên. Trong trường hợp này thì theo thuật toán trên 1−qiC và 1−qjC không được trộn vào nhau, nghĩa là ),()( 11 −−> qjqiq CCMIntow . Theo bổ đề 1 chúng ta biết rằng 1−= qii CC hoặc 1−= qij CC . Một trong hai điều này xảy ra nghĩa là ),()( jiq CCMIntow > , điều này chứng tỏ D nắm bắt được cả iC và jC . Đây là điều mâu thuẫn, vậy định lý được chứng minh. 3.4.7 Định lý 2 Phân đoạn S sử dụng tính chất so sánh miền D và thuật toán 1 là không quá thô theo định nghĩa 2. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 44 Chứng minh: Để S là không quá thô thì phải có một số phép tinh chỉnh hợp lý T, sao cho nó vẫn chưa là quá mịn. Xem xét cạnh có trọng số nhỏ nhất e nằm trong thành phần SC∈ nhưng khác với TBA ∈, . Theo định nghĩa về phép tinh chỉnh thì CA⊂ và CB ⊂ . Vì T là không quá mịn, nên hoặc là )()()( AAIntew τ+> hoặc )()()( BBIntew τ+> . Không mất tính tổng quát, giả sử biểu thức đầu đúng, khi đó bằng cách xây dựng một kết nối từ A tới một thành phần con của C. Trọng số của cạnh này cùng lắm là bằng w(e) vì )()( AIntew > . Mà theo thuật toán thì khi xem xét đến các cạnh trong tập đã sắp xếp theo chiều không giảm của trọng số, phải xem xét tất cả các cạnh trong cây khung MST(A,E) trước khi xem xét các cạnh từ A đến một thành phần khác của C. Do đó thuật toán phải xây dựng A trước C, và trong bước xây dựng C thì phải trộn A với một thành phần con của C. Trọng số của cạnh nối giữa A và thành phần này lớn nhất là w(e). Tuy nhiên thuật toán đã không trộn A vì )()()( AAIntew τ+> , đây là một mâu thuẫn. Vậy định lý đã được chứng minh. 3.4.8 Định lý 3 Phân đoạn theo thuật toán 1 không phụ thuộc vào việc sắp xếp các cạnh theo thứ tự không giảm của trọng số. Chứng minh: Bất kì một thứ tự sắp xếp nào cũng được thay đổi chỉ bằng cách đảo vị trí của các phần tử liền kề. Điều này chỉ ra rằng bằng cách đổi chỗ thứ tự của hai cạnh liền kề cùng trọng số thì sự sắp xếp không giảm của các cạnh vẫn không thay đổi, và kết quả phân đoạn được sinh ra theo thuật toán 1 cũng không thay đổi. Cho e1 và e2 là hai cạnh có cùng trọng số liền kề nhau trong dãy cạnh sau khi sắp xếp. Rõ ràng là khi thuật toán xem xét cạnh đầu tiên trong hai cạnh thì chúng kết nối giữa hai thành phần tách rời hay nói chính xác hơn là hai cặp của các thành phần, nên thứ tự của hai cạnh này là không thành vấn đề. Chỉ còn trường hợp chúng ta cần thiết kiểm tra đó là kiểm tra là khi e1 kết nối giữa thành phần A và thành phần B và e2 là kết nối giữa một trong hai thành phần A hoặc B với một thành phần C. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 45 Bây giờ chúng ta chỉ ra rằng e1 là căn nguyên của phép trộn khi xem xét sau e2. Điều này ngụ ý rằng ),()( 1 BAMIntew ≤ . Nếu e2 thay vì được xem xét trước e1, thì cả e2 và e1 vẫn là căn nguyên của phép trộn, hoặc là e2 cũng là căn nguyên của phép trộn trong trường hợp thành phần mới của CB ∪ có )()()( 12 ewewCBInt ==∪ Do đó chúng ta biết rằng ),()( 1 CBAMIntew ∪≤ vẫn ngụ ý rằng e1 vẫn là căn nguyên của phép trộn. Mặt khác, giả sử rằng e1 không là căn nguyên của phép trộn nếu nó được xem xét sau e2. Tức là ),()( 1 BAMIntew > . Do đó hoặc là (1) )()()( 1 AAIntew τ+> hoặc là (2) )()()( 2 BBIntew τ+> . Trong trường hợp (1) vẫn đúng nếu e2 được xem xét trước. Trong trường hợp (2) nếu e2 được xem xét trước thì nó có thể không phải là căn nguyên của một phép trộn vì )()( 21 ewew = và do đó ),()( 2 CBMIntew > . Vậy khi xem xét e1 sau e2 chúng ta vẫn có ),()( 1 BAMIntew > và e1 không là căn nguyên của phép trộn. 3.4.9 Độ phức tạp tính toán Thời gian thực hiện của thuật toán này được chia làm hai phần: Một là thời gian cần thiết để sắp xếp dãy trọng số theo chiều không giảm (bước 0). Đối với dãy số nguyên thì điều này có thể thực hiện trong thời gian tuyến tính. Có rất nhiều phương pháp sắp xếp có thể thực hiện trong thời gian O(mlogm) với m là số lượng cạnh. Hai là thời gian thực hiện bước 1-3. Để kiểm tra được hai đỉnh có cùng chung trong một thành phần hay không chúng tôi sử dụng biến set-find trên mỗi đỉnh nhằm lưu lại số hiệu thành phần mà đỉnh đó đang phụ thuộc vào. Để trộn hai thành phần lại với nhau chúng tôi chỉ việc hiệu chỉnh lại các biến set-find của một trong hai tập đỉnh. MInt được tính trong trong một hằng thời gian nếu biết được Int và kích thước của mỗi thành phần. Int cũng được tính trong một hằng thời gian cho mỗi phép trộn, vì cạnh có trọng số lớn nhất trong cây khung nhỏ nhất của một thành phần là căn nguyên của phép trộn. Có được điều này vì bổ đề 1 nói rằng căn nguyên của phép trộn chính là cạnh có trọng số nhỏ nhất giữa hai thành phần được trộn. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 46 Kích thước của thành phần sau khi trộn bằng tổng kích thước của hai thành phần trước khi trộn. Vậy độ phức tạp tính toán từ bước 1 đến bước 3 của thuật toán là ))(( mmO α trong đó α là hàm Ackerman nghịch đảo, m là số cạnh của đồ thị. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 47 CHƯƠNG 4: CÀI ĐẶT THỬ NGHIỆM 4.1 Định dạng ảnh PPM (PPM format) PPM là một định dạng ảnh khá cũ, nó dùng để miêu tả một vài ảnh màu đơn giản. PPM file giống như một text file với việc không nén bất kỳ một dữ liệu ảnh nào. Điều đó tạo điều kiện thuận lợi cho việc đọc và xủ lý file. Với một PPM file ảnh trong thực tế Ta có thể miêu tả bức ảnh đó như sau: P3 4 3 255 0 0 0 0 0 0 0 0 0 255 0 0 0 0 0 255 255 255 255 0 0 150 150 255 0 0 0 255 0 0 150 150 255 150 150 255 Ở đây P3 là một PPM file , dòng tiếp theo 4 3 là cho chúng ta biết về chiều rộng và chiều cao của ảnh.Tiếp theo là dùng để chỉ ra là bức ảnh 256 màu (0….255) .Tất cả các số ở dòng tiếp theo là dữ liệu về điểm ảnh, bắt đầu từ giá trị đầu tiên ở bên trái dọc theo từng hang. Ví dụ ,0 0 0 mô tả điểm ảnh đầu tiên về bên trái có giá trị RGB là(0,0,0) thì đó là màu đen( black ), với giá trị màu cuối cùng 150 150 155 dùng để mô tả điểm ảnh cuối cùng ở góc phải tương ứng với giá trị màu RGB(150,150,255) đó là màu xanh da trời(blue).Chúng ta có thể thấy rằng dữ liệu ảnh trong PPm file là không được nén , bởi vậy nó chiếm dung lượng khá lớn. Ví dụ với một bức ảnh pháo hoa theo định dạng JPG (một định dạng ảnh khác) nó chỉ chiếm 8K ,nhưng biểu Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 48 diễn với định dạng ảnh PPM thì nó phải chiếm 176K. Thuận lợi của định dạng ảnh PPM là khá dễ dàng trong khi làm việc với các điểm ảnh (có thể đọc và dễ dạng rút trích từ PPM file) nhưng nó lại chiếm một khoảng không gian lưu trữ khá lớn.Do vậy khi viết chương trình cần sử dụng PPM file ta nên dùng ảnh nhỏ để thuận lợi cho việc test chương trình. 4.1Cài đặt thử nghiệm Cácc thuật toán quen thuộc như sử dụng ngưỡng cố định, phát hiện biên, thuật toán đẳng liệu,… đã được cài đặt khá nhiều , do vậy trong khuôn khổ đồ án em tiến hành cài đặt theo đúng thuật toán phân đoạn ảnh bằng đồ thị bằng C++ trong môi trường Microsoft. Thuật toán chạy nhanh và phân đoạn của bức ảnh tương đối chính xác. Dưới đây là một số đoạn mã chính của chương trình: Thủ tục phân đoạn một bức ảnh theo thuật toán 1: Input: - *im: Con trỏ trỏ đến bức ảnh màu đầu vào. - sigma: tham số để làm trơn điểm ảnh. - c: - min_size: Output: - Bức ảnh sau khi phân đoạn. Mỗi vùng được gán một màu ngẫu nhiên. Nội dung: image *segment_image(image *im, float sigma, float c, int min_size, int *num_ccs) { int width = im->width(); Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 49 int height = im->height(); image *r = new image(width, height); image *g = new image(width, height); image *b = new image(width, height); // lam tron theo tung thanh phan mau (red, green, blue) int y, x; for (y = 0; y < height; y++) { for (x = 0; x < width; x++) { imRef(r, x, y) = imRef(im, x, y).r; imRef(g, x, y) = imRef(im, x, y).g; imRef(b, x, y) = imRef(im, x, y).b; } } image *smooth_r = smooth(r, sigma); image *smooth_g = smooth(g, sigma); image *smooth_b = smooth(b, sigma); // xay dung do thi tu buc anh input sau khi da lam tron edge *edges = new edge[width*height*4]; int num = 0; for (y = 0; y < height; y++) { Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 50 for (x = 0; x < width; x++) { if (x < width-1) { edges[num].a = y * width + x; edges[num].b = y * width + (x+1); edges[num].w = diff(smooth_r, smooth_g, smooth_b, x, y, x+1, y); num++; } if (y < height-1) { edges[num].a = y * width + x; edges[num].b = (y+1) * width + x; edges[num].w = diff(smooth_r, smooth_g, smooth_b, x, y, x, y+1); num++; } if ((x < width-1) && (y < height-1)) { edges[num].a = y * width + x; edges[num].b = (y+1) * width + (x+1); edges[num].w = diff(smooth_r, smooth_g, smooth_b, x, y, x+1, y+1); num++; } Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 51 if ((x 0)) { edges[num].a = y * width + x; edges[num].b = (y-1) * width + (x+1); edges[num].w = diff(smooth_r, smooth_g, smooth_b, x, y, x+1, y-1); num++; } } } delete smooth_r; delete smooth_g; delete smooth_b; //goi thu tuc de phan doan anh, thuc chat la phan doan graph. universe *u = segment_graph(width*height, num, edges, c); for (int i = 0; i < num; i++) { int a = u->find(edges[i].a); int b = u->find(edges[i].b); if ((a != b) && ((u->size(a) size(b) < min_size))) u->join(a, b); } delete [] edges; *num_ccs = u->num_sets(); Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 52 image *output = new image(width, height); // lay ngau nhien cac cac mau cho moi thanh phan sau phan doan rgb *colors = new rgb[width*height]; for (i = 0; i < width*height; i++) colors[i] = random_rgb(); for (y = 0; y < height-1; y++) { for (x = 0; x < width-1; x++) { int comp = u->find(y * width + x); imRef(output, x, y) = colors[comp]; } } return output; // tra ve buc anh sau khi phan doan } Thủ tục phân đoạn một đồ thị segment_graph Input: - num_vertices : số lượng đỉnh. - numb_edges: số lượng cạnh - *edges: danh sách cạnh. mỗi cạnh gồm 3 tham số. a - đỉnh đẩu, b-đỉnh cuối, w- trọng số của cạnh. - c : số lượng thành phần. universe *segment_graph(int num_vertices, int num_edges, edge *edges, Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 53 float c) { // sap xep cac canh theo chieu khong giam std::sort(edges, edges + num_edges); // tao cac thanh phan lien thong, moi thanh phan chi co 1 dinh universe *u = new universe(num_vertices); // khoi tao nguong float *threshold = new float[num_vertices]; int i = 0; for (i = 0; i < num_vertices; i++) threshold[i] = THRESHOLD(1,c); // duyet tuan tu cac canh trong danh sach canh da sap xep for (i = 0; i < num_edges; i++) { edge *pedge = &edges[i]; // int a = u->find(pedge->a); int b = u->find(pedge->b); if (a != b) { if ((pedge->w <= threshold[a]) && (pedge->w <= threshold[b])) { Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 54 u->join(a, b); a = u->find(a); threshold[a] = pedge->w + THRESHOLD(u->size(a), c); } } } delete threshold; return u; } //ham find(int x) de tim mot phan tu trong tap hop int universe::find(int x) { int y = x; while (y != elts[y].p) y = elts[y].p; elts[x].p = y; return y; } // ham joint de ket hop 2 mien lien thong thanh 1 void universe::join(int x, int y) { if (elts[x].rank > elts[y].rank) { Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 55 elts[y].p = x; elts[x].size += elts[y].size; } else { elts[x].p = y; elts[y].size += elts[x].size; if (elts[x].rank == elts[y].rank) elts[y].rank++; } num--; } 4.3 Một số kết quả minh hoạ Phân đoạn ảnh cây dừa với các tham số K=0.5, sing= 500, min_size=50 thì kết quả ảnh được chia thành 29 phần nhỏ và đổ màu một cách ngẫu nhiên. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 56 Với ảnh cô gái ta phân đoạn với tham số như sau K=0.5, sing= 1000, min_size=10 thi chia bức ảnh thành 206 thành phần khác nhau . Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 57 KẾT LUẬN 5.1 Nội dung của đồ án 5.1.1 Các kết quả đạt được Trong quá trình nghiên cứu tài liệu và thực hiện đồ án dưới sự định hướng của thầy hướng dẫn em thấy bản thân đã đạt được một số kết quả như sau: ƒ Tìm hiểu được một cách tổng quan các vấn đề về XLA và phân đoạn ảnh. Em đã có một cách nhìn có hệ thống về các phương pháp phân đoạn ảnh và các thuật toán trong mỗi phương pháp. Đồng thời biết được điểm mạnh/yếu của từng phương pháp và có thể đưa ra cách lựa chọn phương pháp phù hợp với từng loại ảnh. . ƒ Trong chương 3 em đã tìm hiểu và cài đặt được một phương pháp cải tiến phương pháp phân đoạn dựa vào đồ thị. Phương pháp này phân đoạn nhanh và hiệu quả. Nó sử dụng được các thuộc tính local và non-local của bức ảnh để tăng cường khả năng phân đoạn chính xác. ƒ Ngoài ra, trong quá trình nghiên cứu em cũng tự tích lũy thêm cho mình các kiến thức về toán học, về kỹ thuật lập trình,…Và quan trọng là rèn luyện kỹ năng để thực hiện một nghiên cứu khoa học. 5.1.2 Một số hạn chế cần khắc phục Bên cạnh những kết quả đạt được em tự thấy bản luận văn vẫn còn một số hạn chế. ƒ Chưa đưa ra được một phương pháp phân đoạn mới hoàn toàn. Trong khuôn khổ một đồ án tốt nghiệp ,em mới chỉ trình bày lại các kiến thức tìm hiểu được chứ chưa đề xuất được một phương pháp hoàn toàn mới. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 58 ƒ Do thời gian có hạn, nên vịêc trình bày các thuật toán phân đoạn cũng chưa được hệ thống và khoa học. Có nhiều thụât toán được trình bày sơ lược. ƒ Đồ án cũng chưa chỉ ra được các ứng dụng thực tế của các thuật toán phân đoạn. 5.2 Công việc tiếp theo Dựa trên những kết quả bước đầu đã đạt được trong đồ án, em có đề xuất một số cải tiến thuật toán phân đoạn để phân đoạn hiệu quả hơn trong tương lai. ƒ Xây dựng một ứng dụng xử lý ảnh hoàn chỉnh dựa theo các thuật toán đã trình bày trong luận văn. Ứng dụng này nhằm phân đoạn ảnh để nhận diện được các thành phần có trong ảnh. Trích rút ra các đối tượng có trong ảnh và đặt tên cho chúng. ƒ Các thuật toán phân đoạn trình bày trong luận văn áp dụng đối với ảnh tĩnh, trong thời gian tới, em hy vọng có thể tìm hiểu và phát triển các thuật toán phân đoạn đối với ảnh động hoặc các đoạn video ngắn. Tìm hiểu phương pháp phân đoạn ảnh Trường ĐH Dân lập Hải Phòng—SV.Nguyễn Thị Anh Thư Trang 59 TÀI LIỆU THAM KHẢO Tiếng việt 1. .Lương Mạnh Bá,Nguyễn Thanh Thủy ,Nhập môn xử lý ảnh số,NXB Khoa học và kỹ thuật, Hà Nội. 2. Võ Đức Khánh(2003), Giáo trình xử lý ảnh ,NXB Thống kê,HàNội 3. NguyếnKim Sách(1997), Xử lý ảnh và video số, NXB Khoa học ký thuật Hà Nội Tiếng Anh 4. Baris S., Manjunath B. S., and Charles Ke. (2001), “Image Segmentation using Curve Evolution”, Asilomar Conference on Signals, Systems and Computers, vol. 2, pp 1141-1145. 5. Cooper M. C. (1998), “The tractability of segmentation and scene analysis”, International journal of Computer Vision”, vol 30, pp 27-42. 6. Felzenszwalb P. Huttenlocker D. (2004) “Efficient Graph- Based Image Segmentation”, International Journal of Computer Vision, Volume 59, Number 2.