Đề xuất phương pháp phát hiện rau bị sâu bệnh bằng hình ảnh dựa trên các dấu hiệu trên bề mặt lá

5LIÊN NGÀNH ĐIỆN - ĐIỆN TỬ - TỰ ĐỘNG HÓA Tạp chí Nghiên cứu khoa học - Đại học Sao Đỏ, ISSN 1859-4190 Số 2(61).2018 ĐỀ XUẤT PHƯƠNG PHÁP PHÁT HIỆN RAU BỊ SÂU BỆNH BẰNG HÌNH ẢNH DỰA TRÊN CÁC DẤU HIỆU TRÊN BỀ MẶT LÁ APPLICATION OF IMAGE PROCESSING IN INSECT PEST RECOGNITION VEGETABLES Đỗ Tuấn Linh1, Nguyễn Trọng Các2, Nguyễn Hữu Phát1 Email: tuanlinh.19.5.96@gmail.com 1Trường Đại học Bách khoa Hà Nội 2Trường Đại học Sao Đỏ Ngày nhận bài: 24/4/2018 Ngày nhận bài sửa sau phản biện: 20/6/2018 Ngày chấp nhận đăng: 28/6/2018 Tóm tắt Trong các hệ thống nhà kính trồng rau, nhu cầu tự động hóa cho người sử dụng ngày càng tăng. Trong bài báo này, chúng tôi giới thiệu một phương án để phát hiện rau bị nhiễm bệnh qua các đặc điểm bên ngoài của rau như màu lá, hình dạng lá, vật thể lạ trên lá. Phương pháp này bao gồm các bước chính: nhận ảnh từ camera, tiền xử lý ảnh, xác định, so sánh màu rau với màu rau khỏe mạnh, đưa ảnh về dạng âm bản, loại bỏ màu nền của đất, xác định đường biên trong ảnh, cuối cùng xác định các lỗ sâu ăn lá trên rau bệnh bằng cách sử dụng thuật toán SimpleBlobDetector. Kết quả độ chính xác của phương pháp đề xuất đạt được 90%. Phương pháp này nhằm đưa ra một hướng đi mới trong việc kiểm định và đánh giá các sản phẩm nông nghiệp tự động. Các ảnh nguồn và ảnh thu thập đã được chúng tôi thực hiện kiểm chứng với phương pháp đưa ra. Kết quả thu được chứng tỏ tính khả thi của phương pháp đề xuất. Từ khóa: Phát hiện đốm; hệ thống nhà kính; sâu bệnh; nhận dạng rau; xử lý ảnh. Abstract In the vegetable greenhouse systems, the demand for automation for users is increasing. In this article we introduce an alternative way to detect infected vegetables by the external characteristics of vegetables such as leaf color, leaf shape. This method includes the main steps: capturing the image, pre-processing images, identifying, and comparing vegetable colors with others, and applying image to negative image format. Finally, detecting the bad vegetable by SimpleBlobDetector algorithm. The accuracy of the proposed method is 90%. This is a new method for quality control of agricultural product. The source images and collected images were taken by us and processed by our algorithm. The results shows that the proposed method is albe to apply for real applications in the future. Keywords: Blobs detection; greenhouse systems; insect pets; recognition vegetables; image processing. 1. ĐẶT VẤN ĐỀ Ngày nay, camera được sử dụng rộng rãi cho mục đích giám sát, nhận dạng, điều khiển và xác định vật thể một cách phổ biến. Tuy nhiên, cho đến hiện tại mô hình camera phát hiện rau bệnh tự động chưa được áp dụng rộng rãi. Trong phạm vi của bài báo này, chúng tôi ứng dụng thuật toán xử lý hình ảnh để phát hiện, xử lý phân loại rau tốt và rau không tốt, giúp người sử dụng có thể bao quát tốt trang trại rộng lớn và đưa ra những phương án xử lý tiếp theo. Hệ thống di chuyển camera để thu nhận hình ảnh trên đường đi sẽ truyền tới trung tâm để xử lý và phát hiện các hình ảnh chụp rau bệnh, sau đó gửi thông tin về vị trí rau bệnh cho người quản lý. Quy trình phát hiện rau bệnh của mô hình này được trình bày như hình 1. Hệ thống bao gồm hai thành phần chính như sau: - Hệ thống cơ khí di chuyển tự động gồm trục chạy đưa camera đến vị trí của từng cây rau và bộ thu phát dữ liệu. - Trung tâm thu nhận và xử lý, phát hiện, phân loại hình ảnh. 1.1. Camera thu nhận hình ảnh và bộ thu phát dữ liệu Gồm một camera và hệ thống di chuyển camera đi đến từng vị trí vùng chứa nhóm cây rau cần giám sát để chụp lại hình ảnh của các nhóm cây rau nghi ngờ. Người phản biện: 1. GS.TSKH. Thân Ngọc Hoàn 2. PGS.TS. Trần Vệ Quốc 6NGHIÊN CỨU KHOA HỌC Tạp chí Nghiên cứu khoa học - Đại học Sao Đỏ, ISSN 1859-4190 Số 2(61).2018 Việc truyền dữ liệu hình ảnh từ camera về trung tâm xử lý được thực hiện bởi kit RaspberryPi. RaspberryPi thu nhận ảnh từ camera rồi truyền dữ liệu hình ảnh qua mạng không dây Wifi tới máy tính để xử lý. 1.2. Trung tâm thu nhận và xử lý, phát hiện, phân loại hình ảnh Đây là nơi thu nhận dữ liệu hình ảnh từ camera và thực hiện xử lý với các đầu vào là các thông tin từ camera, đầu ra là hình ảnh rau bệnh và vị trí của cây rau bệnh đó. 1.3. Tổng quan về phương pháp đề xuất Trên đây là phần tổng quan về hệ thống đang được thiết kế thực tế. Tuy nhiên, trong phạm vi bài báo chúng tôi chỉ đề cập đến việc đưa ra một phương pháp phát hiện, kiểm tra và thông báo tình trạng của cây rau bệnh đến người quản lý. Phương pháp này sẽ giúp xác định được rau bệnh từ xa, nhanh chóng và chính xác; giúp cho công việc quản lý nông trại rộng lớn dễ dàng hơn rất nhiều. Hiện nay, việc ứng dụng camera trong việc phát hiện vật thể đã được đưa vào sử dụng rất nhiều trên thế giới. Tuy nhiên, những phương pháp đó chưa được đưa vào trong việc phát hiện rau bệnh. Các phương pháp sử dụng để phát hiện vật thể đều sử dụng nguồn dữ liệu có sẵn, từ đó phân tích huấn luyện cho máy tính học những đặc trưng đối tượng rồi dựa vào đó để tìm đối tượng mang những đặc trưng nổi bật đó. Phương pháp được đề xuất trong bài viết này không sử dụng nguồn dữ liệu có sẵn, thay vào đó ảnh rau thu được từ camera sẽ được tiền xử lý để làm nổi bật những đặc điểm của rau nhiễm bệnh, dựa vào các đặc tính về màu sắc, vị trí, hình dạng của dấu hiệu bệnh để phát hiện những yếu tố bệnh đặc trưng trên cây rau đó. 2. GIẢI PHÁP THỰC HIỆN Hình 1. Sơ đồ khái quá quá trình thực hiện phương pháp đề xuất Quá trình xử lý của phương pháp được tóm tắt thành hai bước sau: nhận ảnh từ camera, tiền xử lý ảnh giúp cho quá trình xác nhận các dấu hiệu bệnh trên rau trở nên dễ dàng hơn. 2.1. Quá trình tiền xử lý ảnh, làm nổi bật các đặc tính của dấu hiệu bệnh trên lá rau Trong bài viết này, chúng tôi đề cập đến việc phát hiện những dấu hiệu bệnh trên lá cây dựa vào đặc điểm về màu sắc, hình dạng, kích thước, tỷ lệ, vị trí của bệnh trên lá. Quá trình tiền xử lý ảnh rau nhằm tách biệt màu nền của đất và làm nổi bật những đặc điểm lạ có dấu hiệu mạng bệnh trên lá cây. Bài viết của chúng tôi sử dụng thư viện xử lý ảnh OpenCV để phát hiện và loại bỏ đất và những dấu hiệu lạ (không phải rau) trong ảnh dựa vào màu sắc. Ảnh ban đầu gồm ba kênh màu R, G, B. Ban đầu ảnh sẽ được khử nhiễu và làm mịn bởi bộ lọc Gaussian. Sau đó chuyển ảnh sang dạng YcrCb. Tiếp theo lợi dụng ảnh khi mới chuyển màu sang YcrCb có sự khác biệt mạnh mẽ giữ được thông số [G] của màu lá rau và màu của các vật thể lạ hay đất. Qua nhiều lần đo đạc giá trị của lá rau bằng phần mềm Matlab, chúng tôi nhận thấy chỉ số [G] của màu lá có chỉ số nhỏ hơn 100. Vì vậy, các vật có chỉ số kênh màu [G] lớn hơn 100 sẽ được chuyển về màu đen (cả ba chỉ số kênh màu R, G, B sẽ được chuyển hết về 0). Như vậy, sau khi hoàn thành phần tiền xử lý tách màu đất và các dấu hiệu lạ khỏi ảnh chứa rau dưạ trên màu sắc, ảnh chỉ còn màu rau (dạng YcrCb) và màu đen. Quá trình tách màu đất và màu rau được thực hiện như hình 2. Hình 2. Sơ đồ khái quát quá trình tiền xử lý ảnh đầu vào mục đích làm nổi bật các dấu hiệu bệnh trên cây rau 7LIÊN NGÀNH ĐIỆN - ĐIỆN TỬ - TỰ ĐỘNG HÓA Tạp chí Nghiên cứu khoa học - Đại học Sao Đỏ, ISSN 1859-4190 Số 2(61).2018 (a) (c) (b) (d) Hình 3. Quá trình đất và các vật thể lạ trong ảnh dựa trên màu sắc: (a) ảnh gốc [5]; (b) ảnh lọc Gauss; (c) ảnh định dạng YcrCb; (d) ảnh sau khi tách đất và các vật thể lạ dựa trên màu sắc 2.2. Xác định các dấu hiệu bệnh trên ảnh Sau quá trình lọc, các chấm màu đen xuất hiện trên lá. Các chấm này trong ảnh dưới không gian màu YcrCb chính là các lỗ sâu ăn và các dấu hiệu bệnh hay côn trùng trên lá. Do vậy, công việc tiếp theo cần làm là xác định được vị trí các đốm màu đen xuất hiện trong ảnh sau khi đã lọc tách màu đất và các dấu hiệu lạ xuất hiện trên lá cây. Thuật toán của chúng tôi lựa chọn dựa trên thuật toán SimpleBlobDetector được cung cấp bởi thư viện OpenCV [1, 2, 3, 4]. Một đốm được xác định là một nhóm các điểm ảnh được kết nối với nhau trong một ảnh và cùng có một số đặc tính chung (ví dụ như giá trị màu xám). Trong trường hợp chúng tôi nghiên cứu các vùng điểm ảnh màu đen kết nối với nhau là các đốm, và mục tiêu chúng tôi đặt ra là có thể xác định được các đốm màu đen này. OpenCV cung cấp những công cụ thuận tiện để phát hiện ra các đốm đen và lọc tách chúng ra dựa trên các đặc tính khác nhau như: màu sắc, kích thước, hình dạng, độ lồi và tỷ lệ của đốm. Tuy nhiên, để việc phát hiện triệt để các lỗ sâu ăn lá xuất hiện trên lá rau ta cần xác định biên ảnh sau công đoạn lọc bỏ đất. Mục đích của quá trình này là làm nổi bật những lỗ sâu của lá này chồng lên lá khác, từ đó giúp quá trình xác định đốm bằng thuật toán SimpleBlobDetector không bỏ sót trường hợp nào. Hình 4. Quá trình xác định lỗ sâu ăn lá trên lá cây rau đối với ảnh chỉ chứa cây rau [6] Hình 5. Quá trình xác định lỗ sâu ăn lá trên lá cây rau đối với ảnh chứa cả rau và đất [5] Quá trình xác định các dấu hiệu bệnh trên ảnh được thực hiện theo các bước của hình 6. Hình 6. Khái quát quá trình xác định lỗ sâu ăn lá trên lá cây rau 3. KẾT QUẢ ĐẠT ĐƯỢC 3.1. Thiết lập mô phỏng Chúng tôi thực hiện việc mô phỏng dựa trên hai bối cảnh chính: ảnh chứa cây rau và đất, ảnh chỉ có rau với 500 ảnh. Các ảnh chứa rau trong ba bối cảnh này đều là các rau có dấu hiệu của việc bị sâu ăn (có các lỗ xuất hiện lên thân lá). Trong bối cảnh ảnh chứa cây rau (một hoặc nhiều cây rau) và đất chúng tôi thực hiện với 5 ảnh, đối với bối cảnh chỉ chứa ảnh cây rau chúng tôi thực hiện với 5 ảnh để làm các mẫu điển hình. Các ảnh này đều được lấy từ các nguồn trên internet do chúng tôi chưa có điều kiện đến nhiều nơi trồng rau sạch thu thập, nhưng đây là các mẫu ảnh thực tế. 8NGHIÊN CỨU KHOA HỌC Tạp chí Nghiên cứu khoa học - Đại học Sao Đỏ, ISSN 1859-4190 Số 2(61).2018 3.2. Kết quả mô phỏng và thảo luận Kết quả mô phỏng được mô tả trong bảng 1. Bảng 1. Kết quả thu được theo các bối cảnh Bối cảnh Số lần phát hiện ra lỗ sâu ăn lá Tỷ lệ phần trăm số lỗ sâu ăn lá phát hiện được trên tổng số lỗ Rau và đất 5/5 91% Chỉ chứa cây rau 5/5 90% Trong bảng 1, quá trình thực hiện mô phỏng đã thực hiện với các trường hợp ảnh chứa rau và đất, ảnh chỉ chứa rau (trong hai trường hợp trên, ảnh có thể là một hoặc nhiều cây rau). Đây là hai trường hợp điển hình tương ứng với mô hình thực tế mà chúng tôi mong muốn được áp dụng phương pháp này. Hình 7. Ảnh gốc [5, 6, 7, 8, 9] và sau khi được xử lý bằng thuật toán Trong nhóm 5 ảnh chứa cả rau và đất và 5 ảnh chỉ chứa cây rau thì toàn bộ ảnh đều nhận diện được đặc điểm bệnh trên cây rau là có các lỗ sâu ăn lá để lại (hình 8). Điều này chứng tỏ các điều kiện chúng tôi đặt ra để phát hiện các lỗ trên thân cây rau đã thực hiện đúng mục đích ban đầu. Mô hình phát hiện dấu hiệu bệnh trên cây rau được chúng tôi nghiên cứu phát triển đối với điều kiện khu vực trồng rộng lớn, cần có sự giám sát của con người nên việc phát hiện được cây rau nào mang bệnh là vô cùng quan trọng bởi nếu không xử lý sớm và kịp thời, nó sẽ lây lan và ảnh hưởng đến cả một diện tích lớn cây trồng. Hình 8. Dấu hiệu nhận biết rau bị sâu bệnh là các lỗ sâu trên bề mặt lá [6] Trong 5 ảnh chứa cả rau và đất và 5 ảnh chỉ chứa rau thì tất cả đều được phát hiện là có dấu hiệu bệnh là các lỗ sâu xuất hiện trên lá cây rau. Tuy nhiên, trong tất cả 10 bức ảnh này, việc phát hiện đôi khi chưa chính xác, xuất hiện sự nhầm lẫn trong việc phát hiện các đốm được sinh ra sau quá trình tiền xử lý ảnh là từ lỗ sâu gây bệnh hay từ các lỗ kín do các lá cây xếp chồng lên nhau tạo thành, hoặc do các đường gân lá rõ nét gây ra. Điều này chứng tỏ thuật toán trong việc tiền xử lý cũng như phát hiện các dấu hiệu bệnh cần phải điều chỉnh, bổ sung các thông số cho chính xác hơn. Chương trình phát hiện các dấu hiệu bệnh trên lá cũng đáp ứng được thời gian thực để phục vụ cảnh báo kịp thời. Thời gian xử lý mỗi ảnh hết khoảng 1 s; với khoảng thời gian xử lý dành cho mỗi cây rau là 1 s thì với 2 giờ đồng hồ là đủ để hệ thống có thể xử lý cả một diện tích trồng rau rộng 1000 m2. Thuật toán chúng tôi sử dụng so với các thuật toán tham khảo SimpleBlobDetector có thể là thực hiện chậm hơn nhưng sẽ chính xác hơn do ảnh đầu vào đã được chúng tôi cho qua quá trình tiền xử lý, chính quá trình này đã góp phần giúp cho khâu phát hiện chính xác hơn các dấu hiệu gây bệnh trên lá rau. 9LIÊN NGÀNH ĐIỆN - ĐIỆN TỬ - TỰ ĐỘNG HÓA Tạp chí Nghiên cứu khoa học - Đại học Sao Đỏ, ISSN 1859-4190 Số 2(61).2018 3.3. So sánh với phương pháp kiểm tra rau thủ công Ngày nay, các camera có mặt tại các trang trại nuôi trồng chỉ có tác dụng giúp cho người quản lý theo dõi được công việc của người lao động, và theo dõi cả một quy trình sản xuất rau sạch tại các trang trại trồng rau rộng lớn. Quy trình kiểm tra rau thường được người giám sát kiểm tra bằng mắt thường. Chúng ta không thể phủ nhận được rằng dù người giám sát có thị lực tốt đến thế nào đi nữa thì cũng không thể tránh khỏi sai sót trong công đoạn kiểm định chất lượng của sản phẩm nông nghiệp. Do đó, việc đưa camera vào công đoạn giám sát này để giảm thiểu sai sót là một điều hoàn toàn hợp lý. Trong việc xử lý hình ảnh mỗi cây rau bằng camera, ảnh sau mỗi lần chụp sẽ được gửi về máy chủ. Sau đó máy chủ sẽ xử lý thông tin ảnh vừa nhận, tìm các dấu hiệu bệnh và đánh giá xem liệu cây rau đó có đạt chất lượng hay là không. Nếu không, hệ thống sẽ đánh dấu vị trí cây rau đó rồi gửi thông tin bao gồm vị trí, tình trạng của cây rau bị bệnh cho người quản lý, sau đó người quản lý sẽ đưa ra được phương pháp xử lý hiệu quả. Về giá thành, ban đầu có thể việc sử dụng hệ thống camera ứng dụng vào việc giám sát cây trồng còn khá cao nhưng những lợi ích mà hệ thống đem lại cho người sử dụng lại không hề nhỏ. Việc sử dụng hệ thống camera để phát hiện rau bệnh sẽ giảm bớt sức lao động của con người, tăng tính chính xác cho toàn hệ thống, phục vụ việc mở rộng diện tích canh tác về sau. Qua những nhận xét trên, chúng tôi thấy việc sử dụng phương pháp kiểm tra giám sát cây trồng bằng camera có những ứng dụng quan trọng hoàn toàn có thể thay thế phương pháp truyền thống tại các trang trại cây trồng hiện đại trong tương lai gần. 4. KẾT LUẬN Để kiểm nghiệm phương pháp mà chúng tôi xây dựng, một chương trình đã được thực hiện bằng ngôn ngữ C# trên phần mềm Visual Studio 2017 và có sự hỗ trợ của thư viện xử lý ảnh OpenCV. Các ảnh đầu vào tham khảo và các ảnh từ nguồn khác đã được sử dụng cho chương trình. Kết quả thu được là với 10 ảnh bao gồm 5 ảnh chứa cả rau và đất và 5 ảnh chỉ chứa rau 100% xác định được có dấu hiệu bệnh trên lá; đối với 5 ảnh chứa cả rau và đất thì số lỗ sâu phát hiện được đạt 91%. Đối với 5 ảnh chỉ chứa rau, số lỗ sâu phát hiện được là 90%. Đây có thể coi là một kết quả chấp nhận được. Tuy nhiên trong quá trình triển khai thuật toán còn nhiều tham số được gắn cứng vì vậy thuật toán giải quyết vấn đề vẫn còn cứng nhắc. Các tham số này chúng ta hoàn toàn có thể rút ra qua việc sử dụng mạng nơron. Phương pháp nếu được sử dụng cùng với mạng nơron sẽ hoạt động linh hoạt và độ chính xác cao hơn. TÀI LIỆU THAM KHẢO [1]. T. Lindeberg (1994). Scale-Space Theory in Computer Vision. [2]. D.G. Lowe (2004). Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, pp. 91-110. [3]. Lindeberg (2013). Image Matching Using Generalized Scale-Space Interest Points, Scale Space and Variational Methods in Computer Vision. Springer Lecture Notes in Computer Science, Vol. 7893, 2013, pp. 355-367. [4]. T. Lindeberg (2015). Image matching using generalized scale-space interest points. Journal of Mathematical Imaging and Vision, Vol. 52, number 1, pp. 3-36, 2015. [5]. www.tintucnongnghiep.com/2014/11/bo-nhay-ke- thu-rau-ho-thap-tu.html [6]. Blog.trongrautainha.vn/2013/09/phong-tru-sau- benh-hai-rau-noi-lo-cua.html [7]. Sites.aces.edu/group/commhort/vegetable/ insectpest/cruciferous/default.aspx [8]. web.extension.illinois.edu/vegguide/step08.cfm [9]. www.sundaynews.co.zw/agritex-prime-seedco- in-joint-cabbage-production-venture/