Đánh giá độ chính xác và khả năng ứng dụng của phần mềm hỗ trợ khoanh đường Z tự động sử dụng thuật toán trí tuệ nhân tạo

Ở nghiên cứu này, chúng tôi cũng ghi nhận có sự khác biệt có ý nghĩa thống kê về thời gian khoanh bằng tay giữa nhóm bác sĩ mới và bác sĩ có kinh nghiệm. Như vậy, chế độ khoanh tự động của công cụ đảm bảo được độ chính xác gần tương đương, mức độ hài lòng xấp xỉ 7/10 và có ưu thế về mặt thời gian. Đây có thể là bước khởi đầu cho thấy tính khả thi, khả năng chấp nhận khi ứng dụng công cụ sang bài toán phát hiện, đánh dấu tổn thương để phục vụ công tác đào tạo. Năm 2019, Bergman và cs [18] đã phát triển công cụ đào tạo dựa trên nền tảng website để hỗ trợ bác sĩ nội soi nâng cao khả năng phát hiện và khoanh vùng các tổn thương Barrettt thực quản có nghi ngờ ác tính. Các kết quả nghiên cứu bước đầu ghi nhận đào tạo bằng công cụ này giúp tăng khả năng phát hiện tổn thương lên >30% cũng như tăng tính đồng thuận giữa các bác sĩ khi nhận định. Điểm đặc biệt là chỉ số cải thiện đều tăng đối với các bác sĩ nội soi thuộc nhiều quốc gia và ở nhiều trình độ khác biệt. Về mặt kỹ thuật, kết quả của chế độ tự động toàn bộ cho thấy việc sử dụng mạng U-net trong khoanh vùng đường Z (phân tách thực quản - dạ dày) là phù hợp. Kết quả của U-net đã được cải thiện ở hai chế độ khoanh vùng bán tự động. Kết quả này cho thấy có sự khác biệt về thời gian và độ chính xác khi áp dụng mô hình mạng nơ-ron kết hợp với các tương tác của con người. Mạng U-net đã xây dựng có ưu điểm là số lượng tham số nhỏ, chạy nhanh, trên cấu hình máy thông thường (không có GPU). Trong các thử nghiệm cho thấy mạng được huấn luyện đã học theo những nét khoanh vùng của bác sỹ có nhiều năm kinh nghiệm. Từ kết quả khoanh của mạng nơ-ron đã giúp cho những bác sĩ ít kinh nghiệm giảm được phần lớn thời gian khoanh mà vẫn giữ được độ chính xác ở mức cao và ổn định. Từ kết quả này, nhóm nghiên cứu hy vọng việc áp dụng mạng nơ-ron trong tương lai sẽ giúp đẩy nhanh quá trình đào tạo các bác sĩ còn ít kinh nghiệm. Tuy nhiên, hai thuật toán SLIC và BPT có mục đích là giúp hội tụ nhanh quá trình tương tác của bác sỹ chưa cho thấy hiệu quả, mặc dù kết quả có được cải thiện. Chúng tôi sẽ tiếp tục thử nghiệm và cải tiến hướng tiếp cận này trong các nghiên cứu tiếp theo.

pdf6 trang | Chia sẻ: hachi492 | Lượt xem: 33 | Lượt tải: 0download
Bạn đang xem nội dung tài liệu Đánh giá độ chính xác và khả năng ứng dụng của phần mềm hỗ trợ khoanh đường Z tự động sử dụng thuật toán trí tuệ nhân tạo, để tải tài liệu về máy bạn click vào nút DOWNLOAD ở trên
10 Khoa học Y - Dược 63(2) 2.2021 Đặt vấn đề Tỷ lệ bỏ sót tổn thương ung thư đường tiêu hóa trên (bao gồm ung thư thực quản, ung thư dạ dày) trong các nghiên cứu trên thế giới dao động từ 11-26% và tỷ lệ sống sau 5 năm thấp, lần lượt là 13 và 17% [1-3]. Tuy nhiên, nếu được phát hiện ở giai đoạn sớm trong quá trình nội soi, tỷ lệ sống sau 5 năm có thể lên đến 80% [4]. Do vậy, việc chẩn đoán sớm và chính xác tổn thương đóng vai trò quan trọng quyết định thời gian sống thêm của bệnh nhân. Không đảm bảo đủ thời gian nội soi, không quan sát ở tất cả các vị trí theo quy trình nội soi chuẩn, không phát hiện được hoặc có ghi nhận nhưng không mô tả chi tiết, không sinh thiết tổn thương kể cả khi đã thấy có hình ảnh nghi ngờ, không hẹn theo dõi lại là những yếu tố được ghi nhận có liên quan đến tình trạng bỏ sót tổn thương trong quá trình nội soi [5]. Tại Việt Nam, một nghiên cứu tiến hành năm 2016 bởi Bệnh viện Đại học Y Dược TP Hồ Chí Minh cho thấy, có tới 64,5% trong 141 bệnh nhân ung thư dạ dày từng được nội soi với kết quả chẩn đoán không phải ung thư [6]. Đặc biệt, có tới 58,2% số bệnh nhân có lần nội soi gần nhất trong vòng 2 năm với trung vị số lần nội soi là 2 lần và 46,2% số bệnh nhân có lần nội soi gần nhất trong vòng 6 tháng [6]. Thực trạng đáng báo động trên đặt ra nhu cầu cấp thiết trong cải thiện chất lượng quy trình nội soi nói chung và nâng cao kỹ Đánh giá độ chính xác và khả năng ứng dụng của phần mềm hỗ trợ khoanh đường Z tự động sử dụng thuật toán trí tuệ nhân tạo Đào Việt Hằng1, 2, 3*, Lê Quang Hưng3, Nguyễn Phúc Bình1, Nguyễn Mạnh Hùng1, Mạnh Xuân Huy4, Nguyễn Hồng Anh4, Vũ Hải4 1Viện Nghiên cứu và Đào tạo Tiêu hóa Gan mật 2Bộ môn Nội tổng hợp, Trường Đại học Y Hà Nội 3Trung tâm Nội soi, Bệnh viện Đại học Y Hà Nội 4Viện Nghiên cứu Quốc tế MICA, Trường Đại học Bách khoa Hà Nội Ngày nhận bài 3/11/2020; ngày chuyển phản biện 6/11/2020; ngày nhận phản biện 21/12/2020; ngày chấp nhận đăng 28/12/2020 Tóm tắt: Nghiên cứu nhằm khảo sát hiệu quả của công cụ phần mềm khi có/không có sự tương tác của các bác sỹ trong việc khoanh đường Z, được tiến hành từ 4/2019 đến 7/2020. Nhóm nghiên cứu thu thập 533 ảnh đường Z ở chế độ ánh sáng thường, đa dạng về hình thái, đảm bảo độ phân giải và chất lượng để xây dựng thuật toán xác định đường Z. Nhóm nghiên cứu đã xây dựng công cụ phần mềm khoanh đường Z với 4 chế độ bao gồm: chế độ thủ công, chế độ đánh dấu vùng, chế độ tự động toàn bộ, chế độ tích hợp giữa tự động và đánh dấu vùng có chọn lựa thông minh. Hai nhóm bác sĩ (nhóm có kinh nghiệm 1-2 năm và nhóm ≥5 năm) sử dụng phần mềm ở 4 chế độ để xác định đường Z trên tập kiểm thử gồm 30 ảnh độc lập với ảnh thu thập cho quá trình huấn luyện. So sánh kết quả thực hiện của các bác sĩ khi sử dụng công cụ có/không có tương tác thông qua các tiêu chí như: độ chính xác của đường Z, mức độ hài lòng, thời gian thực hiện ở các chế độ khoanh. Độ chính xác của mỗi kỹ thuật được đánh giá bằng chỉ số IoU (Intersection-over-Union). Kết quả nghiên cứu cho thấy mức điểm trung bình ở cả 4 chế độ đều cao, từ 86,7 đến 90,8%. Chỉ số IoU trên tập ảnh thực nghiệm của 2 chế độ đánh dấu vùng và tích hợp trung bình là 88% và không có sự khác biệt về thống kê so với chế độ khoanh vùng bằng tay. Tương tự, không có sự khác biệt về thời gian các bác sĩ khoanh vùng xác định đường Z ở chế độ đánh dấu vùng và chế độ tích hợp so với chế độ khoanh vùng bằng tay. Trung vị của số lần tương tác ở chế độ đánh dấu vùng và chế độ tích hợp lần lượt là 24,5 và 15,5 lần. Phần mềm được các bác sĩ đánh giá khá tốt, với mức điểm trung bình là 7,2, 7,3 và 7,2 tương ứng với chế độ tự động, chế độ đánh dấu vùng và chế độ tích hợp. Xây dựng phần mềm hỗ trợ xác định mốc giải phẫu ảnh nội soi là một hướng nghiên cứu rất mới và khả thi tại Việt Nam, hướng tiếp theo có thể tập trung là phát hiện, khoanh vùng cho một số loại tổn thương theo vị trí giải phẫu. Từ khóa: học sâu, nội soi dạ dày, trí tuệ nhân tạo, xác định đường Z. Chỉ số phân loại: 3.5 *Tác giả liên hệ: Email: hangdao.fsh@gmail.com 11 Khoa học Y - Dược 63(2) 2.2021 năng của bác sĩ nội soi nói riêng. Công tác nghiên cứu và ứng dụng các kỹ thuật mới đóng góp một phần cốt yếu trong giải quyết nhu cầu trên, mà một trong số đó là ứng dụng trí tuệ nhân tạo trong công tác đào tạo nội soi đường tiêu hóa. Những năm gần đây, trí tuệ nhân tạo trong y tế đã được nghiên cứu và phát triển với nguồn dữ liệu ngày càng phong phú và đồ sộ. Trong lĩnh vực nội soi, năm 2019, nhóm nghiên cứu thuộc Đại học Quốc gia TP Hồ Chí Minh [7] đã sử dụng tập dữ liệu ảnh KVASIR và BioMedia trên 4900 ảnh nội soi đại tràng để huấn luyện các mô hình học sâu phát hiện tổn thương và ghi nhận độ chính xác đạt từ 93,04% và thời gian xử lý ảnh ở mức chấp nhận được là 23,19 khung ảnh trên giây (frame per second - fps). Năm 2019, nhóm nghiên cứu của chúng tôi [8] đã xây dựng thuật toán sử dụng mạng nơ-ron tích chập để xác định vị trí giải phẫu của dạ dày qua nội soi đường tiêu hóa trên từ 3128 ảnh nội soi dạ dày được gán nhãn. Kết quả cho thấy, thuật toán đã hỗ trợ rút ngắn thời gian phân loại của 3 chuyên gia (3,86 phút), ngắn hơn nhiều so với phân loại bằng tay (12,82 phút) với độ chính xác trung bình là 92,48%. Trên cơ sở đó, chúng tôi đã tiến hành xây dựng một phần mềm thông minh khoanh vùng xác định đường Z là đường ranh giới giữa niêm mạc thực quản và dạ dày. Phần mềm được xây dựng trên cơ sở ứng dụng các thuật toán học máy và xử lý ảnh nhằm đánh giá tính khả thi và tính hiệu quả của mỗi kỹ thuật trong việc xác định đường Z. Chúng tôi xây dựng Accuracy and applicability of the artificial intelligence integrated software in Z-line segmentation Viet Hang Dao1, 2, 3*, Quang Hung Le3, Phuc Binh Nguyen1, Manh Hung Nguyen1, Xuan Huy Manh4, Hong Anh Nguyen4, Hai Vu4 1Institute of Gastroenterology and Hepatology 2Hanoi Medical University 3Endoscopy Center, Hanoi Medical University Hospital 4MICA Institute, Hanoi University of Science and Technology Received 3 November 2020; accepted 28 December 2020 Abstract: Conducted from April 2019 to July 2020, this study aimed to assess the software accuracy in assisting Z-line segmentation by comparing with medical doctors’ detection results and by recording doctors’ satisfaction in scale, time-of-implementation in interactive mode, and integrated mode. For the development of the Z-line detection algorithm, a dataset of 533 high-definition endoscopic WLI (white-light) images in diverse forms of Z-line were collected. The software was subsequently developed in 4 modes, including manual mode, interactive mode (using Superpixels-BPT), automatic mode (using AI algorithm), and integrated mode (the combination of BPT and U-Net). 30 endoscopic images were assigned to 2 groups of doctors (under 2-year experience and over 5-year experience) for the Z-line detection using the software in 4 modes. Time-of-implementation, number of mouse clicks, satisfaction in scales, and IoU (Interception over Union) metric with expert’s ground-truth are used for assessment. The results showed that IoU metrics of interactive and integrated modes in the experimental dataset was 88% with no statistical difference to the IoU value of manual mode, and mean IoU metrics from the results of 4 modes were high, from 86.7 to 90.8%. The mean values of time-of-implementation in interactive mode and integrated mode were not statistically different from manual mode. The median number of mouse-clicks each use in the interactive mode and the integrated mode were 24.5 and 15.5 times, respectively. The software received good feedbacks from the doctors, with the mean values of satisfaction scores of automatic mode, interactive mode and integrated mode are 7.2, 7.3, and 7.2 respectively. The development of the software for detecting endoscopic anatomy landmarks is a novel and feasible research direction in Vietnam. Further studies could focus on detecting some specific lesions classified according to anatomy landmarks. Keywords: artificial intelligence, deep learning, gastric endoscopy, Z-line segmentation. Classification number: 3.5 12 Khoa học Y - Dược 63(2) 2.2021 phần mềm với các chế độ khoanh vùng như: thủ công, tự động toàn bộ và chế độ bán tự động (cần thêm sự hiệu chỉnh tương tác của bác sĩ) nhằm ứng dụng cho công tác đào tạo. Xác định đúng vị trí và đánh giá đặc điểm đường Z là bước rất quan trọng trong quy trình chẩn đoán một số bệnh lý đang có xu hướng tăng lên như viêm thực quản trào ngược, Barrett thực quản, ung thư tâm vị. Kết quả của mỗi chế độ khoanh được thể hiện thông qua các đánh giá về độ chính xác của vùng khoanh khi so sánh với dữ liệu khoanh chuẩn; ghi nhận mức độ hài lòng; số lần tương tác của bác sỹ (nếu có); thời gian thực hiện ở các chế độ. Phương pháp nghiên cứu Nghiên cứu được thực hiện tại Viện Nghiên cứu và Đào tạo Tiêu hóa, Gan mật từ tháng 4/2019 đến tháng 7/2020. Hình ảnh nội soi thực quản được thu thập trên 3 hệ thống nội soi độ phân giải cao của Fujifilm bao gồm 600, 7000 và LASEREO ở chế độ ánh sáng thường. Các hình ảnh thu thập được nhóm nghiên cứu xóa toàn bộ thông tin định danh của người bệnh, đồng thời đảm bảo chất lượng rõ nét, không bị tối, mờ và độ sạch đảm bảo không phải bơm rửa. Phương pháp xây dựng và huấn luyện thuật toán Hình 1 minh họa 4 chế độ khoanh vùng được nghiên cứu và phát triển, trong đó chế độ khoanh vùng thủ công hoàn toàn thực hiện bởi bác sỹ. Một số đặc điểm của các chế độ khoanh vùng tự động và bán tự động như sau: Chế độ khoanh vùng tự động (toàn bộ): chúng tôi đã triển khai mô hình mạng nơ-ron U-net [9]. Đây là mạng nơ- ron đã thành công trong nhiều bài toán khoanh vùng ảnh y tế. Trong nghiên cứu này, mạng U-net đã được lựa chọn và xây dựng với mục đích phân đoạn đường Z thông qua việc xác định vùng thực quản và dạ dày trong ảnh nội soi. Mạng được huấn luyện bởi 533 ảnh của 100 bệnh nhân đã được các chuyên gia khoanh vùng. Sau khi các tham số của mạng được luấn luyện và lựa chọn tối ưu, mô hình mạng sẽ được kiểm chứng thêm bằng 121 ảnh độc lập. Chế độ khoanh vùng bán tự động: nhóm nghiên cứu đã lựa chọn thuật toán SLIC (Simple Linear Iterative Clustering) [10]. Thuật toán này đề xuất kỹ thuật để phân cụm bức ảnh ra thành nhiều vùng, trong đó mỗi vùng có sự đồng nhất về màu sắc cũng như cấu trúc của các điểm ảnh bên trong. Các vùng này (super-pixel) được liên kết với nhau thông qua 1 cây nhị phân nhiều tầng BPT (Binary partition tree) [11]. Khi bác sĩ đánh dấu vùng (thực quản, dạ dày) bằng nét vẽ sử dụng chuột, cây nhị phân sẽ dựa vào các gợi ý đó để tạo ra đường phân tách (đường Z) bằng cách truy ngược nhãn tương tự (với vùng đã đánh dấu) từ vùng ở tầng thấp lên vùng ở tầng cao, tiếp theo truy xuôi nhãn đánh dấu từ tầng cao xuống. Hình 1. Sơ đồ khối cách vận hành của phần mềm so sánh 4 chế độ khoanh đường Z. Xây dựng phần mềm so sánh các phương pháp khoanh vùng đường Z Hình 2 minh họa giao diện phần mềm khoanh vùng đường Z được phát triển bằng MATLAB. Phần mềm có giao diện trực quan, dễ hiểu, hỗ trợ 4 chế độ khoanh đường Z bao gồm: - Chế độ khoanh vùng bằng tay: các bác sĩ sau khi hoàn thành bước chọn ảnh sẽ sử dụng chuột trái để tô viền, xác định đường Z mà không có bất kỳ sự hỗ trợ nào của phần mềm. - Chế độ khoanh vùng tự động: ảnh sẽ được tự động khoanh vùng đường Z bằng mô hình mạng nơ-ron đã được huấn luyện. - Chế độ đánh dấu vùng (bán tự động - mode 1): cho phép bác sĩ đánh dấu khu vực nằm trong và nằm ngoài đường Z, phần mềm sẽ tự động xác nhận và hiển thị ranh giới trên giao diện. Bác sĩ sẽ tiếp tục sử dụng chuột trái và chuột phải để xác định lại 2 vùng nếu kết quả hiển thị đường Z chưa chính xác. - Chế độ khoanh vùng tích hợp (bán tự động - mode 2): là chế độ kết hợp giữa 2 phương pháp đánh dấu vùng và tự động khoanh đường Z bằng mô hình mạng nơ-ron. Theo đó, sau khi lựa chọn ảnh, bác sĩ sẽ đợi cho đến khi đường Z xuất hiện trên giao diện phần mềm rồi sử dụng chuột trái và chuột phải để tiếp tục xác định lại các khu vực trong và ngoài đường Z. Hình 2. Giao diện phần mềm khoanh vùng để xác định đường Z. 13 Khoa học Y - Dược 63(2) 2.2021 Trong quá trình khoanh, phần mềm sẽ ghi nhận số lần bấm chuột trong mỗi ảnh, thời gian để thực hiện và ảnh kết quả khoanh. Đồng thời, các bác sĩ sẽ tiến hành đánh giá phần mềm trên thang điểm từ 0 đến 10 và ghi lại các góp ý phản hồi sau mỗi lần hoàn thành quá trình khoanh vùng. Đánh giá độ chính xác của thuật toán và quá trình khoanh vùng bằng phần mềm của bác sĩ Chúng tôi thu thập 30 ảnh nội soi tại vùng phân tách dạ dày - thực quản ở phân đoạn thực quản trên làm tập thực nghiệm. Phần mềm sẽ được đánh giá dựa trên kết quả khoanh vùng của 30 ảnh trên trên 2 nhóm bác sĩ, bao gồm nhóm 3 bác sĩ có kinh nghiệm nội soi từ 1-2 năm và nhóm 3 bác sĩ có kinh nghiệm nội soi ≥5 năm. Tập ảnh thực nghiệm được 2 nhóm bác sĩ thực hiện xác định đường Z bằng phần mềm khoanh vùng. Đồng thời, tập ảnh thực nghiệm cũng được chuyển tới chuyên gia để khoanh vùng đường Z làm dữ liệu chuẩn (ground-truth). Hình 3 minh họa sự khác biệt giữa dữ liệu chuẩn (hình 3A) và kết quả từ chế độ khoanh tự động (hình 3B). Độ chính xác của vùng khoanh được đánh giá thông qua chỉ số IoU (Intersection-over-Union). Chỉ số IoU là tỷ lệ % giữa phần giao của 2 vùng khoanh với phần hợp, giúp đánh giá mức trùng khớp của mỗi ảnh thuộc tập thực nghiệm so với ảnh tương ứng ở tập mẫu (ground-truth) [12]. Mức độ trùng khớp của ảnh được khoanh bởi thuật toán và so với ảnh mẫu thường được xếp hạng “Kém” khi chỉ số IoU <50%, “Trung bình” ở mức 50- 75%, “Tốt” khi chỉ số IoU ở mức 75-90%, “Rất tốt” ở mức >90% [13]. Kết quả nghiên cứu Nghiên cứu được tiến hành từ tháng 4/2019 đến tháng 7/2020 tại Viện Nghiên cứu và Đào tạo Tiêu hóa, Gan mật. Bảng 1 trình bày các giá trị thống kê của chỉ số IoU với tập 30 ảnh kiểm thử ở 4 chế độ khoanh. Kết quả này cho thấy sự sai khác giữa chế độ khoanh tự động (toàn bộ) với khoanh bằng tay là 4,1%. Mức độ trùng khớp ở cả 3 nhóm đều rất cao, với kết quả kiểm định t (t-test) của các điểm IoU trung bình ở 4 chế độ đều trên 85% với p-value nhỏ hơn 0,05. Bảng 1 cũng cho thấy, chỉ số IoU ở chế độ khoanh bằng tay và chế độ tích hợp có giá trị nhỏ nhất đều thấp hơn 50%. Bảng 1. Chỉ số IoU của từng ảnh được khoanh bởi phần mềm ở 4 chế độ. Điểm trung bình (%) Độ lệch chuẩn Giá trị lớn nhất (%) Trung vị (%) Giá trị nhỏ nhất (%) p-value Chế độ khoanh bằng tay 90,8 7,3 97,7 93,6 48,7 0,00 Chế độ tự động 86,7 9,5 95,9 90,8 57,2 0,02 Chế độ đánh dấu vùng 88,0 7,5 96,8 90,5 55,4 0,00 Chế độ tích hợp 88,0 9,0 96,4 90,9 33,2 0,00 Bảng 2 xếp hạng mức độ trùng khớp của ảnh được bác sĩ khoanh vùng bằng phần mềm ở các chế độ so ảnh được khoanh bởi chuyên gia (ground-truth) giữa 2 nhóm bác sĩ và chế độ khoanh vùng tự động. Bảng 2. Chỉ số IoU của 2 nhóm bác sĩ trên các chế độ khoanh vùng. Bác sĩ 1-2 năm kinh nghiệm Bác sĩ ≥5 năm kinh nghiệm Tự độngKhoanh vùng bằng tay Đánh dấu vùng Tích hợp Khoanh vùng bằng tay Đánh dấu vùng Tích hợp Kém 1 (1,1%) 0 (0%) 0 (0%) 0 (0%) 0 (0%) 2 (2,2%) 0 (0%) Trung bình 0 (0%) 5 (5,6%) 5 (5,6%) 4 (4,4%) 4 (4,4%) 5 (5,6%) 18 (10%) Tốt 26 (28,9%) 39 (43,3%) 33 (36,7%) 20 (22,2%) 37 (41,1%) 33 (36,7%) 66 (36,7%) Rất tốt 63 (70%) 46 (51,1%) 52 (57,7%) 66 (73,4%) 49 (54,5%) 50 (55,5%) 96 (53,3%) Phần mềm ghi nhận độ chính xác khá cao, với ≥90% số ảnh đều có chỉ số IoU được xếp hạng “Tốt” và “Rất tốt”. 3 ảnh có chỉ số IoU dưới 50% được khoanh bởi 2 chế độ “Khoanh vùng bằng tay” và chế độ “Tích hợp”. Hình 4 minh họa trường hợp 3 ảnh được xếp hạng IoU “Kém”. Kết quả phân đoạn (màu cam) được vẽ cùng với vùng do chuyên gia khoanh (màu xanh). Hình 4. Một số minh họa kết quả khoanh vùng của bác sỹ so với chuyên gia ở các ảnh có chỉ số IoU <50 (kết quả khoanh kém). Chi tiết các kết quả thực hiện của hai nhóm bác sỹ, thực hiện ở các chế độ khác nhau được trình bày trong bảng 3. Riêng chế độ khoanh tự động, kết quả không có sự khác biệt giữa hai nhóm bác sỹ. Đồng thời, không có giá trị thống kê ở chế độ này. Tiêu chí đánh giá về số lần thao tác chuột cũng không có kết quả với chế độ này. Hình 3. Minh họa dữ liệu khoanh chuẩn (A) và khoanh tự động (B). 14 Khoa học Y - Dược 63(2) 2.2021 Bảng 3. So sánh quá trình thực hiện của 2 nhóm bác sĩ. Bác sĩ 1-2 năm kinh nghiệm Bác sĩ ≥5 năm kinh nghiệm Chung Thời gian thực hiện (giây) Khoanh vùng bằng tay, Trung vị (Q1-Q3) 66,5 (38-151) 36,5 (29-68) 45,5 (31-110,5) Tự động, Trung vị (Q1-Q3) 0,5 (0,5-0,5) Đánh dấu, Trung vị (Q1-Q3) 83 (43-127) 97,5 (52-163) 88,5 (44,5-137) Tích hợp (tự động và đánh dấu), Trung vị (Q1-Q3) 68,5 (34-132) 85 (44-147) 78,5 (39,5-139) Thao tác chuột (số lần) Đánh dấu, Trung vị (Min-Max) 24 (4-87) 25 (2-78) 24,5 (2-87) Tích hợp (tự động và đánh dấu), Trung vị (Min-Max) 15 (3-93) 16,5 (3-109) 15,5 (3-109) Độ hài lòng (điểm) Tự động, Trung bình (Min-Max) 7,0 (4-9) 7,4 (1-9) 7,2 (1-9) Đánh dấu, Trung bình (Min-Max) 7,1 (4-9) 7,4 (1-9) 7,3 (1-9) Tích hợp (tự động và đánh dấu), Trung bình (Min-Max) 6,8 (4-9) 7,6 (1-9) 7,2 (1-9) Trung vị thời gian thực hiện của nhóm bác sĩ có 1-2 năm kinh nghiệm ở chế độ khoanh vùng bằng tay, chế độ đánh dấu vùng và chế độ tích hợp lần lượt dao động từ 66,5 giây đến 83 giây, ở nhóm bác sĩ kinh nghiệm tương ứng từ 36,5 đến 97,5 giây. Trong khi đó, thời gian hoàn thành khoanh vùng bằng chế độ tự động của phần mềm ghi nhận thời gian là 0,5 giây ở tất cả các ảnh. Kết quả so sánh 2 trung bình sử dụng kiểm định t ghép cặp cho thấy sự khác biệt có ý nghĩa thống kê trong thời gian khoanh vùng bằng chế độ tự động và 3 chế độ còn lại, đồng thời cũng có sự khác biệt trong thời gian thực hiện chế độ khoanh vùng bằng tay ở 2 nhóm bác sĩ với mức ý nghĩa 95%. Trung vị số lần bấm chuột ở chế độ đánh dấu vùng và chế độ tích hợp lần lượt là 24 và 15 ở nhóm bác sĩ có 1-2 năm kinh nghiệm, 25 và 16,5 ở nhóm bác sĩ trên 5 năm kinh nghiệm. Số lần bấm chuột trung bình ở chế độ tích hợp thấp hơn so với chế độ đánh dấu vùng, khác biệt có ý nghĩa thống kê với mức ý nghĩa 95%. Điểm hài lòng của các bác sĩ ở 3 chế độ: tự động, đánh dấu vùng và tích hợp lần lượt là 7,2, 7,3 và 7,2. Không có sự khác biệt có ý nghĩa thống kê giữa các chế độ khoanh vùng. Bàn luận Nội soi đường tiêu hóa là thủ thuật xâm lấn và đóng vai trò quan trọng trong chẩn đoán cũng như can thiệp đối với các bệnh lý của đường tiêu hóa. Do vậy, việc đào tạo các bác sĩ nội soi cần đảm bảo các tiêu chí về cả kiến thức, kỹ năng và thái độ [14, 15]. Tuy nhiên, mô hình đào tạo truyền thống ở nhiều nước (trong đó có Việt Nam) vẫn là hình thức cầm tay chỉ việc, thực hành trực tiếp trên bệnh nhân dưới sự hướng dẫn và giám sát của các bác sĩ nội soi có kinh nghiệm. Hội Nội soi Tiêu hóa Hoa Kỳ năm 2019 nhấn mạnh khía cạnh đào tạo nội soi cần dựa trên các phản hồi và tiêu chí đánh giá năng lực rõ ràng giúp tạo động lực cho cả giảng viên và học viên cũng như tích hợp chương trình đã được chuẩn hóa với tình hình thực tế của đơn vị [16]. Như vậy, bài toán đặt ra cho các đơn vị có nguồn lực hạn chế như ở nước ta là cần tìm mô hình đào tạo phù hợp với tình hình thực tế nhưng vẫn đảm bảo được chất lượng cho bác sĩ nội soi. Hiện tại ở nước ta, các khóa học nội soi với hình thức giảng dạy là cầm tay chỉ việc có thời gian từ 03-06 tháng [14-16]. Tuy nhiên, tùy thuộc vào điều kiện của đơn vị đào tạo và cơ cấu dịch tễ bệnh tật của bệnh nhân đến khám, tính đa dạng về hình ảnh tổn thương nội soi mà học viên được quan sát trong thời gian học và cách nhận định có thể sẽ có sự khác biệt lớn. Cho đến nay vẫn chưa có danh mục cụ thể cũng như tài liệu chuẩn về chương trình đào tạo nội soi đường tiêu hóa áp dụng cho tất cả các đơn vị đào tạo nội soi trong cả nước cũng như phản hồi đánh giá chất lượng đào tạo khi học viên trở về các tuyến. Vì vậy, việc xây dựng các thuật toán và công cụ tự động, bán tự động có khả năng tương tác với bác sĩ trong xác định vị trí giải phẫu và phát hiện tổn thương là một hướng đi mới và cần được đánh giá tính khả thi trong thực tiễn, vì giúp giải quyết vấn đề về tính đa dạng hình ảnh, tiết kiệm được nguồn lực đào tạo. Trong nghiên cứu này, chúng tôi ghi nhận không có sự khác biệt đáng kể về mức độ chính xác (thông qua độ đo là chỉ số IoU) trong khoanh vùng đường Z giữa nhóm bác sĩ mới, bác sĩ có kinh nghiệm và thuật toán tự động. Điều này cũng phù hợp với một số nghiên cứu trên thế giới và tại Việt Nam ghi nhận các thuật toán trí tuệ nhân tạo được xây dựng có khả năng xác định chính xác các vị trí giải phẫu của đường tiêu hóa trên [8, 17]. Kết quả nghiên cứu của nhóm chúng tôi năm 2019 [8] cũng ghi nhận thuật toán xác định vị trí giải phẫu dạ dày đã hỗ trợ rút ngắn thời gian phân loại của 3 chuyên gia xuống 3,86 phút, ngắn hơn nhiều so với phân loại bằng tay (12,8 phút) với độ chính xác trung bình là 92,5%. Như vậy, việc ứng dụng trí tuệ nhân tạo trong nội soi sẽ góp phần hỗ trợ các bác sĩ nội soi trong việc phân tích nhận định hình ảnh với thời gian ngắn hơn và độ chính xác cao. Ở nghiên cứu này, chúng tôi cũng ghi nhận có sự khác biệt có ý nghĩa thống kê về thời gian khoanh bằng tay giữa nhóm bác sĩ mới và bác sĩ có kinh nghiệm. Như vậy, chế độ khoanh tự động của công cụ đảm bảo được độ chính xác gần tương đương, mức độ hài lòng xấp xỉ 7/10 và có ưu thế về mặt thời gian. Đây có thể là bước khởi đầu cho thấy tính khả thi, khả năng chấp nhận khi ứng dụng công cụ sang bài toán phát hiện, đánh dấu tổn thương để phục vụ công tác đào tạo. Năm 2019, Bergman và cs [18] đã phát triển công cụ đào tạo dựa trên nền tảng website để hỗ trợ bác sĩ nội soi nâng cao khả năng phát hiện và khoanh vùng các tổn thương Barrettt thực quản có nghi ngờ ác tính. Các kết quả nghiên cứu bước đầu ghi nhận đào tạo bằng công cụ này giúp tăng khả năng phát hiện tổn thương lên >30% cũng như tăng tính đồng thuận giữa các bác sĩ khi nhận định. Điểm đặc biệt là chỉ số cải thiện đều tăng đối với các bác sĩ nội soi thuộc nhiều quốc gia và ở nhiều trình độ khác biệt. 15 Khoa học Y - Dược 63(2) 2.2021 Về mặt kỹ thuật, kết quả của chế độ tự động toàn bộ cho thấy việc sử dụng mạng U-net trong khoanh vùng đường Z (phân tách thực quản - dạ dày) là phù hợp. Kết quả của U-net đã được cải thiện ở hai chế độ khoanh vùng bán tự động. Kết quả này cho thấy có sự khác biệt về thời gian và độ chính xác khi áp dụng mô hình mạng nơ-ron kết hợp với các tương tác của con người. Mạng U-net đã xây dựng có ưu điểm là số lượng tham số nhỏ, chạy nhanh, trên cấu hình máy thông thường (không có GPU). Trong các thử nghiệm cho thấy mạng được huấn luyện đã học theo những nét khoanh vùng của bác sỹ có nhiều năm kinh nghiệm. Từ kết quả khoanh của mạng nơ-ron đã giúp cho những bác sĩ ít kinh nghiệm giảm được phần lớn thời gian khoanh mà vẫn giữ được độ chính xác ở mức cao và ổn định. Từ kết quả này, nhóm nghiên cứu hy vọng việc áp dụng mạng nơ-ron trong tương lai sẽ giúp đẩy nhanh quá trình đào tạo các bác sĩ còn ít kinh nghiệm. Tuy nhiên, hai thuật toán SLIC và BPT có mục đích là giúp hội tụ nhanh quá trình tương tác của bác sỹ chưa cho thấy hiệu quả, mặc dù kết quả có được cải thiện. Chúng tôi sẽ tiếp tục thử nghiệm và cải tiến hướng tiếp cận này trong các nghiên cứu tiếp theo. Kết luận Xây dựng phần mềm hỗ trợ xác định mốc giải phẫu ảnh nội soi là một hướng nghiên cứu rất mới và khả thi tại Việt Nam. Hướng nghiên cứu tiếp theo là phát hiện, khoanh vùng cho một số loại tổn thương xung quanh vị trí đường Z. TÀI LIỆU THAM KHẢO [1]A.R. Pimenta-Melo, et al. (2016), “Missing rate for gastric cancer during upper gastrointestinal endoscopy: a systematic review and meta-analysis”, Eur. J. Gastroenterol. Hepatol., 28(9), pp.1041-1049. [2] M.E. Voutilainen, M.T. Juhola (2005), “Evaluation of the diagnostic accuracy of gastroscopy to detect gastric tumours: clinicopathological features and prognosis of patients with gastric cancer missed on endoscopy”, Eur. J. Gastroenterol. Hepatol., 17(12), pp.1345-1349. [3] S. Yalamarthi, et al. (2004), “Missed diagnoses in patients with upper gastrointestinal cancers”, Endoscopy, 36(10), pp.874-879. [4] Menon, Shyam, Trudgill, Nigel (2014), “How commonly is upper gastrointestinal cancer missed at endoscopy? a meta-analysis”, Endoscopy International Open, 2(2), pp.E46-E50. [5] P.G. Delgado Guillena, et al. (2019), “Gastric cancer missed at esophagogastroduodenoscopy in a well-defined Spanish population”, Dig. Liver Dis., 51(8), pp.1123-1129. [6] Hà Văn Đến và Quách Trọng Đức (2018), “Tần suất và đặc điểm carcinôm dạ dày giai đoạn tiến triển ở bệnh nhân đã từng được nội soi dạ dày nhưng chưa xác định bệnh”, Y học TP Hồ Chí Minh, 22(6), tr.56-62. [7] Hoang Trung-Hieu, et al. (2019), “Enhancing endoscopic image classification with symptom localization and data augmentation”, Proceedings of the 27th ACM International Conference on Multimedia, Association for Computing Machinery, Nice, France, pp.2578-2582. [8] Đào Việt Hằng và các cs (2019), “Xác định vị trí giải phẫu của dạ dày qua nội soi đường tiêu hóa trên sử dụng mạng noron tích chập”, Tạp chí Y học Thực hành, 1120(12), tr.10-12. [9] Ronneberger, Olaf, Fischer, Philipp, Brox, Thomas (2015), “U-net: convolutional networks for biomedical image segmentation”, Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015, Springer International Publishing, Cham, pp.234-241. [10] Achanta, Radhakrishna, et al. (2010), “SLIC superpixels”, EPFL TechnicalReport 149300, 15pp. [11] P. Salembier, L. Garrido (2000), “Binary partition tree as an efficient representation for image processing, segmentation, and information retrieval”, IEEE Transactions on Image Processing, 9(4), pp.561-576. [12] M.A. Rahman, Wang Yang (2016), “Optimizing intersection- over-union in deep neural networks for image segmentation”, International Symposium on Visual Computing Conference, pp.234- 244, DOI: 10.1007/978-3-319-50835-1_22. [13] PYImageSearch (2016), Intersection over Union (IoU) for Object Detection, https://www.pyimagesearch.com/2016/11/07/ intersection-over-union-iou-for-object-detection/, 08/24/2020. [14] S.G. Patel, et al. (2015), “Status of competency-based medical education in endoscopy training: a nationwide survey of US ACGME-accredited gastroenterology training programs”, Am. J. Gastroenterol., 110(7), pp.956-962. [15] Sonnenberg, Amnon (2017), “Limitations of teaching endoscopy”, European Journal of Gastroenterology & Hepatology, 30(3), DOI: 10.1097/MEG.0000000000001041. [16] A. Waschke Kevin, et al. (2019), “ASGE principles of endoscopic training”, Gastrointestinal Endoscopy, 90(1), pp.27-34. [17] H. Takiyama, et al. (2018), “Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks”, Sci. Rep., 8(1), DOI: 10.1038/ s41598-018-25842-6. [18] J.J.G.H.M. Bergman, et al. (2019), “An interactive web- based educational tool improves detection and delineation of barrett’s esophagus-related neoplasia”, Gastroenterology, 156(5), pp.1299- 1308.e3, DOI: 10.1053/j.gastro.2018.12.021.

Các file đính kèm theo tài liệu này:

  • pdfdanh_gia_do_chinh_xac_va_kha_nang_ung_dung_cua_phan_mem_ho_t.pdf
Tài liệu liên quan