Ở nghiên cứu này, chúng tôi cũng ghi nhận có sự khác
biệt có ý nghĩa thống kê về thời gian khoanh bằng tay giữa
nhóm bác sĩ mới và bác sĩ có kinh nghiệm. Như vậy, chế độ
khoanh tự động của công cụ đảm bảo được độ chính xác gần
tương đương, mức độ hài lòng xấp xỉ 7/10 và có ưu thế về
mặt thời gian. Đây có thể là bước khởi đầu cho thấy tính khả
thi, khả năng chấp nhận khi ứng dụng công cụ sang bài toán
phát hiện, đánh dấu tổn thương để phục vụ công tác đào tạo.
Năm 2019, Bergman và cs [18] đã phát triển công cụ đào tạo
dựa trên nền tảng website để hỗ trợ bác sĩ nội soi nâng cao
khả năng phát hiện và khoanh vùng các tổn thương Barrettt
thực quản có nghi ngờ ác tính. Các kết quả nghiên cứu bước
đầu ghi nhận đào tạo bằng công cụ này giúp tăng khả năng
phát hiện tổn thương lên >30% cũng như tăng tính đồng
thuận giữa các bác sĩ khi nhận định. Điểm đặc biệt là chỉ số
cải thiện đều tăng đối với các bác sĩ nội soi thuộc nhiều quốc
gia và ở nhiều trình độ khác biệt.
Về mặt kỹ thuật, kết quả của chế độ tự động toàn bộ cho
thấy việc sử dụng mạng U-net trong khoanh vùng đường
Z (phân tách thực quản - dạ dày) là phù hợp. Kết quả của
U-net đã được cải thiện ở hai chế độ khoanh vùng bán tự
động. Kết quả này cho thấy có sự khác biệt về thời gian
và độ chính xác khi áp dụng mô hình mạng nơ-ron kết hợp
với các tương tác của con người. Mạng U-net đã xây dựng
có ưu điểm là số lượng tham số nhỏ, chạy nhanh, trên cấu
hình máy thông thường (không có GPU). Trong các thử
nghiệm cho thấy mạng được huấn luyện đã học theo những
nét khoanh vùng của bác sỹ có nhiều năm kinh nghiệm. Từ
kết quả khoanh của mạng nơ-ron đã giúp cho những bác sĩ
ít kinh nghiệm giảm được phần lớn thời gian khoanh mà vẫn
giữ được độ chính xác ở mức cao và ổn định. Từ kết quả
này, nhóm nghiên cứu hy vọng việc áp dụng mạng nơ-ron
trong tương lai sẽ giúp đẩy nhanh quá trình đào tạo các bác
sĩ còn ít kinh nghiệm. Tuy nhiên, hai thuật toán SLIC và
BPT có mục đích là giúp hội tụ nhanh quá trình tương tác
của bác sỹ chưa cho thấy hiệu quả, mặc dù kết quả có được
cải thiện. Chúng tôi sẽ tiếp tục thử nghiệm và cải tiến hướng
tiếp cận này trong các nghiên cứu tiếp theo.
6 trang |
Chia sẻ: hachi492 | Lượt xem: 33 | Lượt tải: 0
Bạn đang xem nội dung tài liệu Đánh giá độ chính xác và khả năng ứng dụng của phần mềm hỗ trợ khoanh đường Z tự động sử dụng thuật toán trí tuệ nhân tạo, để tải tài liệu về máy bạn click vào nút DOWNLOAD ở trên
10
Khoa học Y - Dược
63(2) 2.2021
Đặt vấn đề
Tỷ lệ bỏ sót tổn thương ung thư đường tiêu hóa trên (bao
gồm ung thư thực quản, ung thư dạ dày) trong các nghiên
cứu trên thế giới dao động từ 11-26% và tỷ lệ sống sau 5
năm thấp, lần lượt là 13 và 17% [1-3]. Tuy nhiên, nếu được
phát hiện ở giai đoạn sớm trong quá trình nội soi, tỷ lệ sống
sau 5 năm có thể lên đến 80% [4]. Do vậy, việc chẩn đoán
sớm và chính xác tổn thương đóng vai trò quan trọng quyết
định thời gian sống thêm của bệnh nhân. Không đảm bảo đủ
thời gian nội soi, không quan sát ở tất cả các vị trí theo quy
trình nội soi chuẩn, không phát hiện được hoặc có ghi nhận
nhưng không mô tả chi tiết, không sinh thiết tổn thương kể
cả khi đã thấy có hình ảnh nghi ngờ, không hẹn theo dõi
lại là những yếu tố được ghi nhận có liên quan đến tình
trạng bỏ sót tổn thương trong quá trình nội soi [5]. Tại Việt
Nam, một nghiên cứu tiến hành năm 2016 bởi Bệnh viện
Đại học Y Dược TP Hồ Chí Minh cho thấy, có tới 64,5%
trong 141 bệnh nhân ung thư dạ dày từng được nội soi với
kết quả chẩn đoán không phải ung thư [6]. Đặc biệt, có tới
58,2% số bệnh nhân có lần nội soi gần nhất trong vòng 2
năm với trung vị số lần nội soi là 2 lần và 46,2% số bệnh
nhân có lần nội soi gần nhất trong vòng 6 tháng [6]. Thực
trạng đáng báo động trên đặt ra nhu cầu cấp thiết trong cải
thiện chất lượng quy trình nội soi nói chung và nâng cao kỹ
Đánh giá độ chính xác và khả năng ứng dụng
của phần mềm hỗ trợ khoanh đường Z tự động
sử dụng thuật toán trí tuệ nhân tạo
Đào Việt Hằng1, 2, 3*, Lê Quang Hưng3, Nguyễn Phúc Bình1, Nguyễn Mạnh Hùng1,
Mạnh Xuân Huy4, Nguyễn Hồng Anh4, Vũ Hải4
1Viện Nghiên cứu và Đào tạo Tiêu hóa Gan mật
2Bộ môn Nội tổng hợp, Trường Đại học Y Hà Nội
3Trung tâm Nội soi, Bệnh viện Đại học Y Hà Nội
4Viện Nghiên cứu Quốc tế MICA, Trường Đại học Bách khoa Hà Nội
Ngày nhận bài 3/11/2020; ngày chuyển phản biện 6/11/2020; ngày nhận phản biện 21/12/2020; ngày chấp nhận đăng 28/12/2020
Tóm tắt:
Nghiên cứu nhằm khảo sát hiệu quả của công cụ phần mềm khi có/không có sự tương tác của các bác sỹ trong việc
khoanh đường Z, được tiến hành từ 4/2019 đến 7/2020. Nhóm nghiên cứu thu thập 533 ảnh đường Z ở chế độ ánh
sáng thường, đa dạng về hình thái, đảm bảo độ phân giải và chất lượng để xây dựng thuật toán xác định đường Z.
Nhóm nghiên cứu đã xây dựng công cụ phần mềm khoanh đường Z với 4 chế độ bao gồm: chế độ thủ công, chế độ
đánh dấu vùng, chế độ tự động toàn bộ, chế độ tích hợp giữa tự động và đánh dấu vùng có chọn lựa thông minh.
Hai nhóm bác sĩ (nhóm có kinh nghiệm 1-2 năm và nhóm ≥5 năm) sử dụng phần mềm ở 4 chế độ để xác định đường
Z trên tập kiểm thử gồm 30 ảnh độc lập với ảnh thu thập cho quá trình huấn luyện. So sánh kết quả thực hiện của
các bác sĩ khi sử dụng công cụ có/không có tương tác thông qua các tiêu chí như: độ chính xác của đường Z, mức
độ hài lòng, thời gian thực hiện ở các chế độ khoanh. Độ chính xác của mỗi kỹ thuật được đánh giá bằng chỉ số IoU
(Intersection-over-Union). Kết quả nghiên cứu cho thấy mức điểm trung bình ở cả 4 chế độ đều cao, từ 86,7 đến
90,8%. Chỉ số IoU trên tập ảnh thực nghiệm của 2 chế độ đánh dấu vùng và tích hợp trung bình là 88% và không
có sự khác biệt về thống kê so với chế độ khoanh vùng bằng tay. Tương tự, không có sự khác biệt về thời gian các
bác sĩ khoanh vùng xác định đường Z ở chế độ đánh dấu vùng và chế độ tích hợp so với chế độ khoanh vùng bằng
tay. Trung vị của số lần tương tác ở chế độ đánh dấu vùng và chế độ tích hợp lần lượt là 24,5 và 15,5 lần. Phần mềm
được các bác sĩ đánh giá khá tốt, với mức điểm trung bình là 7,2, 7,3 và 7,2 tương ứng với chế độ tự động, chế độ
đánh dấu vùng và chế độ tích hợp. Xây dựng phần mềm hỗ trợ xác định mốc giải phẫu ảnh nội soi là một hướng
nghiên cứu rất mới và khả thi tại Việt Nam, hướng tiếp theo có thể tập trung là phát hiện, khoanh vùng cho một số
loại tổn thương theo vị trí giải phẫu.
Từ khóa: học sâu, nội soi dạ dày, trí tuệ nhân tạo, xác định đường Z.
Chỉ số phân loại: 3.5
*Tác giả liên hệ: Email: hangdao.fsh@gmail.com
11
Khoa học Y - Dược
63(2) 2.2021
năng của bác sĩ nội soi nói riêng. Công tác nghiên cứu và
ứng dụng các kỹ thuật mới đóng góp một phần cốt yếu trong
giải quyết nhu cầu trên, mà một trong số đó là ứng dụng trí
tuệ nhân tạo trong công tác đào tạo nội soi đường tiêu hóa.
Những năm gần đây, trí tuệ nhân tạo trong y tế đã được
nghiên cứu và phát triển với nguồn dữ liệu ngày càng phong
phú và đồ sộ. Trong lĩnh vực nội soi, năm 2019, nhóm
nghiên cứu thuộc Đại học Quốc gia TP Hồ Chí Minh [7]
đã sử dụng tập dữ liệu ảnh KVASIR và BioMedia trên
4900 ảnh nội soi đại tràng để huấn luyện các mô hình học
sâu phát hiện tổn thương và ghi nhận độ chính xác đạt từ
93,04% và thời gian xử lý ảnh ở mức chấp nhận được là
23,19 khung ảnh trên giây (frame per second - fps). Năm
2019, nhóm nghiên cứu của chúng tôi [8] đã xây dựng thuật
toán sử dụng mạng nơ-ron tích chập để xác định vị trí giải
phẫu của dạ dày qua nội soi đường tiêu hóa trên từ 3128
ảnh nội soi dạ dày được gán nhãn. Kết quả cho thấy, thuật
toán đã hỗ trợ rút ngắn thời gian phân loại của 3 chuyên
gia (3,86 phút), ngắn hơn nhiều so với phân loại bằng tay
(12,82 phút) với độ chính xác trung bình là 92,48%. Trên
cơ sở đó, chúng tôi đã tiến hành xây dựng một phần mềm
thông minh khoanh vùng xác định đường Z là đường ranh
giới giữa niêm mạc thực quản và dạ dày. Phần mềm được
xây dựng trên cơ sở ứng dụng các thuật toán học máy và xử
lý ảnh nhằm đánh giá tính khả thi và tính hiệu quả của mỗi
kỹ thuật trong việc xác định đường Z. Chúng tôi xây dựng
Accuracy and applicability of the artificial intelligence
integrated software in Z-line segmentation
Viet Hang Dao1, 2, 3*, Quang Hung Le3, Phuc Binh Nguyen1, Manh Hung Nguyen1,
Xuan Huy Manh4, Hong Anh Nguyen4, Hai Vu4
1Institute of Gastroenterology and Hepatology
2Hanoi Medical University
3Endoscopy Center, Hanoi Medical University Hospital
4MICA Institute, Hanoi University of Science and Technology
Received 3 November 2020; accepted 28 December 2020
Abstract:
Conducted from April 2019 to July 2020, this study aimed to assess the software accuracy in assisting Z-line
segmentation by comparing with medical doctors’ detection results and by recording doctors’ satisfaction in scale,
time-of-implementation in interactive mode, and integrated mode. For the development of the Z-line detection
algorithm, a dataset of 533 high-definition endoscopic WLI (white-light) images in diverse forms of Z-line were
collected. The software was subsequently developed in 4 modes, including manual mode, interactive mode (using
Superpixels-BPT), automatic mode (using AI algorithm), and integrated mode (the combination of BPT and U-Net).
30 endoscopic images were assigned to 2 groups of doctors (under 2-year experience and over 5-year experience) for
the Z-line detection using the software in 4 modes. Time-of-implementation, number of mouse clicks, satisfaction
in scales, and IoU (Interception over Union) metric with expert’s ground-truth are used for assessment. The results
showed that IoU metrics of interactive and integrated modes in the experimental dataset was 88% with no statistical
difference to the IoU value of manual mode, and mean IoU metrics from the results of 4 modes were high, from 86.7
to 90.8%. The mean values of time-of-implementation in interactive mode and integrated mode were not statistically
different from manual mode. The median number of mouse-clicks each use in the interactive mode and the integrated
mode were 24.5 and 15.5 times, respectively. The software received good feedbacks from the doctors, with the
mean values of satisfaction scores of automatic mode, interactive mode and integrated mode are 7.2, 7.3, and 7.2
respectively. The development of the software for detecting endoscopic anatomy landmarks is a novel and feasible
research direction in Vietnam. Further studies could focus on detecting some specific lesions classified according to
anatomy landmarks.
Keywords: artificial intelligence, deep learning, gastric endoscopy, Z-line segmentation.
Classification number: 3.5
12
Khoa học Y - Dược
63(2) 2.2021
phần mềm với các chế độ khoanh vùng như: thủ công, tự
động toàn bộ và chế độ bán tự động (cần thêm sự hiệu chỉnh
tương tác của bác sĩ) nhằm ứng dụng cho công tác đào tạo.
Xác định đúng vị trí và đánh giá đặc điểm đường Z là bước
rất quan trọng trong quy trình chẩn đoán một số bệnh lý
đang có xu hướng tăng lên như viêm thực quản trào ngược,
Barrett thực quản, ung thư tâm vị. Kết quả của mỗi chế độ
khoanh được thể hiện thông qua các đánh giá về độ chính
xác của vùng khoanh khi so sánh với dữ liệu khoanh chuẩn;
ghi nhận mức độ hài lòng; số lần tương tác của bác sỹ (nếu
có); thời gian thực hiện ở các chế độ.
Phương pháp nghiên cứu
Nghiên cứu được thực hiện tại Viện Nghiên cứu và Đào
tạo Tiêu hóa, Gan mật từ tháng 4/2019 đến tháng 7/2020.
Hình ảnh nội soi thực quản được thu thập trên 3 hệ thống
nội soi độ phân giải cao của Fujifilm bao gồm 600, 7000
và LASEREO ở chế độ ánh sáng thường. Các hình ảnh thu
thập được nhóm nghiên cứu xóa toàn bộ thông tin định danh
của người bệnh, đồng thời đảm bảo chất lượng rõ nét, không
bị tối, mờ và độ sạch đảm bảo không phải bơm rửa.
Phương pháp xây dựng và huấn luyện thuật toán
Hình 1 minh họa 4 chế độ khoanh vùng được nghiên cứu
và phát triển, trong đó chế độ khoanh vùng thủ công hoàn
toàn thực hiện bởi bác sỹ. Một số đặc điểm của các chế độ
khoanh vùng tự động và bán tự động như sau:
Chế độ khoanh vùng tự động (toàn bộ): chúng tôi đã
triển khai mô hình mạng nơ-ron U-net [9]. Đây là mạng nơ-
ron đã thành công trong nhiều bài toán khoanh vùng ảnh y
tế. Trong nghiên cứu này, mạng U-net đã được lựa chọn và
xây dựng với mục đích phân đoạn đường Z thông qua việc
xác định vùng thực quản và dạ dày trong ảnh nội soi. Mạng
được huấn luyện bởi 533 ảnh của 100 bệnh nhân đã được
các chuyên gia khoanh vùng. Sau khi các tham số của mạng
được luấn luyện và lựa chọn tối ưu, mô hình mạng sẽ được
kiểm chứng thêm bằng 121 ảnh độc lập.
Chế độ khoanh vùng bán tự động: nhóm nghiên cứu
đã lựa chọn thuật toán SLIC (Simple Linear Iterative
Clustering) [10]. Thuật toán này đề xuất kỹ thuật để phân
cụm bức ảnh ra thành nhiều vùng, trong đó mỗi vùng có
sự đồng nhất về màu sắc cũng như cấu trúc của các điểm
ảnh bên trong. Các vùng này (super-pixel) được liên kết
với nhau thông qua 1 cây nhị phân nhiều tầng BPT (Binary
partition tree) [11]. Khi bác sĩ đánh dấu vùng (thực quản,
dạ dày) bằng nét vẽ sử dụng chuột, cây nhị phân sẽ dựa vào
các gợi ý đó để tạo ra đường phân tách (đường Z) bằng cách
truy ngược nhãn tương tự (với vùng đã đánh dấu) từ vùng ở
tầng thấp lên vùng ở tầng cao, tiếp theo truy xuôi nhãn đánh
dấu từ tầng cao xuống.
Hình 1. Sơ đồ khối cách vận hành của phần mềm so sánh 4 chế độ
khoanh đường Z.
Xây dựng phần mềm so sánh các phương pháp khoanh
vùng đường Z
Hình 2 minh họa giao diện phần mềm khoanh vùng đường
Z được phát triển bằng MATLAB. Phần mềm có giao diện
trực quan, dễ hiểu, hỗ trợ 4 chế độ khoanh đường Z bao gồm:
- Chế độ khoanh vùng bằng tay: các bác sĩ sau khi hoàn
thành bước chọn ảnh sẽ sử dụng chuột trái để tô viền, xác định
đường Z mà không có bất kỳ sự hỗ trợ nào của phần mềm.
- Chế độ khoanh vùng tự động: ảnh sẽ được tự động
khoanh vùng đường Z bằng mô hình mạng nơ-ron đã được
huấn luyện.
- Chế độ đánh dấu vùng (bán tự động - mode 1): cho phép
bác sĩ đánh dấu khu vực nằm trong và nằm ngoài đường Z,
phần mềm sẽ tự động xác nhận và hiển thị ranh giới trên giao
diện. Bác sĩ sẽ tiếp tục sử dụng chuột trái và chuột phải để xác
định lại 2 vùng nếu kết quả hiển thị đường Z chưa chính xác.
- Chế độ khoanh vùng tích hợp (bán tự động - mode 2): là
chế độ kết hợp giữa 2 phương pháp đánh dấu vùng và tự động
khoanh đường Z bằng mô hình mạng nơ-ron. Theo đó, sau
khi lựa chọn ảnh, bác sĩ sẽ đợi cho đến khi đường Z xuất hiện
trên giao diện phần mềm rồi sử dụng chuột trái và chuột phải
để tiếp tục xác định lại các khu vực trong và ngoài đường Z.
Hình 2. Giao diện phần mềm khoanh vùng để xác định đường Z.
13
Khoa học Y - Dược
63(2) 2.2021
Trong quá trình khoanh, phần mềm sẽ ghi nhận số lần
bấm chuột trong mỗi ảnh, thời gian để thực hiện và ảnh kết
quả khoanh. Đồng thời, các bác sĩ sẽ tiến hành đánh giá
phần mềm trên thang điểm từ 0 đến 10 và ghi lại các góp
ý phản hồi sau mỗi lần hoàn thành quá trình khoanh vùng.
Đánh giá độ chính xác của thuật toán và quá trình
khoanh vùng bằng phần mềm của bác sĩ
Chúng tôi thu thập 30 ảnh nội soi tại vùng phân tách
dạ dày - thực quản ở phân đoạn thực quản trên làm tập
thực nghiệm. Phần mềm sẽ được đánh giá dựa trên kết quả
khoanh vùng của 30 ảnh trên trên 2 nhóm bác sĩ, bao gồm
nhóm 3 bác sĩ có kinh nghiệm nội soi từ 1-2 năm và nhóm 3
bác sĩ có kinh nghiệm nội soi ≥5 năm. Tập ảnh thực nghiệm
được 2 nhóm bác sĩ thực hiện xác định đường Z bằng phần
mềm khoanh vùng. Đồng thời, tập ảnh thực nghiệm cũng
được chuyển tới chuyên gia để khoanh vùng đường Z làm
dữ liệu chuẩn (ground-truth). Hình 3 minh họa sự khác biệt
giữa dữ liệu chuẩn (hình 3A) và kết quả từ chế độ khoanh tự
động (hình 3B). Độ chính xác của vùng khoanh được đánh
giá thông qua chỉ số IoU (Intersection-over-Union).
Chỉ số IoU là tỷ lệ % giữa phần giao của 2 vùng khoanh
với phần hợp, giúp đánh giá mức trùng khớp của mỗi ảnh
thuộc tập thực nghiệm so với ảnh tương ứng ở tập mẫu
(ground-truth) [12]. Mức độ trùng khớp của ảnh được
khoanh bởi thuật toán và so với ảnh mẫu thường được xếp
hạng “Kém” khi chỉ số IoU <50%, “Trung bình” ở mức 50-
75%, “Tốt” khi chỉ số IoU ở mức 75-90%, “Rất tốt” ở mức
>90% [13].
Kết quả nghiên cứu
Nghiên cứu được tiến hành từ tháng 4/2019 đến tháng
7/2020 tại Viện Nghiên cứu và Đào tạo Tiêu hóa, Gan mật.
Bảng 1 trình bày các giá trị thống kê của chỉ số IoU với tập
30 ảnh kiểm thử ở 4 chế độ khoanh. Kết quả này cho thấy sự
sai khác giữa chế độ khoanh tự động (toàn bộ) với khoanh
bằng tay là 4,1%. Mức độ trùng khớp ở cả 3 nhóm đều rất
cao, với kết quả kiểm định t (t-test) của các điểm IoU trung
bình ở 4 chế độ đều trên 85% với p-value nhỏ hơn 0,05.
Bảng 1 cũng cho thấy, chỉ số IoU ở chế độ khoanh bằng tay
và chế độ tích hợp có giá trị nhỏ nhất đều thấp hơn 50%.
Bảng 1. Chỉ số IoU của từng ảnh được khoanh bởi phần mềm ở 4 chế
độ.
Điểm trung
bình (%)
Độ lệch
chuẩn
Giá trị lớn
nhất (%)
Trung
vị (%)
Giá trị nhỏ
nhất (%)
p-value
Chế độ khoanh bằng tay 90,8 7,3 97,7 93,6 48,7 0,00
Chế độ tự động 86,7 9,5 95,9 90,8 57,2 0,02
Chế độ đánh dấu vùng 88,0 7,5 96,8 90,5 55,4 0,00
Chế độ tích hợp 88,0 9,0 96,4 90,9 33,2 0,00
Bảng 2 xếp hạng mức độ trùng khớp của ảnh được bác
sĩ khoanh vùng bằng phần mềm ở các chế độ so ảnh được
khoanh bởi chuyên gia (ground-truth) giữa 2 nhóm bác sĩ và
chế độ khoanh vùng tự động.
Bảng 2. Chỉ số IoU của 2 nhóm bác sĩ trên các chế độ khoanh vùng.
Bác sĩ 1-2 năm kinh nghiệm Bác sĩ ≥5 năm kinh nghiệm
Tự độngKhoanh vùng
bằng tay
Đánh dấu
vùng
Tích hợp
Khoanh vùng
bằng tay
Đánh dấu
vùng
Tích hợp
Kém 1 (1,1%) 0 (0%) 0 (0%) 0 (0%) 0 (0%) 2 (2,2%) 0 (0%)
Trung
bình
0 (0%) 5 (5,6%) 5 (5,6%) 4 (4,4%) 4 (4,4%) 5 (5,6%) 18 (10%)
Tốt 26 (28,9%) 39 (43,3%) 33 (36,7%) 20 (22,2%) 37 (41,1%) 33 (36,7%) 66 (36,7%)
Rất tốt 63 (70%) 46 (51,1%) 52 (57,7%) 66 (73,4%) 49 (54,5%) 50 (55,5%) 96 (53,3%)
Phần mềm ghi nhận độ chính xác khá cao, với ≥90% số
ảnh đều có chỉ số IoU được xếp hạng “Tốt” và “Rất tốt”.
3 ảnh có chỉ số IoU dưới 50% được khoanh bởi 2 chế độ
“Khoanh vùng bằng tay” và chế độ “Tích hợp”. Hình 4
minh họa trường hợp 3 ảnh được xếp hạng IoU “Kém”. Kết
quả phân đoạn (màu cam) được vẽ cùng với vùng do chuyên
gia khoanh (màu xanh).
Hình 4. Một số minh họa kết quả khoanh vùng của bác sỹ so với
chuyên gia ở các ảnh có chỉ số IoU <50 (kết quả khoanh kém).
Chi tiết các kết quả thực hiện của hai nhóm bác sỹ, thực
hiện ở các chế độ khác nhau được trình bày trong bảng 3.
Riêng chế độ khoanh tự động, kết quả không có sự khác biệt
giữa hai nhóm bác sỹ. Đồng thời, không có giá trị thống kê ở
chế độ này. Tiêu chí đánh giá về số lần thao tác chuột cũng
không có kết quả với chế độ này.
Hình 3. Minh họa dữ liệu khoanh chuẩn (A) và khoanh tự động (B).
14
Khoa học Y - Dược
63(2) 2.2021
Bảng 3. So sánh quá trình thực hiện của 2 nhóm bác sĩ.
Bác sĩ 1-2 năm
kinh nghiệm
Bác sĩ ≥5 năm
kinh nghiệm
Chung
Thời gian thực hiện (giây)
Khoanh vùng bằng tay, Trung vị (Q1-Q3) 66,5 (38-151) 36,5 (29-68) 45,5 (31-110,5)
Tự động, Trung vị (Q1-Q3) 0,5 (0,5-0,5)
Đánh dấu, Trung vị (Q1-Q3) 83 (43-127) 97,5 (52-163) 88,5 (44,5-137)
Tích hợp (tự động và đánh dấu), Trung
vị (Q1-Q3)
68,5 (34-132) 85 (44-147) 78,5 (39,5-139)
Thao tác chuột (số lần)
Đánh dấu, Trung vị (Min-Max) 24 (4-87) 25 (2-78) 24,5 (2-87)
Tích hợp (tự động và đánh dấu), Trung vị
(Min-Max)
15 (3-93) 16,5 (3-109) 15,5 (3-109)
Độ hài lòng (điểm)
Tự động, Trung bình (Min-Max) 7,0 (4-9) 7,4 (1-9) 7,2 (1-9)
Đánh dấu, Trung bình (Min-Max) 7,1 (4-9) 7,4 (1-9) 7,3 (1-9)
Tích hợp (tự động và đánh dấu), Trung
bình (Min-Max)
6,8 (4-9) 7,6 (1-9) 7,2 (1-9)
Trung vị thời gian thực hiện của nhóm bác sĩ có 1-2 năm
kinh nghiệm ở chế độ khoanh vùng bằng tay, chế độ đánh
dấu vùng và chế độ tích hợp lần lượt dao động từ 66,5 giây
đến 83 giây, ở nhóm bác sĩ kinh nghiệm tương ứng từ 36,5
đến 97,5 giây. Trong khi đó, thời gian hoàn thành khoanh
vùng bằng chế độ tự động của phần mềm ghi nhận thời gian
là 0,5 giây ở tất cả các ảnh. Kết quả so sánh 2 trung bình sử
dụng kiểm định t ghép cặp cho thấy sự khác biệt có ý nghĩa
thống kê trong thời gian khoanh vùng bằng chế độ tự động
và 3 chế độ còn lại, đồng thời cũng có sự khác biệt trong
thời gian thực hiện chế độ khoanh vùng bằng tay ở 2 nhóm
bác sĩ với mức ý nghĩa 95%. Trung vị số lần bấm chuột ở
chế độ đánh dấu vùng và chế độ tích hợp lần lượt là 24 và 15
ở nhóm bác sĩ có 1-2 năm kinh nghiệm, 25 và 16,5 ở nhóm
bác sĩ trên 5 năm kinh nghiệm. Số lần bấm chuột trung bình
ở chế độ tích hợp thấp hơn so với chế độ đánh dấu vùng,
khác biệt có ý nghĩa thống kê với mức ý nghĩa 95%. Điểm
hài lòng của các bác sĩ ở 3 chế độ: tự động, đánh dấu vùng
và tích hợp lần lượt là 7,2, 7,3 và 7,2. Không có sự khác biệt
có ý nghĩa thống kê giữa các chế độ khoanh vùng.
Bàn luận
Nội soi đường tiêu hóa là thủ thuật xâm lấn và đóng vai
trò quan trọng trong chẩn đoán cũng như can thiệp đối với
các bệnh lý của đường tiêu hóa. Do vậy, việc đào tạo các
bác sĩ nội soi cần đảm bảo các tiêu chí về cả kiến thức, kỹ
năng và thái độ [14, 15]. Tuy nhiên, mô hình đào tạo truyền
thống ở nhiều nước (trong đó có Việt Nam) vẫn là hình thức
cầm tay chỉ việc, thực hành trực tiếp trên bệnh nhân dưới
sự hướng dẫn và giám sát của các bác sĩ nội soi có kinh
nghiệm. Hội Nội soi Tiêu hóa Hoa Kỳ năm 2019 nhấn mạnh
khía cạnh đào tạo nội soi cần dựa trên các phản hồi và tiêu
chí đánh giá năng lực rõ ràng giúp tạo động lực cho cả giảng
viên và học viên cũng như tích hợp chương trình đã được
chuẩn hóa với tình hình thực tế của đơn vị [16]. Như vậy,
bài toán đặt ra cho các đơn vị có nguồn lực hạn chế như ở
nước ta là cần tìm mô hình đào tạo phù hợp với tình hình
thực tế nhưng vẫn đảm bảo được chất lượng cho bác sĩ nội
soi. Hiện tại ở nước ta, các khóa học nội soi với hình thức
giảng dạy là cầm tay chỉ việc có thời gian từ 03-06 tháng
[14-16]. Tuy nhiên, tùy thuộc vào điều kiện của đơn vị đào
tạo và cơ cấu dịch tễ bệnh tật của bệnh nhân đến khám, tính
đa dạng về hình ảnh tổn thương nội soi mà học viên được
quan sát trong thời gian học và cách nhận định có thể sẽ có
sự khác biệt lớn. Cho đến nay vẫn chưa có danh mục cụ
thể cũng như tài liệu chuẩn về chương trình đào tạo nội soi
đường tiêu hóa áp dụng cho tất cả các đơn vị đào tạo nội
soi trong cả nước cũng như phản hồi đánh giá chất lượng
đào tạo khi học viên trở về các tuyến. Vì vậy, việc xây dựng
các thuật toán và công cụ tự động, bán tự động có khả năng
tương tác với bác sĩ trong xác định vị trí giải phẫu và phát
hiện tổn thương là một hướng đi mới và cần được đánh giá
tính khả thi trong thực tiễn, vì giúp giải quyết vấn đề về tính
đa dạng hình ảnh, tiết kiệm được nguồn lực đào tạo.
Trong nghiên cứu này, chúng tôi ghi nhận không có sự
khác biệt đáng kể về mức độ chính xác (thông qua độ đo
là chỉ số IoU) trong khoanh vùng đường Z giữa nhóm bác
sĩ mới, bác sĩ có kinh nghiệm và thuật toán tự động. Điều
này cũng phù hợp với một số nghiên cứu trên thế giới và tại
Việt Nam ghi nhận các thuật toán trí tuệ nhân tạo được xây
dựng có khả năng xác định chính xác các vị trí giải phẫu của
đường tiêu hóa trên [8, 17]. Kết quả nghiên cứu của nhóm
chúng tôi năm 2019 [8] cũng ghi nhận thuật toán xác định
vị trí giải phẫu dạ dày đã hỗ trợ rút ngắn thời gian phân loại
của 3 chuyên gia xuống 3,86 phút, ngắn hơn nhiều so với
phân loại bằng tay (12,8 phút) với độ chính xác trung bình là
92,5%. Như vậy, việc ứng dụng trí tuệ nhân tạo trong nội soi
sẽ góp phần hỗ trợ các bác sĩ nội soi trong việc phân tích nhận
định hình ảnh với thời gian ngắn hơn và độ chính xác cao.
Ở nghiên cứu này, chúng tôi cũng ghi nhận có sự khác
biệt có ý nghĩa thống kê về thời gian khoanh bằng tay giữa
nhóm bác sĩ mới và bác sĩ có kinh nghiệm. Như vậy, chế độ
khoanh tự động của công cụ đảm bảo được độ chính xác gần
tương đương, mức độ hài lòng xấp xỉ 7/10 và có ưu thế về
mặt thời gian. Đây có thể là bước khởi đầu cho thấy tính khả
thi, khả năng chấp nhận khi ứng dụng công cụ sang bài toán
phát hiện, đánh dấu tổn thương để phục vụ công tác đào tạo.
Năm 2019, Bergman và cs [18] đã phát triển công cụ đào tạo
dựa trên nền tảng website để hỗ trợ bác sĩ nội soi nâng cao
khả năng phát hiện và khoanh vùng các tổn thương Barrettt
thực quản có nghi ngờ ác tính. Các kết quả nghiên cứu bước
đầu ghi nhận đào tạo bằng công cụ này giúp tăng khả năng
phát hiện tổn thương lên >30% cũng như tăng tính đồng
thuận giữa các bác sĩ khi nhận định. Điểm đặc biệt là chỉ số
cải thiện đều tăng đối với các bác sĩ nội soi thuộc nhiều quốc
gia và ở nhiều trình độ khác biệt.
15
Khoa học Y - Dược
63(2) 2.2021
Về mặt kỹ thuật, kết quả của chế độ tự động toàn bộ cho
thấy việc sử dụng mạng U-net trong khoanh vùng đường
Z (phân tách thực quản - dạ dày) là phù hợp. Kết quả của
U-net đã được cải thiện ở hai chế độ khoanh vùng bán tự
động. Kết quả này cho thấy có sự khác biệt về thời gian
và độ chính xác khi áp dụng mô hình mạng nơ-ron kết hợp
với các tương tác của con người. Mạng U-net đã xây dựng
có ưu điểm là số lượng tham số nhỏ, chạy nhanh, trên cấu
hình máy thông thường (không có GPU). Trong các thử
nghiệm cho thấy mạng được huấn luyện đã học theo những
nét khoanh vùng của bác sỹ có nhiều năm kinh nghiệm. Từ
kết quả khoanh của mạng nơ-ron đã giúp cho những bác sĩ
ít kinh nghiệm giảm được phần lớn thời gian khoanh mà vẫn
giữ được độ chính xác ở mức cao và ổn định. Từ kết quả
này, nhóm nghiên cứu hy vọng việc áp dụng mạng nơ-ron
trong tương lai sẽ giúp đẩy nhanh quá trình đào tạo các bác
sĩ còn ít kinh nghiệm. Tuy nhiên, hai thuật toán SLIC và
BPT có mục đích là giúp hội tụ nhanh quá trình tương tác
của bác sỹ chưa cho thấy hiệu quả, mặc dù kết quả có được
cải thiện. Chúng tôi sẽ tiếp tục thử nghiệm và cải tiến hướng
tiếp cận này trong các nghiên cứu tiếp theo.
Kết luận
Xây dựng phần mềm hỗ trợ xác định mốc giải phẫu ảnh
nội soi là một hướng nghiên cứu rất mới và khả thi tại Việt
Nam. Hướng nghiên cứu tiếp theo là phát hiện, khoanh
vùng cho một số loại tổn thương xung quanh vị trí đường Z.
TÀI LIỆU THAM KHẢO
[1]A.R. Pimenta-Melo, et al. (2016), “Missing rate for gastric cancer
during upper gastrointestinal endoscopy: a systematic review and
meta-analysis”, Eur. J. Gastroenterol. Hepatol., 28(9), pp.1041-1049.
[2] M.E. Voutilainen, M.T. Juhola (2005), “Evaluation of the
diagnostic accuracy of gastroscopy to detect gastric tumours:
clinicopathological features and prognosis of patients with gastric
cancer missed on endoscopy”, Eur. J. Gastroenterol. Hepatol., 17(12),
pp.1345-1349.
[3] S. Yalamarthi, et al. (2004), “Missed diagnoses in patients
with upper gastrointestinal cancers”, Endoscopy, 36(10), pp.874-879.
[4] Menon, Shyam, Trudgill, Nigel (2014), “How commonly is
upper gastrointestinal cancer missed at endoscopy? a meta-analysis”,
Endoscopy International Open, 2(2), pp.E46-E50.
[5] P.G. Delgado Guillena, et al. (2019), “Gastric cancer missed at
esophagogastroduodenoscopy in a well-defined Spanish population”,
Dig. Liver Dis., 51(8), pp.1123-1129.
[6] Hà Văn Đến và Quách Trọng Đức (2018), “Tần suất và đặc
điểm carcinôm dạ dày giai đoạn tiến triển ở bệnh nhân đã từng được
nội soi dạ dày nhưng chưa xác định bệnh”, Y học TP Hồ Chí Minh,
22(6), tr.56-62.
[7] Hoang Trung-Hieu, et al. (2019), “Enhancing endoscopic image
classification with symptom localization and data augmentation”,
Proceedings of the 27th ACM International Conference on Multimedia,
Association for Computing Machinery, Nice, France, pp.2578-2582.
[8] Đào Việt Hằng và các cs (2019), “Xác định vị trí giải phẫu
của dạ dày qua nội soi đường tiêu hóa trên sử dụng mạng noron tích
chập”, Tạp chí Y học Thực hành, 1120(12), tr.10-12.
[9] Ronneberger, Olaf, Fischer, Philipp, Brox, Thomas (2015),
“U-net: convolutional networks for biomedical image segmentation”,
Medical Image Computing and Computer-Assisted Intervention -
MICCAI 2015, Springer International Publishing, Cham, pp.234-241.
[10] Achanta, Radhakrishna, et al. (2010), “SLIC superpixels”,
EPFL TechnicalReport 149300, 15pp.
[11] P. Salembier, L. Garrido (2000), “Binary partition tree as
an efficient representation for image processing, segmentation, and
information retrieval”, IEEE Transactions on Image Processing, 9(4),
pp.561-576.
[12] M.A. Rahman, Wang Yang (2016), “Optimizing intersection-
over-union in deep neural networks for image segmentation”,
International Symposium on Visual Computing Conference, pp.234-
244, DOI: 10.1007/978-3-319-50835-1_22.
[13] PYImageSearch (2016), Intersection over Union (IoU) for
Object Detection, https://www.pyimagesearch.com/2016/11/07/
intersection-over-union-iou-for-object-detection/, 08/24/2020.
[14] S.G. Patel, et al. (2015), “Status of competency-based
medical education in endoscopy training: a nationwide survey of
US ACGME-accredited gastroenterology training programs”, Am. J.
Gastroenterol., 110(7), pp.956-962.
[15] Sonnenberg, Amnon (2017), “Limitations of teaching
endoscopy”, European Journal of Gastroenterology & Hepatology,
30(3), DOI: 10.1097/MEG.0000000000001041.
[16] A. Waschke Kevin, et al. (2019), “ASGE principles of
endoscopic training”, Gastrointestinal Endoscopy, 90(1), pp.27-34.
[17] H. Takiyama, et al. (2018), “Automatic anatomical
classification of esophagogastroduodenoscopy images using deep
convolutional neural networks”, Sci. Rep., 8(1), DOI: 10.1038/
s41598-018-25842-6.
[18] J.J.G.H.M. Bergman, et al. (2019), “An interactive web-
based educational tool improves detection and delineation of barrett’s
esophagus-related neoplasia”, Gastroenterology, 156(5), pp.1299-
1308.e3, DOI: 10.1053/j.gastro.2018.12.021.
Các file đính kèm theo tài liệu này:
danh_gia_do_chinh_xac_va_kha_nang_ung_dung_cua_phan_mem_ho_t.pdf