Kết hợp phương pháp lượng tử hóa vector và mô hình markov ẩn trong nhận dạng tiếng nói tiếng việt - Ứng dụng trong điều khiển tivi

Tạp chí Khoa học và Giáo dục, Trường Đại học Sư phạm Huế ISSN 1859-1612, Số 01(45)/2018: tr. 113-118 Ngày nhận bài: 28/12/2016; Hoàn thành phản biện: 19/4/2017; Ngày nhận đăng: 06/7/2017 KẾT HỢP PHƯƠNG PHÁP LƯỢNG TỬ HÓA VECTOR VÀ MÔ HÌNH MARKOV ẨN TRONG NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT - ỨNG DỤNG TRONG ĐIỀU KHIỂN TIVI NGUYỄN TÚ HÀ Khoa Vật lý, Trường Đại học Sư phạm, Đại học Huế Email: nguyentuha82@gmail.com Tóm tắt: Vấn đề nghiên cứu các phương pháp nhận dạng tiếng nói đã và đang thu hút rất nhiều sự đầu tư và nghiên cứu của các nhà khoa học trên khắp thế giới. Tuy nhiên cho đến nay kết quả mang lại vẫn chưa hoàn toàn làm hài lòng các nhà nghiên cứu do tính phức tạp và không ổn định của tiếng nói. Đặc biệt, đối với nhận dạng tiếng nói tiếng Việt thì kết quả còn nhiều hạn chế. Bài báo trình bày một hướng nhận dạng tiếng nói tiếng Việt, sử dụng mô hình Markov ẩn (Hidden Markov Model - HMM) kết hợp với phương pháp lượng tử hóa vector (Vector Quantization - VQ) để nhận dạng tiếng nói. Kết quả được kiểm nghiệm thực tế bằng mô hình điều khiển tivi. Từ khóa: nhận dạng tiếng nói; lượng tử hóa vector; mô hình Markov ẩn. 1. ĐẶT VẤN ĐỀ Hiện nay, vấn đề tìm hiểu và thực hiện một hệ thống nhận dạng tiếng nói đã được đưa vào nghiên cứu trong các viện nghiên cứu trên khắp thế giới [1], [3]. Những ứng dụng mà hệ thống này mang lại là vô cùng to lớn và có ý nghĩa như: xe lăn cho người tàn tật được điều khiển bằng tiếng nói; điều khiển máy tính hoặc các hệ thống tự động bằng tiếng nói. Trên thế giới đã có nhiều hệ thống nhận dạng tiếng nói đã và đang được ứng dụng rất hiệu quả như: ViaVoice, Dragon Naturally Speaking, Spoken Toolkit, Google Các hệ thống nhận dạng này áp dụng cho ngôn ngữ tiếng Anh, vì vậy, không thể áp dụng hệ thống này cho nhận dạng tiếng Việt. Do đó, một hệ thống nhận dạng tiếng nói tiếng Việt cần phải được xây dựng để có thể ứng dụng cho người Việt Nam. Một đề xuất mới của chúng tôi về một phương pháp nhận dạng tiếng nói tiếng Việt, sử dụng mô hình Markov ẩn rời rạc để nhận dạng tiếng nói kết hợp với phương pháp lượng tử hóa vector. Hệ thống được kiểm nghiệm thực tế bằng việc xây dựng mô hình nhận dạng tiếng nói tiếng Việt gồm các nhóm lệnh điều khiển tivi. 2. HỆ THỐNG NHẬN DẠNG TIẾNG NÓI Một hệ thống nhận dạng nói chung thường bao gồm hai phần: phần huấn luyện và phần nhận dạng. “Huấn luyện” là quá trình hệ thống “học” những mẫu chuẩn được cung cấp bởi những tiếng khác nhau (từ hoặc âm), để từ đó hình thành bộ từ vựng của hệ thống. “Nhận dạng” là quá trình quyết định xem từ nào được đọc căn cứ vào bộ từ vựng đã được huấn luyện. 114 NGUYỄN TÚ HÀ Quá trình huấn luyện được thực hiện như sau: Giả sử hệ thống cần nhận dạng bộ từ vựng có V từ. Đầu tiên chúng ta phải huấn luyện để xây dựng mô hình Markov ẩn λv của các từ trong bộ từ vựng bằng cách áp dụng bài toán 3 của mô hình HMM (bài toán huấn luyện) [4]. Trong quá trình huấn luyện, mỗi từ sẽ được nói nhiều lần (có thể do một hay nhiều người nói), sau đó chúng ta sẽ tiến hành trích đặc trưng bằng phương pháp đường bao phổ (Mel frequency cepstral coefficient - MFCC). Các vector đặc trưng này sẽ được lượng tử hóa vector để phân lớp và đưa vào mô hình HMM để ước lượng các tham số của mô hình một cách tối ưu cho từng từ. Như vậy kết quả được một tập gồm V codebook kích thước M, và V mô hình HMM. Hình 1. Quá trình huấn luyện mô hình VQ/HMM Để nhận dạng, chúng ta sẽ áp dụng bài toán 1 (bài toán ước lượng) [4]. Từ cần nhận dạng sẽ được trích đặc trưng bằng phương pháp MFCC và phân lớp bằng lượng tử hóa vector để có được tập quan sát O={o1o2oT}. Tiếp theo, ta sẽ tính xác suất P(O│λv) cho tất cả các mô hình (1≤v≤V) và chọn từ v có xác suất lớn nhất, tức là:  * 0 arg ax | v v V v m P O        Hình 2. Quá trình nhận dạng từ rời rạc bằng mô hình VQ/HMM KẾT HỢP PHƯƠNG PHÁP LƯỢNG TỬ HÓA VECTOR VÀ ... 115 2.1. Tiền xử lý Tín hiệu tiếng nói sau khi được thu và trước khi trích chọn đặc trưng, phải tiến hành tiền xử lý tín hiệu tiếng nói. Mục đích của việc tiền xử lý tín hiệu tiếng nói để loại bỏ nhiễu, chuẩn hóa biên độ, làm rõ tín hiệu, xác định các lệnh điều khiển, tách từ. 2.2. Trích chọn đặc trưng Trích chọn đặc trưng là quá trình thực hiện các phân tích nhằm xác định các thông tin quan trọng, đặc trưng, ổn định của tín hiệu tiếng nói. Đối với một hệ nhận dạng tiếng nói, việc trích chọn đặc trưng của tiếng nói là cần thiết. Điều này giúp giảm thiểu số lượng dữ liệu trong việc huấn luyện và nhận dạng, dẫn đến số lượng công việc tính toán trong hệ thống giảm đáng kể. Bên cạnh đó, việc trích chọn đặc trưng còn làm rõ sự khác biệt của tiếng này so với tiếng khác, làm mờ đi sự khác biệt của cùng hai lần phát âm khác nhau của cùng một tiếng. Từ quá trình này, chúng ta sẽ có được chuỗi vector quan sát O. Có nhiều phương pháp trích chọn đặc trưng khác nhau như: FBA, LPC, MFCC, PLP Mỗi phương pháp có những ưu điểm và nhược điểm riêng. Tuy nhiên, phương pháp dựa trên việc tính hệ số MFCC (Mel-scale Frequency Cepstral Coefficient) được sử dụng vì nó phổ biến và hiệu quả nhất. Vì vậy trong nghiên cứu này sử dụng phương pháp MFCC làm công cụ để trích chọn đặc trưng cho hệ thống nhận dạng. 2.3. VQ Codebook Trong mô hình HMM rời rạc, toàn bộ không gian đặc trưng âm thanh được chia làm một số trung bình các vùng, bằng thủ tục phân vùng như lượng tử hóa vectơ (VQ). Trọng tâm của mỗi vùng được tiêu biểu bởi một codeword vốn là một chỉ mục đến codebook. Mỗi mẫu tiếng nói được đổi thành một codeword bằng cách tìm ra vector gần nhất trong codebook. Mỗi codebook có M codeword được gọi là codebook cỡ M. M cũng là số kí hiệu quan sát được của 1 trạng thái trong HMM. Như vậy, trong HMM rời rạc, số quan sát là hữu hạn. Nhược điểm của mô hình dạng này là có sai số trong quá trình lượng tử hoá (nếu kích thước của codebook là nhỏ). Ngược lại nếu kích thước của codebook lớn thì sẽ phải trả giá bằng số lượng tính toán sẽ tăng lên. Trong nghiên cứu này sử dụng thuật toán Split Binary (hay thuật toán LBG) [6]. 2.4. Ước lượng các tham số của mô hình HMM Đối với mỗi từ trong bộ từ vựng, chúng ta xây dựng một mô hình HMM bằng cách ước lượng các thông số của mô hình một cách tối ưu dựa trên chuỗi dữ liệu quan sát trong quá trình huấn luyện. Trong nghiên cứu này sử dụng thuật toán Baum-Welch [6], [8], đây là một trong những phương pháp tối ưu thành công nhất. 2.5. Nhận dạng Đối với mỗi từ cần nhận dạng, hệ thống tính toán mô hình có khả năng với tất cả mô hình đã huấn luyện và chọn ra mô hình có khả năng nhất.Một phương pháp thông dụng hay được dùng để giải quyết bài toán này là dùng thuật toán tìm kiếm Viterbi [9]. Đây là 116 NGUYỄN TÚ HÀ thuật toán dựa trên phương pháp lập trình động (Dynamic Programing Method) để tìm ra một dãy các trạng thái tối ưu duy nhất. 3. THỰC NGHIỆM VÀ KẾT QUẢ 3.1. Thực nghiệm Trong nghiên cứu này, chúng tôi chọn các từ để huấn luyện là:tắt, bật, tivi, tăng, giảm, chuyển, âm, kênh, một, hai, ba, bốn, năm, sáu, bảy, tám, chín, không;và các câu lệnh điều khiển tivi có cú pháp: Cơ sở dữ liệu được xây dựng trong nghiên cứu này được thu thập từ 150 người nói gồm 70 nam và 80 nữ, có độ tuổi từ 18 đến 30. Các người nói được hướng dẫn phát âm chuẩn theo một tốc độ nhất định và việc thu âm được thực hiện trong phòng thu ít nhiễu. Các tập tin âm thanh được thu từ chương trình Adobe Audition, sử dụng PCM, lấy mẫu tại tần số 16.000Hz với 16bit và lưu trữ dưới định dạng WAV. Việc thu âm được thực hiện gồm hai mục đích, thu âm để chuẩn bị cơ sở dữ liệu cho quá trình huấn luyện mô hình và cho quá trình nhận dạng. 3.2. Phương pháp đánh giá Để đánh giá hệ thống, trong nghiên cứu này chúng tôi sử dụng phương pháp thực nghiệm với thống kê và so sánh kết quả trực tiếp. Mỗi nhóm dữ liệu thực nghiệm được đọc vào một cách ngẫu nhiên và ghi nhận kết quả trả ra từ chương trình, sau đó tính tỉ lệ nhận dạng từ đúng, tỉ lệ nhận dạng lỗi sai. Đối với quá trình huấn luyện và kiểm tra, kết quả được chia thành 2 nhóm: nhóm 100 người được huấn luyện và nhóm 50 người không được huấn luyện. 3.2. Kết quả thực nghiệm - Kết quả nhận dạng từ Bảng 1. Kết quả nhận dạng từ Nhóm dữ liệu Tổng Nhận dạng đúng Tỉ lệ 100 người đã huấn luyện Từ 800 782 97,75% Số 1000 981 98.10% 50 người Từ 400 385 96,25% KẾT HỢP PHƯƠNG PHÁP LƯỢNG TỬ HÓA VECTOR VÀ ... 117 không huấn luyện Số 500 479 95,80% - Kết quả nhận dạng câu lệnh Bảng 2. Kết quả nhận dạng câu lệnh (100 người đã huấn luyện) Câu lệnh Tổng Nhận dạng đúng Tỉ lệ BẬT_TIVI 1000 968 96,8% TẮT_TIVI 1000 925 92,5% TĂNG_ÂM 1000 923 92,3% GIẢM_ÂM 1000 976 97,6% TĂNG_KÊNH 1000 934 93,4% GIẢM_KÊNH 1000 979 97,9% CHUYỂN KÊNH 1000 967 96,7% Bảng 3. Kết quả nhận dạng câu lệnh (50 người không huấn luyện) Câu lệnh Tổng Nhận dạng đúng Tỉ lệ BẬT_TIVI 1000 923 92,3% TẮT_TIVI 1000 879 87,9% TĂNG_ÂM 1000 824 82,4% GIẢM_ÂM 1000 935 93.5% TĂNG_KÊNH 1000 859 85,9% GIẢM_KÊNH 1000 891 89,1% CHUYỂN KÊNH 1000 932 93,2% 4. KẾT LUẬN Dựa trên kết quả thực nghiệm, nghiên cứu đã xây dựng thành công mô hình nhận dạng tiếng nói với tỷ lệ thành công tương đối tốt. Tuy nhiên, cần nghiên cứu phát triển thêm: Xây dựng cơ sở dữ liệu lớn hơn để huấn luyện cho các mô hình tốt hơn. Đồng thời phát triển thêm bộ từ vựng để có thể điều khiển thiết bị phong phú hơn. Tích hợp thêm các giải pháp giảm nhiễu trong khối tiền xử lý để nâng cao hiệu xuất nhận dạng và ứng dụng trong môi trường có nhiễu cao. Tích hợp hệ thống nhận dạng tiếng nói trên các chip DSP, FPGA ... để có thể ứng dụng thuận tiện hơn và đóng gói thành bộ sản phẩm hoàn thiện.. 118 NGUYỄN TÚ HÀ TÀI LIỆU THAM KHẢO [1] Phạm Văn Tuấn (2011). Bài giảng nhận dạng tiếng nói, Đại học Bách khoa Đà Nẵng. [2] Lê Tiến Thường (2002). Xử lý số tín hiệu và Wavelets-Tập 1, NXB Đại học Quốc gia TP Hồ Chí Minh. [3] Gales. M. and S. Young (2007). The Application of Hidden Markov Models in Speech Recognition, Foundations and Trends in Signal Processing, Vol.1, No.2, p.p 195-304. [4] Rabiner, L. R. (1989). A tutorial on hidden Markov models and selected applications in speech recognition, Proceedings of IEEE, vol. 77, no. 2, pp. 257–286. [5] Juang, B. H. and Rabiner, L. R. (1991). Hidden Markov Models for Speech Recognition, Technometrics, Vol.33, No.3, pp. 251-272. [6] Linde, Y., Buzo, A., and Gray, R. M. (1980). An Algorithm for Vector Quantizer, IEEE Transactions on Communication, Vol.28, No.1, pp. 84-95. [7] Segura, J. C., Rubio, A. J., Peinado, A. M., Garcia, P., and Roman, R. (1994). Multiple VQ Hidden Markov Modeling for Speech Recognition, Speech Communication, Vol.14, pp. 163-170. [8] Balwant, A., Sonkamble, D. and Doye, D. (2012). Speech Recognition Using Vector Quantization through Modified K-means LBG Algorithm, Computer Engineering and Intelligent Systems, ISSN 2222, Vol.3, No.7, pp.137-144. [9] Rabiner, L. R. and Juang, B.H. (1993). Fundamentals of speech recognition, Prentice- Hall International, Inc. [10] Le, V.B and Besacierm, L. (2009). Automatic Speech Recognition for Under- Resourced Languages: Application to Vietnamese Language, IEEE. Title: USING THE COMBINATION OF VECTOR QUANTIZATION METHOD AND HIDDEN MARKOV MODELS FOR VIETNAMESE SPEECH RECOGNITION - APLLYING FOR CONTROL THE TELEVISION Abstract: Researching and inventing speech recognitionmethods have been paid much considerations bymany scientists over the world. However, the achievements don’t satisfy researchers’ demandsbecause of the complexity and unstability of speech until now. Especially with Vietnamese speech, theresults are more unsatisfied.The paper suggests asynthetic method for recogniting Vietnamesespeech, is based on the combination of Vector Quantization (VQ) method and Hidden Markov Models (HMMs).Theresults are experimented through a model of remote control television. Keywords: Speech-recognition; Vector Quantization; HMM.