Kỹ thuật lưu lượng với chuyển mạch nhãn đa giao thức

LỜI NÓI ĐẦU Nền tảng cho xã hội thông tin chính là sự phát triển cao của các dịch vụ viễn thông. Mềm dẻo, linh hoạt, và gần gũi với người sử dụng là mục tiêu cần hướng tới. Vài năm qua, Internet đang ngày càng phát triển với các ứng dụng mới trong thương mại và thị trường người tiêu dùng. Cùng với các dịch vụ truyền thống hiện nay được cung cấp qua Internet thì các dịch vụ thoại và đa phương tiện đang được phát triển và sử dụng. Tuy nhiên, tốc độ và dải thông của các dịch vụ và ứng dụng này đã vượt quá tài nguyên hạ tầng Internet hiện nay. Chính những điều đã gây một áp lực cho mạng viễn thông hiện thời, phải đảm bảo truyền tải thông tin tốc độ cao với giá thành hạ. Ở góc độ khác sự ra đời của những dịch vụ mới này đòi hỏi phải có công nghệ thực thi tiên tiến. Ưu điểm nổi bật của giao thức định tuyến TCP/IP là khả năng định tuyến và truyền gói tin một cách hết sức mềm dẻo linh hoạt và rộng khắp toàn cầu. Nhưng IP không đảm bảo chất lượng dịch vụ, tốc độ truyền tin theo yêu cầu, trong khi đó công nghệ ATM có thế mạnh ưu việt về tốc độ truyền tin cao, đảm bảo thời gian thực và chất lượng dịch vụ theo yêu cầu định trước. Sự kết hợp IP với ATM có thể là giải pháp kỳ vọng cho mạng viễn thông tương lai - mạng thế hệ sau NGN. Gần đây, công nghệ chuyển mạch nhãn đa giao thức (MPLS) được đề xuất để tải các gói tin trên các kênh ảo và khắc phục được các vấn đề mà mạng ngày nay đang phải đối mặt, đó là tốc độ, khả năng mở rộng cấp độ mạng, quản lý chất lượng, quản lý băng thông cho mạng IP thế hệ sau - dựa trên mạng đường trục và có thể hoạt động với các mạng Frame Relay và chế độ truyền tải không đồng bộ (ATM) hiện nay để đáp ứng các nhu cầu dịch vụ của người sử dụng mạng. Ngày nay, những xu hướng phát triển công nghệ đã và đang tiếp cận nhau, đan xen lẫn nhau cho phép mạng lưới thỏa mãn tốt hơn các nhu cầu của khách hàng trong tương lai. Thị trường viễn thông trên thế giới đang đứng trong xu thế cạnh tranh và phát triển hướng tới mạng viễn thông hội tụ toàn cầu tạo ra khả năng kết nối đa dịch vụ trên phạm vi toàn thế giới. Do vậy, để đáp ứng được các nhu cầu đó, sự ra đời của MPLS là tất yếu. Mạng MPLS với những tính năng vượt trội, đáp ứng được sự gia tăng của nhu cầu tốc độ mạng, quản lý QoS, điều phối lưu lượng dễ dàng, là công nghệ nền tảng cho mạng thế hệ sau NGN. Việc điều khiển kỹ thuật lưu lượng MPLS trong hệ thống mạng hiện tại sẽ giúp nhanh chóng đẩy nhanh quá trình chuyển đổi hệ thống sang mạng thế hệ kế tiếp NGN. Hơn thế nữa, ở góc độ người sử dụng, yêu cầu được đáp ứng các dịch vụ với chất lượng tốt hơn sẽ được thỏa mãn trong khi ở góc độ nhà cung cấp dịch vụ, mạng sẽ được sử dụng với hiệu suất cao hơn và đem lại nhiều lợi nhuận hơn. Qua tìm hiểu trên lý thuyết và được sự góp ý hướng dẫn của thầy giáo, em đã chọn nghiên cứu về đề tài: “Kỹ thuật lưu lượng với chuyển mạch nhãn đa giao thức”. Đề tài đi sâu vào tìm hiểu các nguyên lý hoạt động của mạng MPLS, đặc biệt là ứng dụng kỹ thuật lưu lượng trên mạng MPLS. Bố cục chuyên đề được chia ra làm 4 chương : Chương 1: Cơ sở công nghệ MPLS Chương 2: Hoạt động cơ bản của MPLS. Chương 3: Kỹ thuật lưu lượng trong MPLS. MỤC LỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT 7 LỜI NÓI ĐẦU 9 CHƯƠNG 1 11 CƠ SỞ CÔNG NGHỆ MPLS 11 1Tổng quan về mạng chuyển mạch nhãn đa giao thức 11 1.1Định nghĩa 11 1.2Lợi ích của MPLS 11 1.3Các ưu điểm của MPLS 12 2Các khái niệm cơ bản trong MPSL 15 3Các thao tác nhãn 20 4Kết luận chương. 23 CHƯƠNG 2 25 HOẠT ĐỘNG CƠ BẢN CỦA MPLS 25 5Các thành phần của mạng chuyển mạch nhãn 25 5.1Thành phần chuyển tiếp gói tin 26 5.2Thành phần điều khiển 30 6Các giao thức sử dụng trong MPLS 33 6.1Giao thức phân phối nhãn LDP 33 6.2Giao thức CR-LDP 37 7Giao thức RSVP-TE 41 7.1Các bản tin thiết lập dự trữ. 41 7.2Các bản tin Tear Down, Error và Hello của RSVP-TE 42 7.3Thiết lập tuyến tường minh điều khiển tuần tự theo yêu cầu. 42 7.4Giảm lượng Overhead làm tươi RSVP 44 8Giao thức cổng biên BGP 45 8.1BGPv4 và mở rộng cho MPLS 45 8.2Kết nối MPLS qua nhiều nhà cung cấp dịch vụ. 47 9Kết luận chương 47 CHƯƠNG 3 49 KỸ THUẬT LƯU LƯỢNG VỚI MPLS 49 3.1Kỹ thuật lưu lượng 49 9.1Khái niệm kỹ thuật lưu lượng 49 9.2Các mục tiêu triển khai kỹ thuật lưu lượng 49 9.3Các lớp dịch vụ dựa trên nhu cầu QoS và các lớp lưu lượng 50 9.4Hàng đợi lưu lượng 51 9.5Giải pháp mô hình chồng lớp (Overlay Model) 55 9.6Những hạn chế của cơ chế điều khiển IGP hiện tại 56 10Kỹ thuật lưu lượng trên MPLS 56 10.1Khái niệm trung kế lưu lượng (traffic trunk) 57 10.2Đồ hình nghiệm suy (Induced Graph) 58 11Trung kế lưu lượng và các thuộc tính 59 11.1Các hoạt động cơ bản trên trung kế lưu lượng 59 11.2Thuộc tính tham số lưu lượng (Traffic Parameter) 60 11.3Thuộc tính lựa chọn và quản lý đường (chính sách chọn đường) 60 11.4Thuộc tính ưu tiên / lấn chiếm (Priorty/Preemption) 61 11.5Thuộc tính đàn hồi (Resilience) 61 11.6Thuộc tính chính sách (Policing) 62 12Các thuộc tính tài nguyên 62 12.1Bộ phân bổ lớn nhất 62 12.2Lớp tài nguyên (Resource-Class) 62 12.3TE Metric 63 13Tính toán đường ràng buộc 64 13.1Quảng bá các thuộc tính của các liên kết 64 13.2Tính toán LSP ràng buộc (CR-LSP) 65 13.3Giải thuật chọn đường 65 13.4Ví dụ về chọn đường cho trung kế lưu lượng 65 13.5Tái tối ưu hoá 68 14Bảo vệ khôi phục đường 68 14.1Phân loại các cơ chế bảo vệ khôi phục 69 14.2Mô hình Makam 70 14.3Mô hình Haskin (Reverse Backup) 70 14.4Mô hình Hundessa 71 14.5Mô hình Shortest-Dynamic 71 14.6Mô hình Simple-Dynamic 72 14.7Mô hình Simple-Static 72 15Phát hiện và phòng ngừa định tuyến vòng 73 15.1Chế độ khung. 73 a)Phát hiện chuyển tiếp vòng dữ liệu 73 b)Ngăn ngừa chuyển tiếp vòng dữ liệu điều khiển. 74 15.2Chế độ tế bào. 74 a)Phát hiện/ ngăn ngừa chuyển tiếp vòng thông tin điều khiển 75 b)Phát hiện chuyển tiếp vòng dữ liệu 78 16Kết luận chương. 80 KẾT LUẬN 81 TÀI LIỆU THAM KHẢO 82

doc79 trang | Chia sẻ: banmai | Lượt xem: 2055 | Lượt tải: 3download
Bạn đang xem trước 20 trang tài liệu Kỹ thuật lưu lượng với chuyển mạch nhãn đa giao thức, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
ỹ thuật lưu lượng là nghẽn kéo dài chứ không phải nghẽn nhất thời do bùng phát lưu lượng. Các lớp dịch vụ dựa trên nhu cầu QoS và các lớp lưu lượng Lưu lượng có thể được tổ chức xoay quanh một khái niệm gọi là các lớp dịch vụ (service classes). Các lớp lưu lượng này được định nghĩa theo những hoạt động sau: Quan hệ đồng bộ giữa đầu phát và đầu thu: ám chỉ biến động trễ có thể chấp nhận được trên một kết nối. Tốc độ bit: cố định hay biến đổi Loại dịch vụ: hướng kết nối hay không kết nối Các hoạt động điều khiển luồng Số thứ tự cho thông tin người sử dụng Phân đoạn và tái hợp các PDU (Protocol Data Unit) của người dùng Lớp Đặc điểm Lớp A Tốc độ bit cố định Định hướng kết nối (connection-oriented) Cần sự quan hệ về định thời giữa phát và thu Cho phép một ít mất mát Lớp B Tốc độ bit thay đổi Định hướng kết nối Cần có quan hệ định thời giữa phát và thu Cho phép một ít mất mát Lớp C Tốc độ bit thay đổi Định hướng kết nối Không đòi hỏi sự quan hệ về định thời giữa phát và thu Không cho phép mất mát Lớp D Tốc độ bit thay đổi Không kết nối (connectionless) Không đòi hỏi sự quan hệ về định thưòi giữa phát và thu Không cho phép mất mát Bảng 3-1: Các lớp dịch vụ kỹ thuật lưu lượng Hàng đợi lưu lượng Nhiều hệ thống (đặc biệt là các bộ định tuyến) hỗ trợ một dạng hàng đợi thông dụng sau: Hàng đợi FIFO (First-in, First-out) Hàng đợi này truyền gói theo thứ tự, gói đến trước sẽ được truyền trước. Hàng đợi FIFO không có sự phân loại vì tất cả các gói được thuộc về cùng một lớp. Một bộ định tuyến hay bộ chuyển mạch cần các hàng đợi xuất để giữ các gói trong khi chờ bộ giao tiếp sẵn sàng gửi gói. Trong khi các công cụ hàng đợi khác thể hiện các tính năng khác, như sắp xếp trật tự các gói, hàng đợi FIFO chỉ cung cấp một ý nghĩa giữ các gói trong khi chúng chờ để rời khỏi một cổng giao tiếp (interface). Hàng đợi FIFO sử dụng một hàng đợi đơn cho bộ giao tiếp. Vì chỉ có một hàng đợi nên không cần phân lớp để quyết định khi gói đi vào. Và cũng không cần lập lịch ban đầu để cho hàng đợi lấy gói tiếp theo. Chỉ quan tâm đến cách cấu hình chiều dài hàng đợi FIFO tránh tác động đến độ trễ và mất gói. Hàng đợi FIFO sử dụng kỹ thuật hủy gói cuối hàng đợi để quyết định khi nào bỏ gói hay cho gói vào hàng đợi. Nếu cấu hình một hàng đợi dài hơn, nhiều gói có thể đặt trong hàng đợi, nghĩa là hàng đợi ít khả năng đầy. Nếu không gian hàng đơi còn trống nhiều thì gói ít bị mất. Tuy vậy, với một hàng đợi dài, độ trễ và độ biến động trễ của gói tăng. Với hàng đợi ngắn, độ trì hoãn ít xuất hiện hơn, nhưng hàng đợi FIFO đơn sẽ đầy nhanh chóng, lúc này các gói mới sẽ bị hủy bỏ. Một số nhược điểm của hàng đợi FIFO: FIFO không hoàn toàn tin cậy khi một luồng không mong muốn tranh giành với các luồng có độ ưu tiên thấp. Các luồng không mong muốn gửi một số lượng lớn các gói (đa số các gói đó bị huỷ bỏ). Trong khi đó, các luồng với độ ưu tiên thấp gửi một số lượng gói xác định và hầu hết chúng bị hủy bởi vì hàng đợi lúc nào cũng đầy do các luồng không mong muốn đã chiếm hết không gian hàng đợi. Sự bùng nổ cao hay thấp gây ra tình trạng đầy hàng đợi FIFO. Các gói đi vào một hàng đợi đầy phải chờ một thời gian dài trước khi chúng được truyền. Nhưng ở thời điểm khác, hàng đợi có thể trống và các gói trong cùng một luồng không bị trì hoãn. Các ưu điểm của kỹ thuật hàng đợi FIFO Đây là kỹ thuật đơn giản và nhanh. Nó được hỗ trợ trên tất cả các nền tảng. Hàng đợi FIFO được hỗ trợ trong tất cả các phiên bản của Cisco IOS. Hàng đợi WFQ (Weighted Fair Queuing) Băng thông rỗi được chia cho các hàng đợi tuỳ thuộc vào trọng số (weight) của chúng. Xét ví dụ sau: có 12 luồng lưu lượng A,B,..N và trọng số của chúng được đánh số như hình 4-1, trong đó: có bốn luồng (D, E, F, G) có trọng số 5, có hai luồng có trọng số 4, còn ở các trọng số khác chỉ có một luồng. Hình 3-1: Nhiều luồng cho mỗi lớp lưu lượng Tổng trọng số: 8 + 7 + 6 + 5(4) + 4(2) + 3 + 2 + 1 = 55. Khi đó mỗi luồng có trọng số 5 sẽ nhận được 5/55 băng thông, luồng có trọng số thấp nhất (trọng số 1) sẽ nhậ được 1/55 băng thông và luồng có trọng số cao nhất (trọng số 8) nhận được 8/55 băng thông. Tương tự cho các luồng có trọng số khác. Hàng đợi CQ (Custom Queuing) Hình 3-2: Hàng đợi CQ CQ cho phép các user chỉ ra phần trăm băng thông khả dụng cho một giao thức đặc biệt nào đó. Ta có thể định nghĩa tối đa đến 16 hàng đợi được phục vụ một cách tuần thự theo phương thức round-robin, truyền phần trăm lưu lượng trên mỗi hàng đợi trước khi chuyển đến hàng đợi kế. Hàng đợi PQ (Priority Queuing) Hình 3-3: Hàng đợi PQ (Priority Queuing) Tất cả các gói thuộc lớp có mức ưu tiên cao hơn sẽ được truyền trước bất kỳ gói nào thuộc lớp có mức ưu tiên thấp hơn. PQ cho phép người quản lý mạng cấu hình bốn thuộc tính lưu lượng là cao (high), thông thường (normal), trung bình (medium) và thấp (low). Lưu lượng đến được gán vào một trong 4 hàng đợi. Giải pháp mô hình chồng lớp (Overlay Model) Hình 3-4: Mô hình chồng lớp (Overlay Model) Một cách tiếp cận phổ biến để bù đắp các thiếu sót của các giao thức IGP (Interior Gateway Protocols) là sử dụng mô hình chồng lớp (như IP over ATM hoặc IP over FR). Tất cả các router lớp 3 được kết nối trực tiếp với nhau bằng một lưới full-mesh các mạch ảo VC. Kỹ thuật lưu lượng được thực hiện ở lớp 2 (ATM hoặc FR). Tuy nhiên, mô hình này có nhiều nhược điểm như sau đây: Tốn kém thêm nhiều thiết bị (các chuyển mạch ATM hoặc FR). Quản lý mạng phức tạp hơn: Mạng lớp 2 có các công cụ quản lý riêng với nhiều tác vụ hỗ trợ kỹ thuật lưu lượng. Đồng thời mạng các router lớp 3 với giao thức IGP cũng được quản lý. Việc quản lý 2 lớp mạng này không tích hợp được. Phát sinh nhiều vấn đề mở rộng đối với IGP do số lượng quá lớn các neighbor khi kết nối full-mesh để tận dụng các tiện ích cung cấp bởi lớp 2. Tốn thêm băng thông cho lượng overhead của ATM hoặc FR (cell tax). Không hỗ trợ dịch vụ phân biệt (Diffserv). Mọi dịch vụ phân biệt của IP đưa xuống (qua AAL5 của ATM) đều trở thành “best-effort” Những hạn chế của cơ chế điều khiển IGP hiện tại Các khả năng điều khiển mà giao thức IGP của Internet hiện nay không còn đủ đối với quản lý lưu lượng TE. Giao thức này rất khó có khả năng triển khai các chính sách hữu hiệu để giải quyết vấn đề chất lượng mạng. Hơn nữa, giao thức IGP dựa trên thuật toán tìm đường ngắn nhất làm khả năng tắc nghẽn đối với các hệ thống tự động điều khiển (AS) trong mạng Internet. Thuật toán SPF về cơ bản được tối ưu hoá dựa trên một số tham số bổ sung đơn giản. Các giao thức này thuộc loại điều khiển theo cấu trúc nên độ khả dụng băng thông và các tham số lưu lượng không phải là các tham số được sử dụng trong quyết đinh định tuyến. Hệ quả là tắc nghẽn thường xuyên xuất hiện khi: Các đường ngắn nhất của nhiều luồng lưu lượng cùng chiếm một kênh hay một giao diện của bộ định tuyến hoặc: Một luồng lưu lượng nào đó được định tuyến qua kênh hay bộ định tuyến không đủ băng thông cho nó. Kỹ thuật lưu lượng trên MPLS MPLS là công nghệ đóng vai trò quan trọng chiến lược cho quản lý lưu lượng bởi nó có khả năng cung cấp đa số các chức năng của mô hình chồng lớp (overlay) theo kiểu tích hợp với giá thấp hơn so với các kỹ thuật khác hiện nay. Cũng quan trọng không kém là MPLS cung cấp khả năng điều khiển tự động các chức năng quản lý lưu lượng. Lưu lượng được điều khiển và quản lý trên một đối tượng gọi là trung kế lưu lượng. Trung kế lưu lượng MPLS là một phần của các luồng tải lưu lượng thuộc cùng một lớp trong một đường chuyển mạch nhãn LSP. Cần lưu ý sự khác biệt giữa trung kế lưu lượng, đường và LSP mà nó đi qua. Việc sử dụng MPLS cho quản lý lưu lượng do một số thuộc tính hấp dẫn sau: Các đường chuyển mạch nhãn hiện không bị trói buộc với nguyên tắc định tuyến trên địa chỉ đích có thể được tạo ra rất đơn giản bằng nhân công hay qua các giao thức điều khiển; LSP được quản lý một cách rất hiệu quả; Các trung kế lưu lượng được thiết lập và ghép vào các LSP; Các thuộc tính của trung kế lưu lượng được mô tả bởi bộ thuộc tính; Một bộ thuộc tính có liên quan đến tài nguyên bắt buộc đối với LSP và các trung kế lưu lượng qua LSP; MPLS hỗ trợ tích hợp và phân tách lưu lượng trong khi định tuyến IP truyền thống chỉ hỗ trợ tích hợp lưu lượng mà thôi; Dễ dàng tích hợp “định tuyến cưỡng bức” vào MPLS; Triển khai tốt MPLS có thể làm giảm đáng kể mào đầu so với các công nghệ cạnh tranh khác. Hơn nữa, dựa trên cơ sở các đường chuyển mạch nhãn hiện có, MPLS cho phép khả năng cùng triển khai mô phỏng chuyển mạch kênh trên mô hình mạng Internet hiện nay. Để tăng cường những tính năng quản lý lưu lượng trong MPLS người ta bổ sung thêm một số thuộc tính. Những thuộc tính đó được đề xuất như sau: Những thuộc tính trung kế lưu lượng thể hiện tính chất ứng xử lưu lượng Những thuộc tính của tài nguyên gắn liền với việc sử dụng cho các trung kế lưu lượng. Khung “định tuyến bắt buộc” sử dụng để chọn đường cho các trung kế lưu lượng được coi là bắt buộc phải thoả mãn 2 yêu cầu thuộc tính trên. Trong mạng đang hoạt động các thuộc tính trên phải có khả năng thay đổi động trực tuyến bởi nhà quản trị mạng mà không ảnh hưởng đến hoạt động bình thường của mạng. Những vấn đề cơ bản của kỹ thuật lưu lượng trên MPLS là: Ánh xạ các gói lên các lớp chuyển tiếp tương đương (FEC). Ánh xạ các FEC lên các trung kế lưu lượng (traffic trunk). Ánh xạ các trung kế lưu lượng lên topology mạng vật lý thông qua các LSP. Khái niệm trung kế lưu lượng (traffic trunk) MPLS giới thiệu khái niệm trung kế lưu lượng để thực hiện các mục tiêu TE. Trung kế lưu lượng là một khối thu gom (aggregate) các luồng lưu lượng thuộc cùng lớp, được đặt bên trong một LSP. Trong một số hoàn cảnh có thể nới lỏng định nghĩa này để cho phép trung kế lưu lượng thu gom lưu lượng đa lớp. Trong mô hình dịch vụ đơn lớp, một trung kế lưu lượng có thể đóng gói toàn bộ lưu lượng giữa một ingress-router và một egress-router. Trong trường hợp phức tạp hơn, lưu lượng của các lớp dịch vụ phân biệt được ấn định vào các trung kế lưu lượng riêng biệt với các đặc tính khác nhau. Trung kế lưu lượng là đối tượng có thể định tuyến (tương tự như ATM VC) Trung kế lưu lượng phân biệt với LSP là đường cho trung kế đi xuyên qua. Trong bối cảnh hoạt động, một trung kế lưu lượng có thể chuyển từ LSP này sang một LSP mới, hoặc nhiều trung kế lưu lượng cùng đi chung trên một LSP. Trung kế lưu lượng là đơn hướng. Hình 3-5: Các trung kế lưu lượng Đồ hình nghiệm suy (Induced Graph) Đồ hình nghiệm suy gần giống như topology ảo trong mô hình chồng lớp. Nó được ánh xạ trên mạng vật lý thông qua việc lựa chọn các LSP cho các trung kế lưu lượng. Một đồ hình nghiệm suy gồm một nhóm các nút LSR được được kết nối luận lý với nhau bằng các LSP. Khái niệm này rất quan trọng vì bài toán quản lý băng thông cơ bản trong một miền MPLS đặt ra chính là làm thế nào để ánh xạ hiệu quả đồ hình nghiệm suy lên trên topology mạng vật lý. Đồ hình nghiệm suy được công thức hoá như sau: Đặt G = (V, E, C) là một đồ hình mô tả topology vật lý của mạng. Trong đó, V là tập hợp các nút mạng, E là tập hợp các đường liên kết, C là tập hợp cá khả năng và ràng buộc cho E và V. Ta coi G là topology cơ sở. Đặt H = (U, F, D) là đồ hình MPLS nghiệm suy, trong đó U là tập hợp con thuộc V gồm một nhóm LSR tại cá đầu của LSP. F là tập hợp các LSP. Tham số D là tập hợp cá yêu cầu và chế tài cho F. Như vậy, H là một đồ hình trực tiếp phụ thuộc vào các đặc tính chuyển tải của G. Trung kế lưu lượng và các thuộc tính Để xây dựng và duy trì trung kế lưu lượng, người ta tìm cách mô hình hóa nó bằng các tham số. Một thuộc tính là một tham số được gán và có ảnh hưởng đến các đặc trưng hành vi của trung kế lưu lượng. Các thuộc tính được gán cụ thể thông qua hành động quản trị hoặc được gán ngầm ẩn bởi các giao thức bên dưới khi các gói được phân loại và ánh xạ vào FEC tại lối vào miền MPLS. Thực tế, một trung kế lưu lượng có thể đặc trưng hoá bởi: Ingress-LSR và egres-LSR của trung kế lưu lượng Tập các FEC được ánh xạ vào trung kế lưu lượng Một tập các thuộc tính nhằm xác định các đặc trưng hành vi của trung kế. Hai vấn đề cơ bản có ý nghĩa đặc biệt là: (1) Tham số hoá các trung kế lưu lượng và (2) những quy luật sắp đặt và duy trì đường dẫn cho các trung kế lưu lượng. Các hoạt động cơ bản trên trung kế lưu lượng Là các tiến trình khác nhau xảy ra trong thời gian sống của một trung kế lưu lượng: Thiết lập(Establish): Tạo tạo ra một trung kế lưu lượng bằng cách quyết định một LSP, gán các nhãn MPLS và quan trọng nhất là gán tài nguyên cho trung kế đó. Kích hoạt (Activate): Làm cho trung kế lưu lượng bắt đầu chuyển dữ liệu bằng cách dùng một chức năng định tuyến để đưa lưu lượng vào trung kế. Giải kích hoạt (Deactivate): Làm cho trung kế lưu lượng ngưng chuyển dữ liệu cũng bằng cách dùng một chức năng định tuyến để dừng việc đưa lưu lượng vào trung kế. Thay đổi thuộc tính (Modify Attributes): Thay đổi các đặc trưng của trung kế lưu lượng, chẳng hạn như băng thông khả dụng. Tái định tuyến (Reroute): Chọn 1 đường mới cho trung kế lưu lượng (thường do một số sự cố trong mạng hoặc khi khôi phục xong sự cố). Huỷ bỏ (Destroy): Loại bỏ hoàn toàn một trung kế lưu lượng khỏi mạng và thu hồi tất cả các tài nguyên đã cấp phát cho nó. Các tài nguyên có thể bao gồm nhãn và băng thông khả dụng. Trên đây là những hoạt động cơ bản của trung kế lưu lượng, ngoài ra còn có các hoạt đông khác như thiết lập kiểm soát hay định dạng lưu lượng. Thuộc tính tham số lưu lượng (Traffic Parameter) Thuộc tính tham số lưu lượng đặc tả băng thông đòi hỏi bởi trung kế lưu lượng cùng với các đặc trưng lưu lượng khác như tốc độ đỉnh, tốc độ trung bình, kích thước bùng phát cho phép, v.v… Dưới góc độ kỹ thuật lưu lượng, các tham số lưu lượng rất quan trọng vì chúng chỉ thị các yêu cầu về tài nguyên của trung kế lưu lượng. Thuộc tính lựa chọn và quản lý đường (chính sách chọn đường) Là các tiêu chuẩn lựa chọn và duy trì đường dẫn cho trung kế lưu lượng. Con đường thực sự được chọn xuyên qua mạng có thể được cấu hình tĩnh bởi nhà điều hành hoặc được gán động do mạng dựa vào các thông tin từ IGP (như IS-IS hoặc OSPF). Các thuộc tính cơ bản và các dặc trưng hành vi liên quan đến chọn đường và quản lỹ đường cho trung kế lưu lượng được mô tả như sau đây: Đường tường minh đặc tả quản trị Đường tường minh đặc tả quản trị cho một trung kế lưu lượng được cấu hình bởi nhà điều hành. Một đường gọi là đặc tả toàn bộ nếu chỉ ra các hop yêu cầu giữa hai endpoint. Đặc tả một phần là nếu chỉ có một tập hợp con các hop trung gian được chỉ thị. Thuộc tính “path preference rule” là một biến nhị phân chỉ thị đường tường minh được cấu hình là bắt buộc hay không bắt buộc. Phân cấp các luật ưu tiên cho đa đường Trong 1 số hoàn cảnh thực tế, khả năng chỉ định một tập hợp các đường tường minh đề cử cho 1 trung kế lưu lượng và định nghĩa phân cấp các quan hệ ưu tiên giữa các đường. Khi thiết lập đường, các luật ưu tiên được áp dụng để chọn ra đường thích hợp từ danh sách đề cử. Trong các tình huống sự cố thì các luật ưu tiên này cũng được dùng để chọn một đường thay thế từ danh sách đề cử. Thuộc tính Affinity lớp tài nguyên (Resource Class Affinity) Thuộc tính này cho phép operator áp đặt các chính sách chọn đường bằng việc bao gồm hay loại trừ một số liên kết nào đó. Mỗi liên kết được gán một thuộc tính lớp tài nguyên (Resource-Class). Thuộc tình Affinity lớp tài nguyên có dạng chuỗi bit như sau: Affinity(32-bit), Mask(32-bit) Mặt nạ lớp tài nguyên chỉ thị các bit trong lớp tài nguyên cần được kiểm tra. Liên kết được bao hàm khi chọn đường nếu chuỗi Affinity trùng với Resource-Class sau khi cùng thực hiện phép AND với mặt nạ. Giá trị default của mặt nạ là 0x0000FFFF. Thuộc tính thích ứng (Adaptivity) Trong nhiều tình huống cần thiết phải thay đổi động các đường dẫn của trung kế lưu lượng để đáp ứng với việc thay đổi trạng thái mạng (chủ yếu thay đổi tài nguyên khả dụng). Quá trình này được gọi là tái tối ưu hoá (re-optimization). Thuộc tính thích ứng cho biết một trung kế lưu lượng được phép tái tối ưu hoá hay không. Nếu tái tối ưu hoá bị cấm thì trung kế lưu lượng coi như được “ghim” vào đường đã thiết lập của nó và không thể tái định tuyến (re-route) khi có thay đổi trạng thái mạng. Phân phối tải qua nhiều trung kế song song Khi lưu lượng thu gom giữa hai nút quá lớn không thể tải hết trên một đường, MPLS có thể tạo ra nhiều trung kế lưu lượng gữa hai nút sao cho mỗi trung kế chuyển một phần của lưu lượng thu gom. Khi đó cần có một số thuộc tính cho biết tỉ lệ tương đối của lưu lượng được mang bởi mỗi trung kế. Các giao thức bên dưới sẽ ánh xạ tải lên các trung kế lưu lượng theo các tỉ lệ được cho. Thuộc tính ưu tiên / lấn chiếm (Priorty/Preemption) Thuộc tính ưu tiên có 8 mức (giảm dần từ 0 đến 7) xác định thứ tự thực hiện chọn đường cho các trung kế lưu lượng. Độ ưu tiên cũng rất quan trọng khi triển khai cơ chế lấn chiếm (preemption) vì nó có ảnh hưởng đến thứ tự thiên vị. Mỗi trung kế lưu lượng được gán một giá trị ưu tiên thiết lập (setup priority) và một giá trị ưu tiên cầm giữ (holding priority). Khi thiết lập một trung kế mới hoặc tái định tuyến, một trung kế có độ ưu tiên thiết lập cao sẽ chèn lấn một trung kế khác có độ ưu tiên cầm giữ thấp hơn “bật” ra khỏi đường nếu chúng cạnh tranh tài nguyên. Ngược lại, việc thiết lập một trung kế mới có thể thất bại nếu băng thông mà nó yêu cầu đang bị chiếm giữ bởi các trung kế khác có độ ưu tiên cầm giữ cao hơn. Thuộc tính đàn hồi (Resilience) Thuộc tính đàn hồi xác định hành vi của trung kế lưu lượng trong tình huống xảy ra sự cố theo các cơ chế sau: Không tái định tuyến trung kế lưu lượng. Tái định tuyến qua một đường khả thi có đủ tài nguyên. Tái định tuyến qua đường khả dụng bất kỳ bất chấp các ràng buộc tài nguyên. Tổng hợp của các cơ chế nói trên. Thuộc tính chính sách (Policing) Thuộc tính chính sách xác định nhữnh hoạt động được thực hiện khi một trung kế lưu lượng không tuân thủ mức dịch vụ đã đặc tả ở các tham só lưu lượng. Nó cho biết cách xử lý đối tượng với lượng traffic vượt mức dịch vụ (ví dụ huỷ gói hay truyến theo kiểu best-effort). Nói chung, nên luôn luôn khống chế ở lối vào của mạng để cưỡng bức tuân thủ các hợp đồng mức dịch vụ và giảm thiểu việc khống chế bên trong lõi mạng. Các thuộc tính tài nguyên Bộ phân bổ lớn nhất Bộ phân bổ tài nguyên lớn nhất (MAM) là thuộc tính quản lý được thiết lập để xác định phần tài nguyên khả dụng phân bổ cho trung kế lưu lượng. Thuộc tính này chủ yếu áp dụng cho băng thông của kênh. Tuy nhiên, nó có thể áp dụng để phân bổ bộ đệm trong LSR. Nguyên tắc của MAM cũng tương tự như nguyên tắc đăng ký đối với mạng ATM hay Frame relay. Giá trị MAM được chọn sao cho tài nguyên có thể được phân bổ thiếu hay thừa. Tài nguyên được coi là phân bổ thiếu (thừa) nếu tổng nhu cầu của tất cả các trung kế lưu lượng (được thể hiện trong các tham số trung kế lưu lượng) phân bổ cho các trung kế lưu lượng luôn luôn thấp hơn (vượt quá) dung lượng của tài nguyên. Lớp tài nguyên (Resource-Class) Thuộc tính lớp tài nguyên là tham số được gán bởi nhà quản trị mạng để thông báo “lớp” tài nguyên. Thuộc tính này được xem như là một lớp “màu” đánh dấu trên tài nguyên thể hiện một phần tài nguyên cùng màu thuộc về cùng một lớp. Thuộc tính này sử dụng cho các mục đích sau: Áp dụng một chính sách cho một phần tài nguyên mặc dù không cùng một topo mạng. Xác định quyền ưu tiên tương đối cho một bộ phận tài nguyên gắn cho trung kế lưu lượng. Hạn chế việc gán một phần tài nguyên nhất định cho trung kế lưu lượng. Triển khai các kỹ thuật kiểm soát thêm/bớt chung. Ngoài ra, thuộc tính lớp lưu lượng có thể được sử dụng cho mục đích nhận dạng. Thuộc tính lớp tài nguyên của một liên kết là một chuỗi 32 bit được dùng kết hợp với thuộc tính Affinity của trung kế lưu lượng để bao gồm hai loại trừ các liên kết nào đó trên đường của trung kế. hình dưới đây là một ví dụ Affinity và lớp tài nguyên 4 bit để tránh một liên kết được đặc tả. Hình 3-6: Minh hoạ cách dùng bit Affinity và Resource-Class TE Metric Mỗi liên kết có một cost để tính toán định tuyến trong hoạt động của IGP. TE metric là một trọng số quản trị được gán cho các liên kết tính toán LSP cho các trung kế lưu lượng. Giá trị TE metric mặc định là bằng IGP cost của liên kết. Router đầu nguồn (head-end) sử dụng các TE metric để định tuyến ràng buộc. Triển khai định tuyến cững bức MPLS Đối với các mạng Frame Relay hay ATM, bản thân các thiết bị trong mạng đã phần nào hỗ trợ cho định tuyến cưỡng bức. Khi triển khai MPLS các thiết bị này sẽ tương đối dễ dàng nâng cấp để thoả mãn một số yêu cầu riêng của định tuyến cưỡng bức MPLS. Đối với các bộ định tuyến sử dụng giao thức IGP điều khiển từng chặng theo topo, định tuyến cưỡng bức có thể được thực hiện theo một trong hai cách sau: Mở rộng giao thức IGP như OSPF và IS-IS để hỗ trợ định tuyến cưỡng bức. Đang có rất nhiều cố gắng trong việc mở rộng sang OSPF. Bổ sung các tiến trình định tuyến cưỡng bức vào các bộ định tuyến để cùng tồn tại với IGP hiện thời. Định tuyến cưỡng bức hỗ trợ rất nhiều cho việc tự động tìm kiếm các đường khả thi thoả mãn toàn bộ các ràng buộc của trung kế lưu lượng. Nó sẽ làm giảm đáng kể việc cấu hình, can thiệp nhân công vào các đường hiện để đảm bảo c ác mục tiêu của quản lý lưu lượng. Tính toán đường ràng buộc Quảng bá các thuộc tính của các liên kết Bộ định tuyến đầu nguồn của một trung kế phải nắm được thông tin thuộc tính tài nguyên của tất cả các liên kết trong mạng để tính toán đường LSP. Điều này chỉ có thể đạt được bằng cách sử dụng các giao thức định tuyến Link-State (như IS-IS hay OSPF) vì chỉ có kiểu giao thức này mới quảng bá thông tin về tất cả các liên kết đến tất cả các bộ định tuyến. Vì vậy, OSPF và IS-IS được mở rộng để hỗ trợ MPLS-TE: IS-IS có các đường Type-Length-Value mới (kiểu 22 TLV) để đính kèm các thông tin này trong các thông cáo PDU Link-State của nó. OSPF có định nghĩa thông cáo Link-State mới (kiểu 10 LSA). Một khi bộ định tuyến đầu nguồn nhận được các thông cáo này thì không chỉ biết được topology mạng mà còn biết được các thông tin tài nguyên khả dụng của từng liên kết. Điều này rất cần thiết để tính toán các đường thoả mãn các đòi hỏi của trung kế lưu lượng. Hình 3-7: Băng thông khả dụng ứng với từng mức ưu tiên Các giao thức IGP sẽ quảng bá các thuộc tính tài nguyên khi dưới các điều kiện hoặc sự kiện nào đó như: Khi liên kết thay đổi trạng thái (ví dụ up, down…) Khi lớp tài nguyên của liên kết thay đổi do tái cấu hình nhân công hoặc trong trường hợp băng thông khả dụng biến động qua các mức ngưỡng đặt trước. Theo định kỳ (dựa vào bộ định thời), bộ định tuyến sẽ kiểm tra các thuộc tính tài nguyên và quảng bá cập nhật thông tin. Khi tham gia thiết lập đường LSP nhưng thất bại. Tính toán LSP ràng buộc (CR-LSP) LSP cho một trung kế lưu lượng có thể được khai báo tĩnh hoặc tính toán động. Việc tính toán sẽ xem xét các tài nguyên khả dụng, các thuộc tính liên kết và cả các trung kế khác (vì vậy được gọi là tính toán đường ràng buộc). Kết quả của việc tính toán này là tìm ra một chuỗi địa chỉ IP đại diện cho các hop trên đường LSP giữa đầu nguồn và đầu đích của trung kế lưu lượng. Sau đó, thực hiện báo hiệu LSP và hoàn thành việc thiết lập đường bằng các giao thức báo hiệu cho MPLS như RSVP-TE. Tiến trình tính toán đường ràng buộc luôn luôn được thực hiện tại đầu nguồn trung kế lưu lượng và được kích hoạt do: Một trung kế mới xuất hiện Một trung kế đang tồn tại nhưng thiết lập LSP thất bại Tái tối ưu hoá một trung kế đang tồn tại. Giải thuật chọn đường Việc chọn đường cho một trung kế lưu lượng sử dụng trọng số quản trị (TE cost) của mỗi liên kết riêng biệt. Trọng số quản trị này mặc nhiên là bằng metric IGP của liên kết. Giải thuật chọn đường ràng buộc theo các bước sau: Cắt bỏ các liên kết có lớp tài nguyên bị loại do phép tính Affinity ra khỏi topology. Cắt bỏ các liên kết không có đủ băng thông dự trữ theo yêu cầu của trung kế. Chạy giải thuật Dijktra để tìm ra đường có tổng TE-cost nhỏ nhất trên phần topology còn lại. Sau khi thực hiện các bước trên mà vẫn còn nhiều đường ứng cử cho LSP (nhiều đường có cùng tổng TE metric) thì tiêu chuẩn thứ tự lựa chọn như sau: Đường có băng thông tối thiểu cao nhất Đường có số hop nhỏ nhất Chọn lựa ngẫu nhiên Khi đường LSP được tính xong, RSVP được dùng để dành trước băng thông thực sự, để phân phối các nhãn cho đường và hoàn thành việc thiết lập đường LSP. Ví dụ về chọn đường cho trung kế lưu lượng Xét ví dụ chọn đường LSP cho một trung kế lưu lượng (tunnel) thiết lập giữa R1 (đầu nguồn) và R6 (đầu đích). Yêu cầu của trung kế lưu lượng như sau: Băng thông đòi hỏi ở mức ưu tiên 3 là 30 Mbps Các bit Affinity lớp tài nguyên là 0010 với mặt nạ là 0011, tức là chỉ thực hiện kiểm tra trên hai bit thấp. Liên kết R4-R3 cần được loại khỏi đường LSP, do vậy chuỗi bit resource-class của nó được đặt là 0011. Khi các bit Affinity lớp tài nguyên của trung kế lưu lượng được so sánh với các bit resource-class là không trùng nên liên kết R4-R3 bị loại (hình 3-8). Hình 3-8: Xem xét các ràng buộc khống chế Tham số tiếp theo được kiểm tra trong quá trình tính toán đường ràng buộc là TE cost (trọng số quản trị) của mỗi liên kết mà đường hầm khả năng đi qua. Nếu không xét tài nguyên thì đường R1-R4-R6 có tổng cost thấp nhất là 30. Tất cả các đường khả thi khác đều có tổng cao hơn. Khi tài nguyên được đưa vào tính toán, thấy rằng trên đường ngắn nhất không có đủ băng thông thoả mãn các dòi hỏi của trung kế lưu lượng (đòi hỏi 30 Mbps trong khi chỉ có 20 Mbps khả dụng). Kết quả là liên kết R4-R6 cũng bị loại khỏi phép tính đường LSP. Hình 3-9: Xem xét tài nguyên khả dụng Sau khi loại bỏ các liên kết không thoả mãn các đòi hỏi của trung kế lưu lượng, kết quả có 2 đường LSP là: R1-R2-R3-R6 và R1-R5-R6. Cả hai đường đếu có tổng cost là 40, để chọn một đường phải giải quyết bằng luật “tie-break”. Hình 3-10: Chọn đường tốt nhất Trước tiên, băng thông tối thiểu trên đường được so sánh. Sau khi so sánh, vẫn còn cả hai đường vì chúng đều cung cấp ít nhất 50 Mbps băng thông. Tiếp theo, luật số hop nhỏ nhất trên đường LSP được áp dụng. Vì đường R1-R5-R6 có hop-count nhỏ hơn nên cuối cùng nó được chọn và quá trình tính toán ràng buộc kết thúc. Tái tối ưu hoá Các đặc trưng và trạng thái mạng biến động theo thời gian. Ví dụ, các tài nguyên mới trở nên khả dụng, các tài nguyên bị lỗi được tái kích hoạt, các tài nguyên đã cấp phát được thu hồi lại. Do vậy, các đường của trung kế lưu lượng đã thiết lập tối ưu trước đó có thể không còn tối ưu nữa. Để duy trì mạng luôn luôn ở trạng thái tối ưu nhất, các trung kế lưu lượng phải được tối ưu hóa (re-optimization) Tái tối ưu hoá được thực hiện theo chu kỳ. Sau những khoảng thời gian nhất định, MPLS-TE thực hiện kiểm tra đường tối ưu nhất cho các đường hầm LSP. Nếu xuất hiện đường cho LSP tốt hơn đường hiện dùng thì: Trước tiên, router đầu nguồn cố gắng báo hiệu thiết lậpLSP mới tốt hơn. Nếu thành công, thay thế đường LSP cũ bằng đường LSP mới tốt hơn. Tái tối ưu hoá phải không được gây ra sai hỏng dịch vụ. Để thực hiện điều này, đường LSP hiện có phải được duy trì cho đến khi LSP mới được thiết lập xong và chuyển trung kế lưu lượng tùe đường cũ sang đường mới. Sau đó, đường LSP cũ mới được giải thoát. Khái niệm này gọi là “ make before break” Bảo vệ khôi phục đường Các cơ chế bảo vệ và khôi phục đường trong MPLS cung cấp một dịch vụ tin cậy cho việc chuyển tải lưu lượng trong mạng MPLS và tái định tuyến lưu lượng qua một đường chuyển mạch nhãn LSP. Trong phần này, ta có một vài khái niệm sau: Đường làm việc: Là đường chuyển tải trung kế lưu lượng trước khi xảy ra lỗi. Đây là đường được bảo vệ bởi cơ chế khôi phục. Đường khôi phục: Là đường mà trung kế lưu lượng sẽ được tái định tuyến sau khi xảy ra lỗi, được thiết lập để bảo vệ cho đường làm việc. PSL (Path Switch LSR): Là LSR đứng trước vị trí lỗi trên đường làm việc chịu trách nhiệm chuyển mạch hoặc tái tạo lưu lượng sang đường khôi phục. PML (Path Merge LSR): Là LSR chịu trách nhiệm nhận lưu lượng trên đường khôi phục, và sẽ: hoặc hợp nhất lưu lượng trở về đường làm việc, hoặc chuyển lưu lượng ra khỏi miền MPLS nếu bản thân nó là đích. POR (Point of Repair): POR là một LSR chịu trách nhiệm sửa chữa một LSP, nó có thể là một PSL hoặc PMLtuỳ theo cơ chế nào được dùng. FIS (Fault Indication Signal): Là bản tin chỉ thị có lỗi xảy ra trên đường, được chuyển tiếp bởi các LSR trung gian cho tới khi nó đến được POR. FIS được phát đi theo chu kỳ bởi các nút cận kề vị trí lỗi. FRS (Fault Recovery Signal): là bản tin chỉ thị một lỗi trên đường làm việc đã sửa chữa xong. FRS được chuyển tiếp cho tới khi nó đến được một LSR đảm nhận việc chuyển trả lại đường nguyên thuỷ. Phân loại các cơ chế bảo vệ khôi phục Sửa chữa toàn cục và sửa chữa cục bộ Sửa chữa toàn cục là bảo vệ khi có sự cố ở bất kỳ vị trí nào trên đường làm việc. Điểm sửa chữa POR (ở đây chính là ingress-LSR) thường cách xa vị trí lỗi và cần được thông báo bằng tín hiệu FIS. Việc khôi phục đường là end-to-end, trong đó đường làm việc và đường bảo vệ tách rời nhau (disjoint) hoàn toàn. Sửa chữa cục bộ cũng nhằm bảo vệ khi có sự cố liên kết hoặc nút nhưng khôi phục nhanh hơn do việc sửa chữa được thực hiện cục bộ tại thiết bị phát hiện sự cố. Nút nằm kề trực tiếp trước vị trí lỗi sẽ đóng vai trò là PSL khởi tạo công tác khôi phục. Sửa chữa cục bộ có thể thiết lập theo hai trường hợp: Khôi phục liên kết: để bảo vệ một liên kết trên đường làm việc. Nếu một lỗi xảy ra trên liên kết này thì đường khôi phục sẽ nối liền giữa PSL và PML ở hai đầu liên kết lỗi đường khôi phục sẽ nối liền giữa PSL và PML ở hai đầu liên kết lỗi. Đường khôi phục và đường làm việc tách rời nhau đối với liên kết được bảo vệ. Khôi phục nút: để bảo vệ một nút trên đường làm việc. Đường khôi phục và đường làm việc phải tách rời nhau đối với nút bảo vệ và các liên kết có nối vào nút này. PML có thể là nút trên đường làm việc nằm kề sau nút được bảo vệ, hoặc PML là egress-LSR. Tái định tuyến và chuyển mạch bảo vệ Đối với khôi phục bằng tái định tuyến (re-route), đường khôi phục được thiết lập theo yêu cầu sau khi xảy ra sự cố. Khi phát hiện sự cố trên đường làm việc, một LSR đứng trước vị trí lỗi có vai trò là POR mới bắt đầu báo hiệu một đường khôi phục đi vòng qua điểm lỗi và nối (merge) vào một nút nào đó nằm sau điểm lỗi trên đường làm việc. Đường khôi phục này có thể được tính toán sẵn trước hoặc tính toán sau khi phát hiện sự cố. Khi đường khôi phục được thiết lập xong, PSL bắt đầu chuyển lưu lượng trên đường này. Trong chuyển mạch bảo vệ thì đường khôi phục được tính toán và thiết lập trước khi xảy ra sự cố trên đường làm việc. PSL được cấu hình để chuyển mạch lưu lượng sang đường khôi phục ngay khi nó biết có lỗi trên đường làm việc (trực tiếp phát hiện lỗi hoặc nhờ nhận được FIS). Vì đường khôi phục đã thiết lập trước nên chuyển mạch bảo vệ nhanh hơn so với khôi phục bằng tái định tuyến. Mô hình Makam Đây là mô hình khôi phục MPLS đầu tiên được đề xuất. Nó cung cấp bảo vệ toàn cục cho một LSP bằng cách thiết lập đường khôi phục giữa ingress-LSR và egress-LSR. Đường làm việc và khôi phục tách rời nhau (disjoint) cả về liên kết và nút. Khi phát hiện lỗi ở bất kỳ vị trí nào trên đường làm việc, tín hiệu FIS được dùng để chuyển thông báo lỗi về cho ingress-LSR (là PSL). Ingress-LSR sẽ thực hiện chuyển mạch lưu lượng sang đường khôi phục. Mô hình này hỗ trợ cả đường khôi phục thiết lập sẵn (chuyển mạch bảo vệ) và đường khôi phục thiết lập động (tái định tuyến). Hình 3-11: Mô hình đường Makam Ưu điểm: Chỉ cần một đường dự phòng cho mọi sự cố trên đường làm việc và chỉ cần một LSR có chức năng làm PSL. Nhược điểm: Mô hình này có một khoảng thời gian trễ để tín hiệu FIS truyền ngược tới PSL. Trong thời gian này, lưu lượng trên đường làm việc bị mất. Mô hình Haskin (Reverse Backup) Mô hình này khắc phục nhược điểm mất gói ở mo hình Makam. Ngay khi một LSR phát hiện sự cố trên đường làm việc, nó chuyển hường lưu lượng đến trên đường làm việc sang một đường dự phòng đảo đi ngược về PSL. Khi quay trở về đến PSL, lưu lượng được chuyển sang đường khôi phục toàn cục. Đường dự phòng đảo ngược và đường khôi phục phải thiết lập sẵn nên cách này tốn kém tài nguyên. Hình 3-12: Mô hình đường Haskin Một cải tiến khác cho phép PSL chuyển trực tiếp lưu lượng sang đường khôi phục toàn cục ngay khi nó thấy đường dự phòng đảo được dùng. Các gói đầu tiên trong phần lưu lượng được đảo ngược chiều có tác dụng như tín hiệu FIS. Cách này tối ưu hơn vì đường đi của lưu lượng được bảo vệ ngắn hơn. Tuy nhiên trong thờ gian đầu, lưu lượng mới chuyển đi trên đường khôi phục sẽ trộn lẫn với phần lưu lượng được đảo chiều làm thay đổi thứ tự gói ban đầu. Mô hình Hundessa Mô hình Hundessa giống như mô hình Haskin cải tiến nhưng khắc phục được vấn đề xáo trộn thứ tự gói. Khi gói đầu tiên quay trở về PSL trên đường dự phòng đảo có tác dụng như tín hiệu FIS báo cho PSL biết đã có lỗi. PSL đánh dấu gói cuối cùng truyền ra đường làm việc (đang có lỗi) bằng cách đặt một bit trong đường ẼP của nhãn, sau đó ngưng đẩy gói ra đường lỗi. Khi gói được đánh dấu quay trở về PSL trên đường đảo, PSL mới tiếp tục chuyển các gói mới trực tiếp ra đường khôi phục. Mô hình Shortest-Dynamic Trong mô hình này chỉ có đường làm việc được thiết lập. Khi một nút phát hiện sự cố liên kết thì nó phải tính toán rồi báo hiệu thiết lập một đường hầm LSP ngắn nhất đi từ nó đến nút ở phía bên kia liên kết bị sự cố và sau đó chuyển mạch lưu lượng (bằng cách xếp chồng nhãn để “luồn” đường làm việc chui qua đường hầm tránh lỗ này). Hình 3-13: Mô hình Shortest-Dynamic Mô hình Simple-Dynamic Giống như Shortest-Dynamic, cơ chế này cũng là một cơ chế cục bộ. Nút phát hiện sự cố liên kết sẽ chuyển mạch lưu lượng. Sự khác nhau giữa hai cơ chế này là nút cuối cùng của đường làm việc phải là PML. Sau đó, đường khôi phục sẽ là từ nút phát hiện sự cố đến nút PML. Trong trường hợp này không tính toán trước đường LSP khôi phục. Hình 3-14: Mô hình Simple-Dynamic Mô hình Simple-Static Ý tưởng này là giống cơ chế Simple-Dynamic, nhưng với đường khôi phục đã được tính toán trước khi xảy ra lỗi. Phát hiện và phòng ngừa định tuyến vòng Khả năng phát hiện và phòng ngừa hiện tượng định tuyến vòng là một khả khả năng rất quan trọng của MPLS cần lưu ý triển khai. Chuyển tiếp vòng trong mạng IP xảy ra khi một bộ định tuyến chuyển tiếp gói tin trên tuyến không tới đúng đích cần thiết do thông tin trong bảng định tuyến sai. Hiện tượng này có thể xảy ra khi sử dụng giao thức định tuyến động hoặc do cấu hình các bộ định tuyến bị lỗi (làm cho một bộ định tuyến chuyển tiếp các gói tin đến một bộ định tuyến khác không phải là nút tiếp theo để đến đích cần đến). Đối với MPLS, chúng ta phải cân nhắc đến cả hai mảng điều khiển (thông tin điều khiển) lẫn mảng dữ liệu và làm cách nào để ngăn ngừa chuyển tiếp vòng trong mạng đường trục hoạt động ở chế độ khung cũng như chế độ tế bào. Chế độ khung. Như chúng ta đã biết, nhãn được gán cho các FEC khu MPLS hoạt động ở chế độ khung. Ứng với chế độ này, các nhãn được gán cho các FEC có trong bảng định tuyến của LSR. Với việc gán nhãn này, ta có thể thiết lập được các tuyến chuyển mạch nhãn (LSP) trong mạng MPLS. Việc gán nhãn này cũng là cơ sở để LSR phát hiện và ngăn ngừa chuyển tiếp vòng. Hình 3-15: Ví dụ về cơ chế phát hiện dựa trên trường TTL trong mạng IP Phát hiện chuyển tiếp vòng dữ liệu Trong mạng IP thuần, chuyển mạch vòng có thể được phát hiện dựa vào việc kiểm tra trường TTL, trong các gói IP đến. Tại mỗi bộ định tuyến, giá trị của trường TTL này sẽ giảm đi một đơn vị và nếu giá trị trường này bằng 0 thì gói tin sẽ không được chuyển tiếp nữa và chuyển tiếp vòng sẽ dừng lại. Hình 3-15 minh hoạ cho cơ chế sử dụng trường TTL trong việc phát hiện chuyển tiếp vòng. Như chúng ta nhận thấy trên hình, một vòng được hình thành giữa hai bộ định tuyến ví dụ nằm ở thành phố B và thành phố C. Vì trước khi chuyển tiếp gói tin, mỗi bộ định tuyến sẽ giảm trường TTL đi 1 đơn vị, và cuối cùng việc chuyển tiêp vòng cũng được bộ định tuyến ở thành phố C phát hiện vì tới đây giá trị trường TTL bằng 0. Cơ chế tương tự cũng được sử dụng trong việc truyền dữ liệu khi MPLS hoạt động ở chế độ khung, trong đó mỗi LSR khi chuyển tiếp một khung MPLS dọc theo một LSP sẽ giảm giá trị trường TTL trong mào đầu MPLS đi 1 đơn vị và sẽ dừng việc chuyển tiếp khi giá trị trường TTL của khung tin bằng 0. Lưu ý: Cơ chế này cũng được sử dụng với giao diện ATM trong đó MPLS không hoạt động trực tiếp trên các chuyển mạch ATM. Vì các PVC qua các giao diẹn này được coi là các nút mạng mặc dù nó có thể đi qua nhiều chuyển mạch ATM. Ngăn ngừa chuyển tiếp vòng dữ liệu điều khiển. Việc phát hiện chuyển tiếp vòng là một chức năng rất quan trọng. Tuy nhiên các LSR phải có khả năng ngăn ngừa hiện tượng chuyển tiếp vòng được thực hiện đối với dữ liệu điều khiển vì các LSP được tạo ra dựa trên các thông tin này. Trong mạng IP thuần ngăn ngừa chuyển tiếp vòng là nhiệm vụ của giao thức định tuyến nội vùng (IRP). Khi MPLS hoạt động ở chế độ khung, các LSR sử dụng chung một giao thức định tuyến để xây dựng bảng định tuyến,vì vậy thông tin sử dụng để thiết lập các LSP trong mạng MPLS cũng tương tự như mạng IP chuẩn. Do đó đối với MPLS hoạt động ở chế độ khung, cơ chế sử dụng giao thức định tuyến để đảm bảo nội dung bàng định tuyến của LSR không xảy ra chuyển tiếp vòng giống hệt so với cơ chế sử dụng trong mạng thuần IP. Chế độ tế bào. Khi triển khai MPLS qua các tổng đài ATM và các bộ định tuyế sử dụng giao diện LC-ATM, cơ chế sử dụng để phát hiện và ngăn ngừa chuyển tiếp vòng được sử dụng sẽ khai thác trong môi trường MPLS hoạt động ở chế độ khung như đã trình bày ở trên. Vì sẽ không tồn tại khái niệm TTL trong phần mào đầu của tế bào ATM, thay vào đó người ta sử dụng cấp phát và phân phối nhãn. Vì vậy phải có một cơ chế mới để phát hiện và ngăn ngừa chuyển tiếp vòng khi MPLS hoạt động trong môi trường ATM. Để có thể hiểu rõ việc phát hiện và ngăn ngừa chuyển tiếp vòng được thực hiện như thế nào trong môi trường ATM, chúng ta hãy xét quá trình trao đổi thông tin điều khiển vả dữ liệu thông thường của MPLS xem chúng khác gì so với chế độ khung. Phát hiện/ ngăn ngừa chuyển tiếp vòng thông tin điều khiển Như chúng ta đã biết MPLS hoạt động ở chế độ tế bào khi nó được triển khai trên các giao diện LS-ATM và các tổng đài ATM. Khi đó thông tin điều khiển sẽ được trao đổi dựa trên thủ tục phân phối nhãn theo nhu cầu trên luồng tín hiệu hướng về với thứ tự các nhãn được cấp phát theo ngầm định. Điều đó có nghĩa là việc cấp phát và phân phối nhãn được thực hiện dựa trên yêu cầu chứ ko phải dựa trên FEC hiện thời trong bàng định tuyến của ATM-LSR. Chúng ta cũng biết rằng việc cấp phát nhãn cho FEC không phụ thuộc vào việc nó đã nhận được nhãn chuyển đổi trên luồng về từ ATM-LSR đầu kia. Ở đây cũng có thể sử dụng bản tin yêu cầu nhãn gửi trên lồông hướng về để yêu cầu một nhãn chuyển đổi cho một FEC. Điểm khác biệt cơ bản giữa hai phương pháp đó là: khi sử dụng chế độ điều khiển độc lập, LSR sẽ trả lời một nhãn chuyển đổi ngay lập tức cho phía gửi bản tin yêu cầu nhãn; trong khi đó nếu sử dụng chế độ điều khiển trình tự thì ATM-LSR chờ nhận được một nhãn chuyển đổi trên luồng về sau đó mới cấp phát và gửi nhãn chuyển đổi của nó cho phía yêu cầu nhãn. Kết quả của hai phương pháp này là mặc dù ATM-LSR dựa trên giao thức định tuyến nội vùng (IRP) để xây dựng bảng định tuyến của nó, tuy nhiên nó còn phải dựa vào cơ chế trao đổi bảo hiệu để tạo một LSP ứng với một FEC cụ thể. Ví dụ trên hình 3-16 minh hoạ cho cơ chế phân phối và cấp phát nhãn trong trường hợp điều khiển trình tự. Hình 3-16: Nhu cầu trên luồng hướng về và chế độ điều khiển trình tự Như chúng ta thấy ở hình 3-16, khi ATM-LSR biên ở A muốn thiết lập một LSP tới FEC có địa chỉ 195.12.2.0/24, nó kiểm tra trong bảng định tuyến của nó để tìm ra nút tiếp theo cho FEC. Sau khi xác định được nút tiếp theo, căn cứ vào thông tin về LDP/TDP nó tìm ra LDP/TDP mà nút tiếp theo nằm trên nó. Sau đó ATM-LSR biên ở A gửi bản tin yêu cầu nhãn tới nút tiếp theo cho luồng hướng về (ví dụ như ATM-LSR biên B). Bản tin yêu cầu nhãn này được truyền trong mạng MPLS từ nút này tới nút khác, cuối cùng tới ATM-LSR là công ra của FEC địa chỉ 195.12.2.0/24 (trong ví dụ trên hình là ATM-LSR C). ATM-LSR C gửi một bản tin chuyển đổi nhãn luồng hướng đi để đáp lại bản tin yêu cầu nhãn và bản tin này sẽ được truyền ngược trở lại trên LSP cho đến khi nó tới ATM-LSR là cổng vào của FEC (ở đây là ATM-LSR A). Khi quá trình này kết thúc, LSP đã sẵn sàng để truyền dữ liệu. Phương pháp này hoạt động rất có hiệu quả trừ khi các bản tin yêu cầu nhãn hoặc chuyển đổi nhãn được chuyển tiếp giữa các ATM-LSR dựa trên các thông tin định tuyến không chính xác. Tình trạng này xảy ra giống với trường hợp sử dụng TTL được trình bày trước đây và tạo nên một chuyển tiếp vòng các thông tin điều khiển. Tất nhiên hiện tượng này phải đượng ngăn ngừa bằng cách sử dụng cơ chế bổ sung. Lưu ý: Hiện tượng chuyển tiếp vòng thông tin điều khiển chỉ xảy ra khi sử dụng các ATM-LSR không có khả năng hợp nhất. Đó là vì một ATM-LSR sẽ trở thành ATM-LSR hợp nhất khi phải hợp nhất ít nhất hai ATM-LSR trong một FEC và nó được đặt cấu hình là hỗ trợ VC hợp nhất. Cơ chế bổ sung hoạt động dựa trên việc sử dụng bộ đếm nút mạng TLV trong đó có chứa số lượng các ATM-LSR mà các bản tin yêu cầu nhãn và chuyển đổi nhãn đã đi qua. Khi một ATM-LSR nhận được một bản tin yêu cầu nhãn và nếu như nó không phải là ATM-LSR cổng ra của FEC hoặc nó không có nhãn của FEC thì ATM-LSR đó sẽ khởi tạo một bản tin yêu cầu nhãn và gửi nó tới nút ATM-LSR tiếp theo. Nút ATM-LSR tiếp theo này được xác định dựa vào bảng định tuyến. Nếu như bản tin yêu cầu nhãn khởi đầu có chứa bộ đếm nút mạng TLV thì khi ATM-LSR truyền đi bản tin yêu cầu nhãn của nó cũng sẽ chứa trường này nhưng bộ đếm nút mạng đã được tăng lên 1 đơn vị. Nó ngược so với việc sử dụng TTL trong đó mỗi khi qua một nút mạng TTL lại giảm đi một đơn vị. Khi ATM-LSR nhận được một bản tin chuyển đổi nhãn, nếu như bản tin này có chứa bộ đếm nút mạng TLV thì bộ đếm này cũng được tăng lên 1 đơn vị khi bản tin chuyển đổi nhãn được gửi tới nút tiếp theo. Khi một ATM-LSR phát hiện thấy bộ đếm nút mạng đã đạt đến giá trị lớn nhất cho phép (là 254 đối với các thiết bị của Cisco), thì nó coi như bản tin đó đã được chuyển tiếp vòng. Khi đó nó sẽ gửi đi bản tin “thông báo phát hiện chuyển tiếp vòng” ngược trở lại phía gửi bản tin yêu cầu nhãn hoặc bản tin chuyển đổi nhãn.Cơ chế này cho phép phát hiện và ngăn ngừa chuyển tiếp vòng. Quá trình này được minh hoạ trên hình Hình 3-17: Cơ chế xử lý bộ đếm nút mạng TLV Một trong những hạn chế của bộ đếm nút mạng để phát hiện chuyển tiếp vòng là thời gian phát hiện chuyển tiếp vòng có thể lớn vì giá trị bộ đếm phải đạt giá trị 254 thì chuyển tiếp vòng mới được phát hiện. Lưu ý: Giá trị lớn nhất ngầm định của bộ đếm nút mạng đối với các thiết bị của Cisco là 254. Tuy nhiên chúng ta có thể giảm giá trị này xuống và do đó giảm thời gian cần thiết để phát hiện chuyển tiếp vòng đối với thông tin điều khiển. Với mục đích này trong tài liệu draft-ietf-mpls-ldp của tổ chức IETF người ta đã đưa ra khái niệm véctơ đường (path-vector) và cơ chế sử dụng các giá trị TLV khác nhau đối với từng véctơ đường để phát hiện chuyển tiếp vòng các bản tin đối với từng hướng cụ thể. Cơ chế này cũng giống như cách thức mà BGP-4 sử dụng để phát hiện chuyển tiếp vòng trong các AS-PATH. Tuy nhiên, đối với MPLS người ta sử dụng bộ nhận dạng LSR. Ở đây ATM-LSR sẽ chèn giá trị bộ nhận dạng LSR của nó vào danh sách các véctơ đường sau đó truyền đi bản tin có chứa danh sách này. Nếu như một ATM-LSR nhận được một bản tin có chứa bộ phận nhận dạng LSR của nó trong danh sách path-vector thì cũng có nghĩa là bản tin đó đã bị chuyển tiếp vòng và một bản tin “thông báo phát hiện chuyển tiếp vòng” sẽ được gửi trở lại phía nguồn tạo ra bản tin đó. Hình 3-18 minh hoạ quá trình này. Như chúng ta nhận thẩy trên hình, bộ nhận dạng LSR của mỗi ATM-LSR được chèn vào bản tin yêu cầu nhãn khi nó được chuyển tiếp giữa các nút trong mạng. Do có sai sót trong thông tin định tuyến mà ATM-LSR ở B chọn nút tiếp theo của FEC địa chỉ 195.12.2.0/24 là ATM LSR ở C, tuy nhiên ATM-LSR ở C lại chọn nút tiếp theo cho FEC địa chỉ 195.12.2.0/24 là ATM-LSR ở B. Vì vậy đã xuất hiện chuyển tiếp vòng. ATM-LSR ở B có thể phát hiện ra hiện tượng này nhờ nhận ra giá trị ở bộ nhận dạng LSR của nó có trong bản tin yêu cầu nhãn. Hình 3-18: Cơ chế ngăn ngừa chuyển tiếp vòng sử dụng vector đường TLV Phát hiện chuyển tiếp vòng dữ liệu Chúng ta biết rằng phần mào đầu của tế bào ATM không có chứa TTL. Vì vậy cơ chế sử dụng để phát hiện chuyển tiếp vòng khi MPLS hoạt động ở chế độ khung sẽ không thể sử dụng được khi MPLS hoạt động ở chế độ tế bào. Phần trên đã trình bày cách thức ngăn ngừa chuyển tiếp vòng thông tin điều khiển bằng cách thức ngăn ngừa chuyển tiếp vòng thông tin điều khiển bằng cách sử dụng bộ đếm nút mạng TLV trong bản tin yêu cầu/chuyển đổi nhãn trao đổi giữa các ATM-LSR. Kết quả củ quá trình này là mỗi ATM-LSR đều có các thông tin về số lượng nút cần thiết để bản tin tới được công c ủa ATM ra của LSP và thông tin này sẽ được sử dụng đối với các bản tin dữ liệu thông thường khi MPLS hoạt động ở chế độ tế bào. Hình… thể hiện qua trình trao đổi thông tin về bộ đếm nút mạng giữa các ATM-LSR. Hình 3-19: Trao đổi giá trị bộ đếm nút mạng giữa các ATM-LSR Trong ví dụ này, ATM-LSR A có thể xác định được rằng để tới được cổng ra của LSP của FEC có địa chỉ 195.12.2.0/24 thì các gói tin phải đi qua hai nút. Căn cứ vào thông tin này mà ATM-LSR biên A sẽ xử lý trường TTL của gói tin IP đến trước khi phân đoạn gói tin thành các tế bào ATM. Qua ví dụ trên chúng ra nhận thấy khi gói tin có địa chỉ đích là 195.12.2.0/24 tới ATM-LSR biên A, trong quá trình phân chia gói tin thành các tế bào ATM trường TTL của gói sẽ được giảm đi một lượng bằng số lượng nút gói tin cần đi qua để tới điểm cuối của LSP. Khi ATM-LSR C tái khôi phục gói tin IP ban đầu, trường TTL có trong phần mào đầu IP sẽ chứa giá trị thể hiện số lượng nút mà gói tin đã đi qua. Hình 3-20: Xử lý trường TTL của gói tin IP trước khi phân đoạn gói tin Vấn đề đặt ra khi sử dụng cơ chế này là trạng thái bất thường tạo ra khi ta sử dụng giám sát tuyến trong một phần của mạng ATM. Để ngăn ngừa chuyển tiếp vòng, trong thực tế người ra chỉ giảm giá trị trường TTL của gói tin MPLS/IP đi 1 đơn vị.Trong mạng MPLS do Cisco triển khai, tại các ATM-LSR biên sẽ chỉ giảm TTL đi 1 đơn vị trước khi phân đoạn khung tin thành các tế bào mà không quan tâm đến số lượng nút. Kết luận chương. Chương 3 đã làm rõ các khái niệm trong kỹ thuật điều khiển lưu lượng trong mạng truyền thống và đặc biệt là điều khiển lưu lượng trong mạng MPLS. Các vấn đề được đặt ra bao gồm các yêu cầu về chất lượng dịch vụ, giải pháp của công nghệ MPLS nhằm thể hiện rõ các điểm mạnh trong kỹ thuật lưu lượng MPLS. Đường chuyển mạch nhãn LSP là một khái niệm riêng của MPLS từ đó đã phân tích giải pháp đường hầm, là kỹ thuật chính trong việc điều khiển lưu lượng của MPLS. Việc thiết lập và bảo vệ đường LSP là một công việc hết sức quan trọng trong việc quản lý lưu lượng mạng. Chương này đã đề cập đến một số kỹ thuật tái tối ưu hoá và tái định tuyến nhanh để bảo vệ đường LSP. Phần cuối chương đề cập đến một kỹ thuật quan trọng trong điểu khiển lưu lượng đó là hoạt động phát hiện và phòng chống sự chuyển tiếp lặp vòng của các đường LSP. Phần này đã đưa ra một số phương pháp chống chuyển tiếp vòng trong cả chế độ hoạt động khung và chế độ hoạt động tế bào của mạng MPLS, giúp kỹ thuật điều khiển lưu lượng MPLS tăng khả năng chống lỗi, bảo đảm việc truyền lưu lượng thông suốt. KẾT LUẬN Hiện nay MPLS là một giải pháp hàng đầu để giải quyết nhiều vấn đề trong mạng như: tốc độ, khả năng mở rộng mạng (scalability), quản lý QoS và điều phối lưu lượng. MPLS là công nghệ kết hợp tốt nhất giữa định tuyến lớp 3 và chuyển mạch lớp 2 cho phép chuyển tải các gói rất nhanh trong mạng lõi và định tuyến tốt ở mạng biên bằng cách dựa vào nhãn. Đề tài đã trình bày được những khái niệm cơ sở sử dụng trong chuyển mạch nhãn đa giao thức, từ đó nghiên cứu những nguyên lý hoạt động cơ bản của MPLS và khả năng thực hiện kỹ thuật lưu lượng của nó. Đề tài đã tập trung vào các khía cạnh như: Các yêu cầu của kỹ thuật lưu lượng trong chuyển mạch nhãn đa giao thức. Các cơ chế bảo vệ và khôi phục lưu lượng sử dụng trong MPLS. Tuy nhiên, kỹ thuật lưu lượng là một lĩnh vực rộng, đây cũng là bài toán khó đặt ra cho bất kỳ một công nghệ truyền dẫn hoặc chuyển mạch mới nào. Trong khuôn khổ của một chuyên đề tốt nghiệp, em đã tìm hiểu lý thuyết, tham khảo các tài liệu và làm sáng tỏ các vấn đề em đã thu nhận được qua 3 chương của chuyên đề. Do kiến thức còn hạn chế nên khó tránh khỏi những thiếu sót, mong các thầy cô góp ý bổ sung để chuyên đề của em được hoàn thiện hơn. Trong quá trình thực hiện chuyên đề này, em được sự hướng dẫn, giúp đỡ chỉ bảo của thầy giáo Hoàng Trọng Minh. Em xin chân thành gửi lời cảm ơn đến Ths.Hoàng Trọng Minh đã giúp đỡ, chỉ bảo tận tình cho em trong suốt quá trình thực hiện chuyên đề. TÀI LIỆU THAM KHẢO [1] Ths. Hoàng Trọng Minh - Công nghệ chuyển mạch Ip và MPLS 2003. [2] PGS-TS. Nguyễn Văn Tam - Giáo trình An toàn mạng ĐH Thăng Long. [3] Trần Thị Tố Uyên - Chuyển mạch nhãn đa giao thức. [4] David Bruce, Yakov Rekhter - (2000) Morgan Kaufmann Publisher - MPLS Technology and Application [5] Paul Brittain, Adrian Farrel - MPLS Traffic Engineering: a choice of signalling protocols, Data connection Ltd., UK 2000. [6] Xipeng Xiao, Aln Hannan - Brook Bailey and Lionel M.Ni, Traffic Engineering with MPLS in the Internet, [7] Chuck Semeria - Traffic Engineering for the New Public Network, White paper, Juniper Networks, CA-USA, 2000. [8] MPLS_Cisco.pdf [9] Cisco - Definitive MPLS Network Designs (2005).chm [10] Cisco.Press.MPLS.and.Next.Generation.Networks.Nov.2006.chm [11] Cisco Press - MPLS and VPN Architectures(2000).chm [12] Cisco Press - Mpls And Vpn Architectures, Volume II - 2003 - (By Laxxuss).pdf [13] Eric Osbome, Ajay Simha - Traffic Engineering with MPLS - Cisco Press 2000 [14]. IETF Working Group, RFCxxxx [15] [16] [17]

Các file đính kèm theo tài liệu này:

  • docChuyen de tot nghiep_Quang Trung_V3.2_In.doc
Tài liệu liên quan