Đề tài Thuật toán Frank - Wolfe

Lời mở đầu TÊt c¶ c¸c ngµnh, c¸c lÜnh vùc dï ho¹t ®éng ë ph­¬ng diÖn nµo th× môc ®Ých cuèi cïng còng lµ gi¶i c¸c bµi to¸n tèi ­u cña ®¬n vÞ m×nh. ViÖt Nam lµ mét minh chøng. Trong xu thÕ héi nhËp hiÖn nay, ®Æc biÖt sau kÝ kÕt hiÖp ®Þnh th­¬ng m¹i thÕ giíi WTO, ViÖt Nam ®ang ®øng tr­íc nhiÒu thö th¸ch míi. Vµ c¹nh tranh trªn th­¬ng tr­êng quèc tÕ lµ bµi to¸n hµng ®Çu ®èi víi c¸c doanh nghiÖp trong n­íc. Do tÝnh cÊp thiÕt cña thùc tÕ nªn em ®· quyÕt ®Þnh chän ®Ò tµi: “ThuËt to¸n Frank-Wolfe”- ®©y lµ thuËt to¸n gi¶i c¸c bµi to¸n quy ho¹ch låi víi c¸c rµng buéc tuyÕn tÝnh. Em hi väng nã cã thÓ gãp mét phÇn lµm phong phó h¬n kho tµng thuËt to¸n gi¶i c¸c bµi to¸n tèi ­u. Bài viết của em gồm 3 phần lớn (ngoài phần mục lục và phần tài liệu tham khảo): Thứ nhất : Lời mở đầu Thứ hai : Nội dung Thứ ba : Kết luận Trong phần nội dung,em sẽ trình bày 4 vấn đề chính: Tổng quan về quy hoạch phi tuyến Thuật toán Frank-Wolfe Thí dụ Chương trình Gamside Cuối cùng, em xin chân thành cảm ơn các thầy giáo,cô giáo khoa Toán kinh tế đã tạo môi trường cho em được học tập và rèn luyện. Em hết sức biết ơn thầy giáo Ngô Văn Mỹ đã giúp em hoàn thành đề án môn học này. Nội dung: 1. Tổng quan về quy hoạch phi tuyến 1.1. Giới thiệu chung về QHFT Bài toán QHFT sẽ nói ở dưới đây không phải là bài toán QHFT thực tổng quát, mà ta chỉ xét lớp bài toán QHFT có hàm mục tiêu là hàm khả vi liên tục( tới bậc tuỳ ý) trên tập mở bao tập phương án D; bản thân tập phương án cũng được xác định bởi các hàm số trong các ràng buộc là các hàm khả vi liên tục n biến. Cụ thể ta có bài toán tổng quát sau: (1) Trong đó: và là các hàm n biến độc lập. Ngoài ra: trong các hàm và phải có ít nhất một hàm phi tuyến; luôn giả thiết các hàm là các hàm liên tục; hàm mục tiêu khả vi liên tục trên tập mở bao tập phương án D. Tuy bài toán QHFT đã được giới hạn như trên, nhưng tính phi tuyến của bài toán luôn tạo ra những phức tạp đáng kể khi tiệm cận với nó. Với bài toán QHFT người ta cũng sử dụng phương pháp tiệm cận giống như bài toán cực trị có ràng buộc cổ điển trong giải tích-tức là tìm cách đưa bài toán cực trị có ràng buộc về bài toán cực trị tự do rồi tìm cách đưa ra điều kiện Kunh- Tucker. Víi mét nhãm ®iÒu kiÖn bæ sung ®ñ m¹nh th× ®iÒu kiÖn Kunh-Tucker có thể trở thành điều kiện cần và đủ đối với lời giải của (1). 1.2. Bài toán QHFT Bài toán tổng quát QHFT có dạng như (1); tuy nhiên đôi khi để thuận tiện trong việc giải thích ý nghĩa kinh tế ta có thể biểu diễn các dạng cụ thể sau: (1.1) (1.2) Về mặt hình thức thì ba bài toán (1),(1.1), (1.2) khác nhau, song cũng giống như QHTT ta có thể dùng các phép biến đổi tương đương để đưa bài toán này về bài toán kia. Cụ thể như sau: a. b. c. d. e. 1.3. Điều kiện Kuhn-Tucker Trở lại bài toán tổng quát (1) ban đầu: với các giả thiết đã có về và, nếu cả m ràng buộc của (1) đều có dạng đẳng thức; m<n và các hàm là hệ hàm độc lập thì bài toán (1) có thể xem là bài toán tìm cực trị tổng thể có ràng buộc đẳng thức trong giải tích toán học. Giải tích đã giải quyÕt bài toán này bằng cách đưa bài toán về bài toán cực trị tự do của hàm Lagrange có nghiệm luôn được xem là điều kiện cần đối với cực trị địa phương có điều kiện của f(x). Tuy vậy, thuật toán này đôi khi cũng không thể giải quyết được một bài toán bất kỳ, trừ phi hàm f(x) có các tính chất giải tích bổ sung cần thiết. Đối với bài toán (1), hai nhà toán học H. W.Kuhn và A. W.Tucker cũng sử dụng cách tiệm cận tương tự và đã đưa ra một nhóm điều kiện gọi là điều kiện Kuhn-Tucker. Điều kiện Kuhn-Tucker được viết cho các bài toán : (1.2) Lập hàm Lagrange: ( nhân tử Lagrange) Khi đó điều kiện Kuhn-Tucker được thiết lập như sau: Ngược lại nếu bài toán có dạng tổng quát như sau: (1.1) Thì điều kiện Kuhn-Tucker có dạng: hoặc là chuyển bài toán dạng (1.1) về bài toán dạng (1.2) rồi viết giống như với bài toán (1.2). 1.4. Các vấn đề cần giải quyết khi giải bài toán QHFT Trước khi đi vào chi tiết, ta đề cập đến bản chất của các thuật toán giải các bài toán QHFT nói chung. Bài toán tổng quát dạng: (*) Với bài toán (*) tuỳ theo cấu trúc của nó mà người ta đưa ra các thuật toán khác nhau. Cho tới thời điểm này, số phương pháp được đề xuất là rất lớn và đa dạng. Song các phương pháp này đều có ý tưởng chung là thuật toán xiết chặt dần. Tuỳ theo dãy điểm nằm trong hay nằm ngoài tập D mà được chia thành hai nhóm phương pháp lớn là phương pháp điểm trong hay điểm ngoài hoặc phối hợp cả hai phương pháp trên. Ở đây ta xét kỹ phương pháp điểm trong. Người ta xuất phát từ một điểm ; khi đó là hướng tăng nhanh nhất của f(x) tại x0 (hay còn được gọi là hướng tăng cục bộ của f(x) tại x0). Ta lại có ở phần trước tập là tập hợp các hướng chấp nhận được tại x0 và nếu lấy thì có: là đạo hàm theo phương d của hàm f(x) tại x0, nó cho biết mức thay đổi của hàm f(x) tại x0 theo phương d. Rõ ràng: Nếu có thì d được gọi là hướng chấp nhận được tăng của f(x) tại x0. Nếu có thì d được gọi là hướng chấp nhận được giảm của f(x) tại x0. Nếu có thì d được gọi là hướng chấp nhận được không đổi của f(x) tại x0. Phương pháp xiết chặt dần trên dãy điểm trong có thể được mô tả như sau: Chọn một điểm và kiểm tra xem tại x0 có hướng chấp nhận được giảm của f(x) tại đó hay không? Trong trường hợp tại đó có hướng chấp nhận được giảm của f(x) ta tìm cách điều chỉnh x0 sang sao cho: Thuật toán cứ như vậy tiếp diễn trên một dãy phương án dạng: hay thoã mãn: (**) Dãy phương án thoã mãn (**) gọi là phương án xiết chặt dần. Như vậy, thuật toán xiết chặt dần nêu trên là sự kết hợp hai khái niệm Gradient và hướng chấp nhận được tại một phương án. Có rất nhiều phiên bản thuật toán khác nhau được đưa ra cho các dạng bài toán khác nhau. Ta gọi phương pháp loại này là phương pháp hướng có thể. Khi đó các vấn đề cần giải quyết: Vấn đề 1: Tìm phương án xuất phát x0 như thế nào? Rõ ràng việc tìm phương án xuất phát x0 có liên quan tới vấn đề khảo sát xem tập phương án hay . Đây là bài toán khó, thậm chí rất khó khi các ràng buộc của bài toán có tính chất giải tích phức tạp. Vấn đề 2: Với mộtđiểm thì bằng cách nào xác định được tại đó không có hướng chấp nhận được giảm của f(x); và nếu tại xk không có hướng chấp nhận được giảm của f(x) thì xk có tính chất gì? Liệu xk có phải là lời giải của bài toán hay không? Nếu tại xk có hướng chấp nhận được giảm của f(x) thì việc điều chỉnh xk sang xk+1 được thực hiện như thế nào? Vấn đề 3: Nếu quá trình điều chỉnh trên diễn ra với dãy thì liệu dãy có hội tụ không? Giả sử lim f(xk) tồn tại () và hữu hạn thì giới hạn này có phải là trị tối ưu của f(x) trên D? Cả ba vấn đề trên là hiện hữu và rất phức tạp. Với bài toán QHFT người ta đã giải quyết được các vấn đề trên với nhiều lớp bài toán cụ thể, nhưng có thể khẳng định chung là lược đồ điều chỉnh trên chỉ dẫn đến cực trị địa phương của f(x) trên D và có thể không hội tụ. Mặc dù điều kiện Kuhn-Tucker đã chỉ ra điều kiện tồn tại nghiệm của bài toán quy hoạch lồi, nhưng không đưa ra một thuật toán cụ thể nào để giải một bài toán. Có rất nhiều phương pháp khác nhau được áp dụng cho các bài toán quy hoạch lồi với cấu trúc khác nhau. Một trong các thuật toán đó thì có thuật toán Frank-Wolfe. 2. Giới thiệu thuật toán Frank-Wolfe 2.1. Mô hình toán Bài toán tổng quát có dạng: (2.1) Trong đó: Khi đó tập phương án là tập lồi đa diện. Thuật toán Frank-Wolfe là thuật toán dùng để giải bài toán QHL với các ràng buộc tuyến tính. Các giả thiết của thuật toán: D giới nội tức là một đa diện lồi. Hàm f(x) khả vi liên tục, lồi trên tập phương án. Bổ sung khái niệm hàm lồi: , xác định trên tập D lồi. Khi đó y=f(x) được gọi là một hàm lồi nếu : với ta có: Đôi khi người ta thay điều kiện a. bằng điều kiện c. sau: , có nghĩa là tại đều không tồn tại hướng chấp nhận được giảm vô hạn của f(x) tại a. Với các giả thiết nêu trên thì bài toán (2.1) luôn có phương án tối ưu; nếu f(x) lồi ngặt trên D thì phương án tối ưu là duy nhất. 2.2. Thuật toán Bước 0: Chọn phương án có 2 cách: Cách 1: do các bất phương trình là tuyến tính nên ta có thể tìm x0 bằng cách giải bài toán phụ P(x,xg) khi đó x0 là phương án cực biên(PACB) Cách 2: có thể tìm bằng cách mò ngẫu nhiên , không nhất thiết là đỉnh của D. Khi đó x0 không phải là PACB. Sau khi chọn được x0 ta giải bài toán quy hoạch tối ưu thứ 0: (1) Với giả thiết đã có bài toán thứ 0 luôn có phương án tối ưu. Gọi là phương án tối ưu của bài toán (1). Khi đó có hai khả năng sau: Th1: Nếu thì là phương án tối ưu. Thuật toán kết thúc, x0 là cực trị địa phương nhưng do f(x) là hàm lồi nên x0 là cực trị địa phương(phần chú ý 1) Th2: Nếu thì -là hướng chấp nhận được giảm của f(x) tại x0. Khi đó trên đoạn xét phương trình: với cần tìm ra điểm mà f(x) nhận giá trị nhỏ nhất. Tức là ta đi giải bài toán: với (2) là hàm lồi theo , nên sẽ đạt tại một điểm duy nhất gọi là lời giải của (2) ta nhận được phương án mới: Làm điểm xuất phát cho bước sau. Và do phương mới nhận được là phương giảm nên ta có: f(x1)<f(x0) cứ tiếp tục như vậy cho tới bước k. Bước k: Khi đó phương án xuất phát là xk và bài toán quy hoạch tuyến tính cần giải là: (2) Phương án tối ưu là Phương nhận được là: có hai trường hợp xảy ra: Th1: nếu =>xk là phương án tối ưu và thuật toán kết thúc. Thật vậy: Khi bài toán QHFT thứ k có dạng: theo giả thiết f(x) lồi khả vi nên ta có: => điều phải chứng minh. Th2: nếu => là phương giảm của f(x). Ta xét Và là hàm lồi theo và đặt: Và cứ tiếp tục như vậy thì thuật toán hội tụ. Bởi tập xác định của nó là tập lồi đa diện lồi. Tuy nhiên có thể dừng lại ở một bước bất kỳ,và chấp nhận một sai số nào đó. Qua nội dung của thụât toán ta thấy rằng bản chất của thuật toán Frank-Wolfe là biến bài toán quy hoạch phi tuyến thành bài toán quy hoạch tuyến tính thông qua tuyến tính hoá từng điểm một. 3. Thí dụ Giải bài toán quy hoạch lồi sau: Lời giải: 2 2 1 0 x* Bước 0: Với điểm xuất phát ta có: Bài toán có dạng: Vì là hướng tăng, hướng ngược lại là hướng giảm nên với tập ràng buộc trên ta có phương án tối ưu là Khi đó: với . Khi đó để giải bài toán ban đầu ta giải bài toán đối với Điều kiện cần: Ta thấy với Bước 1: với ràng buộc Khi đó xét với có kết quả sau: Bước 2: Bài toán mới có dạng: Kết luận: là PATƯ và trị tối ưu. 4. Phần mềm hỗ trợ: GAMS 4.1. Khái quát về GAMS Để hỗ trợ cho việc giải các bài toán tối ưu một cách nhanh nhất và các bài toán có số bước giải lớn, ta có phần mềm hỗ trợ GAMS. GAMS(General Algebraic Modeling System) là một hệ thống các chương trình giải các bài toán quy hoạch toán học.GAMS bao gồm nhiều thủ tục khác nhau trong đó xin giới thiệu một số thủ tục sau: LP Tìm nghiệm đúng của bài toán quy hoạch tuyến tính MIP Tìm nghiệm đúng của bài toán quy hoạch nguyên tuyến tính …. Trong đó có thủ tục NLP( Nonlinear Programming) để giải các bài toán QHFT các hàm trơn. 4.2. Các nguyên tắc khi làm việc với GAMS GAMS yêu cầu phải khai báo chính xác cấu trúc của chương trình đầu vào. Toàn bộ khai báo ghi thành một tệp với phần mở rộng .gms (ví dụ: bt.gms). Sau khi chạy chương trình, GAMS tạo ra tệp kết quả có cùng tên tệp với phần mở rộng .list (ví dụ: bt.list). Mỗi chương trình có thể chứa một hay nhiều mô hình và được giải nhờ các dòng lệnh khác nhau. Một chương trình đúng có thể chạy nhiều lần với các mô tả biến theo những kích thước khác nhau. GAMS không phân biệt chữ hoa và chữ thường. 4.3. Dòng lệnh của GAMS Một dòng lệnh của GAMS có thể bắt đầu ở đầu dòng với một từ khoá và kết thúc bởi dấu “;”. Mỗi dòng lệnh có thể gồm nhiều câu lệnh và mỗi câu lệnh có thể viết trên nhiều dòng lệnh khác nhau. Nếu một dòng lệnh bắt đầu từ dấu* hoặc $title sẽ được bỏ qua khi thực hiện chương trình và máy coi đây là một chú thích. Một đoạn văn bản nằm giữa cặp lệnh sau là đoạn văn bản chú thích:$ontext.. $offtext 4.4. Những nội dung cơ bản của một chương trình giải bằng GAMS 4.4.1. Khai báo biến Biến tự do được khai báo với từ khoá: variable tên biến nhãn biến; Biến định dạng được khai biến với các từ khoá: Free variable tên biến nhãn biến; (với biến liên tục không có ràng buộc) Positive variable tên biến nhãn biến;(với biến liên tục không âm) Negative variable tên biến nhãn biến;(với biến nguyên không âm) 4.4.2. Khai báo các hàm mục tiêu và các ràng buộc Khai báo tên và nhãn với từ khoá: Equation tên phương trình 1 nhãn,…,tên ràng buộc 1 nhãn,…; Khai báo biểu thức xác định hàm và các ràng buộc với cấu trúc sau: Tên phương trình 1… biểu thức xác định phương trình 1; ………………………………………………………….. Tên ràng buộc 1… biểu thức xác định ràng buộc 1; …………………………………………………………... Dấu của các phương trình và bất phương trình trong GAMS: dấu (=): =e= dấu không lớn hơn(≤): =l= dấu không nhỏ hơn(≤): =g= Các phép toán cơ bản trong GAMS: Phép cộng: + Phép trừ: - Phép nhân: * Phép chia: / Phép lấy luỹ thừa: ** Các hàm thông dụng trong GAMS: Exp(x): ex Log(x): ln(x) Log10(x): log10(x) Sqr(x): x2 Sqrt(x): Sin(x): sin(x) Cos(x): cos(x) Arctang(x): arctg(x) Power(x): xn 4.4.3. Đặt giá trị ban đầu cho các biến Đây là giá trị tạm thời của biến, nó sẽ thay đổi khi chương trình thực hiện. Trong nhiều bài toán thuật toán sẽ tự động gán giá trị xuất phát cho các biến, có thể là giá trị cận biên hoặc giá trị bằng không nếu chúng thoả mãn hệ ràng buộc. chắc chắn rằng trong mọi bài toán việc chủ động đặt cho các biến giá trị ban đầu một cách hợp lý(nếu có thể) sẽ tránh được hiện tượng bài toán xuất phát từ điểm không xác định hàm mục tiêu hoặc các véc tơ gradient của hàm đó, khi đó thuật toán sẽ cho ta lời giải tốt nhất. Ta có thể đặt giá trị ban đầu cho các biến bằng một trong ba cách sau: Đặt giá trị đúng(=) cho biến: tên biến.l=…; Đặt giá trị không thấp hơn(≥) cho biến: tên biến.lo=…; Đặt giá trị không cao hơn(≤) cho biến: tên biến.up=…; Đặt tên cho mô hình Model tên mô hình/ all/; 4.4.5. Chỉ định thủ giải Một bài toán QHPT viết trên GAMS phải được giải bằng thủ tục NPL.Trong GAMS có ba thuật toán nào để giải bài toán QHPT đó là: Conopt, Minos và Snopt.Việc sử dụng thuật toán nào để giải một bài toán QHPT cụ thể tuỳ vào cấu trúc, đặc điểm của bài toán đó. Nếu ta không chọn thuật toán để giải thì thuật toán được chỉ định là Conopt. Cấu trúc lệnh để chỉ thủ tục giải như sau: Solve tên mô hình minizing(maximizing) tên hàm mục tiêu using NPL-; Khai báo hiển thị kết quả Nếu như việc giải bài toán cho ta lời giải đúng thì ta chọn cách hiển thị kết quả đúng giá trị của lời giải bằng lệnh có cấu trúc như sau: Display tên biến 1.l, tên biến 2.l,…,tên biến n.l; Nếu như việc giải bài toán cho ta lời giải gần đúng thì ta có thể chọn cách hiển thị kết quả thấp hơn hoặc cao hơn giá trị đúng của lời giải bằng lệnh có cấu trúc như sau: Display tên biến 1.lo, tên biến 2.lo,…,tên biến n.lo;(thấp hơn) Display tên biến 1.up, tên biến 2.up,…,tên biến n.up;(cao hơn) Chạy và sửa lỗi mô hình Chạy mô hình Trước khi yêu cầu GAMS dịch chương trình ta cần ghi lại thành một tệp chẳng hạn bt.gms. Nhấn nút Run( biểu tượng mũi tên màu đỏ) trên thanh công cụ để chỉ thị cho GAMS dịch chương trình và ghi lại kết quả với tệp bt.list. Quá trình dịch nếu có lỗi GAMS sẽ báo lỗi chi tiết trong từng dòng lệnh với dòng báo lỗi chữ đỏ và nếu click double vào dòng chữ đỏ này dấu nhắc sẽ đặt tại dòng lệnh có lỗi trong cửa sổ chương trình. Các lỗi và thông báo lỗi Unkown symbol: một biến, một tập hợp,… không được khai báo hoặc không được khai báo đúng quy cách. Suffix is missing: toán tử đối với biến thiếu phần chỉ định(.l, .up, .lo…). No solution: mô hình sai hoặc sử dụng thủ tục không hợp lệ. =l=, =e=, or =g=oprator expected: lỗi dấu phép toán. Variable wrong type: biến ngoài giới hạn khai báo. Log of negative number division by zero gardient too big: loga và căn bậc hai của số âm, chia cho số không. Uncontrolled set: một ký hiệu không có trong các tập đã khai báo. Endog arguments: mô hình có phần tử phi tuyến không tồn tại nhưng có mặt trong chỉ định giải. Ứng dụng GAMS để giải ví dụ. variable f bien ham muc tieu; positive variable x1 bien x1 khong am x2 bien khong am; equation rb ten rang buoc la rb hsmt ten ham so muc tieu la hsmt; * Khai bao bieu thuc ham so muc tieu va rang buoc cua bai toan rb..2*x1+x2=l=2; hsmt..f=e=sqr(x1-2)+sqr(x2-2); * Dat gia tri dung cho phuong an xuat phat x1.l=0; x2.l=0; * Dat ten mo hinh la qhft model qhft/all/; * Lua chon thu tuc de giai solve qhft minizing f using nlp; * Lua chon cach thuc hien thi ket qua Display x1.l,x2.l,f.l; Kết quả: 18 VARIABLE x1.L = 0.400 bien x1 khong am VARIABLE x2.L = 1.200 bien khong am VARIABLE f.L = 3.200 bien ham muc tieu Như vậy kết quả chạy máy cũng cho ta kết quả giống giải bằng tay. Kết luận Trên đây là một số nghiên cứu và tổng kết của em về thuật toán Frank-Wolfe. Qua nội dung trên, ta thấy thuật toán Frank-Wolfe đã đóng góp một phần vào việc giải quyết các bài toán tối ưu. Đồng thời với phần mềm chuyên dụng GAMS chúng ta đã mở rộng thêm được các bài toán QHFT, rút ngắn thời gian giải bằng tay. Tuy nhiên với những giả thiết mà thuật toán Frank-Wolfe đưa ra đặc biệt là giả thiết: “các ràng buộc phải là tuyến tính”; đó là một hạn chế của thuật toán này. Bởi vì, thực tế không phải lúc nào các ràng buộc cũng là các ràng buộc tuyến tính. Nên ứng dụng của nó vào trong thực tế cũng còn hạn hẹp. Hoặc muốn áp dụng thuật toán này thì phải tốn thời gian quy đổi các ràng buộc phi tuyến về ràng buộc tuyến tính. Do đó, để trang bị cho mình kiến thức giải các bài toán QHFT, chúng ta cần tìm hiểu nhiều phương pháp khác như: thuật toán quy hoạch lồi tổng quát, quy hoạch lồi toàn phương vv… Bài viết của em có gì sai sót kính mong thầy giáo thông cảm và mong thầy đóng góp ý kiến để bài viết của em được hoàn thiện hơn. Cuối cùng, em xin chân thành cảm ơn thầy giáo Ngô Văn Mỹ đã tận tình giúp em hoàn thành đề án môn học này./. Danh mục tài liệu tham khảo Bài giảng tối ưu hoá – Tác giả: Ngô Văn Mỹ, khoa Toán kinh tế. Giáo trình: Mô hình toán ứng dụng – Tác giả: Ngô Văn Thứ, khoa Toán kinh tế. Toán cao cấp dành cho các nhà kinh tế - Phần 2: Giải tích toán học – Tác giả: Lê Đình Thuý. Trang web: www.goole.toiưuhoa.vn