Temperature adaptive sleep scheduling using reinforcement learning in wireless sensor networks

Temperature Adaptive Sleep Scheduling using Reinforcement Learning in Wireless Sensor Networks GVHD: PGS. TS. Huỳnh Thị Thanh Bình Nhóm 3 Nguyễn Văn Cao - 20183485 Thông tin bài báo 2 RL-Sleep: Temperature Adaptive Sleep Scheduling using Reinforcement Learning for Sustainable Connectivity in Wireless Sensor Networks - 2020 Tác giả: Partha Sarathi Banerjeea, Satyendra Nath Mandal, Debashis De, Biswajit Maiti Nguồn: Sustainable Computing: Informatics and Systems TABLE OF CONTENTS Giới thiệu bài toán Điều kiện để mạng đảm bảo kết nối Định nghĩa state, action, và reward của bài toán 04 01 02 03 Thuật toán 05 Kết quả bài báo 3 Giới thiệu bài toán Mạng không dây bao gồm một hệ thống các node: Chạy bằng pin Có khả năng xử lý dữ liệu Truyền thông trong phạm vi nhỏ Có khả năng chạy trong môi trường đa dạng trong thời gian daì 4 Giới thiệu bài toán Sự thay đổi nhiệt độ của môi trường xung quanh ảnh hưởng trực tiếp đến tính kết nối của mạngQuá ít node sẽ dẫn đến không đảm bảo tính kết nối của mạng Quá nhiều node active sẽ dẫn đến việc tiêu tốn năng lượng và tài nguyên không cần thiết 5 Giới thiệu bài toán Cần một thuật toán lập lịch tắt mở các node một cách hợp lý Đảm bảo tính kết nối Tối ưu tài nguyên của mạng 6 Điều kiện để bài toán đảm bảo kết nối 7 Trong đó: là số node cần active để mạng có thể đảm bảo tính kết nối là mật độ node trong mạng cần để đảm bảo tính kết nối trong nhiệt độ T là diện tích giao tiếp bao phủ của node Điều kiện để bài toán đảm bảo kết nối 8 là độ tự tin để mạng đảm bảo kết nối Định nghĩa state State của một node được định nghĩa bởi 2 thuộc tính của các node neighbors Energy Welfare : Độ mạnh yếu của năng lượng các node xung quanh Overlap Neighborhood : Độ bao phủ so với các node xung quanh 9 Định nghĩa state 00 nếu EW thấp và overlap thấp 01 nếu EW thấp và overlap cao 10 nếu EW cao và overlap thấp 11 nếu EW cao và overlap cao 10 Định nghĩa action 11 Trong 1 node sẽ có 3 action được thực hiện Sleep Transmit Listen Định nghĩa action 12 Định nghĩa reward 13 Định nghĩa output 14 Trong đó: chỉ xác suất để ở trạng thái ta thực hiện hành động 15 Tính toán entropy relative 16 Trong đó: là số xác suất của node bị die khi nhiệt độ ở mức là nhiệt độ cao nhất mà node có thể chịu được Entropy đặc trưng cho tính ổn định của một node so với node xung quanh Thuật toán neighbor learn 17 Thuật toán cập nhật ma trận đầu ra 18 Trong đó: là learning rate, nó càng gần 1 thì Q thay đổi càng nhanh là giá trị reward cao nhất có thể ở trạng thái Mô tả 19 Thực hiện neighbor learn Mô tả 20 Lấy dữ liệu để tính toán state, entropy Mô tả 21 Tính toán state, dựa vào bảng kết quả mà thực hiện hành động Mô tả 22 Lấy dữ liệu từ các node xung quanh để tính toán reward và update lại bảng output Mô tả 23 Lấy dữ liệu từ các node xung quanh để tính toán reward và update lại bảng output Mô phỏng 24 Kết quả bài báo 25 Kết quả bài báo 26 Kết quả bài báo 27 Thanks for listening 28