Phân tích và thảo luận ứng dụng kĩ thuật dữ liệu lớn trong lưới điện thông minh

68 Lê Xuân Sanh PHÂN TÍCH VÀ THẢO LUẬN ỨNG DỤNG KĨ THUẬT DỮ LIỆU LỚN TRONG LƯỚI ĐIỆN THÔNG MINH ANALYZING AND DISCUSSING APPLICATION OF BIG DATA TECHNOLOGY IN SMART GRIDS Lê Xuân Sanh Trường Đại học Điện lực; sanhlx@epu.edu.vn Tóm tắt - Kĩ thuật phân tích dữ liệu theo phương pháp truyền thống đã không đáp ứng được yêu cầu sự phát triển của lưới điện hiện đại. Từ năm 2012, đã có một số nghiên cứu về dữ liệu lớn trong lưới điện thông minh với những kết quả ban đầu thuận lợi. Bài báo phân tích và ứng dụng dữ liệu lớn trong lưới điện thông minh bao gồm: khái niệm cơ bản, nguồn sinh ra dữ liệu trong hệ thống điện, các đặc trưng và đánh giá nghiên cứu về dữ liệu lớn. Bên cạnh đó, đưa ra kiến trúc tổng thể và các kĩ thuật liên quan của dữ liệu lớn trong lưới điện thông minh. Cuối cùng đưa ra mô hình ứng dụng kĩ thuật dữ liệu lớn trong lưới điện phân phối với việc chẩn đoán trạng thái hoạt động của các thiết bị; đánh giá đường dây cấp điện; phân tích đặc điểm và hành vi của khách hàng và dự báo phụ tải. Abstract - The traditional method of data analysis has not met the requirements of modern grid development. Since 2012, a number of researches into big data in smart grids have been conducted with initial advantageous results. This article analyzes and applies big data in the smart grids including basic concepts, data sources in the power system, characteristics and assessment of big data studies. In addition, the overall architecture and related techniques of big data in the smart grids are demonstrated. The last section of the article presents a model for applying the big data technology in a distribution grid with the diagnosis of equipment operation status, evaluating electricity lines, analyzing customers’ characteristics and behavior as well as forecasting supplementary load. Từ khóa - dữ liệu lớn; dữ liệu lớn lưới điện thông minh; lưới điện phân phối; lưới điện thông minh; kĩ thuật dữ liệu lớn. Key words - big data; big data in a smart grid; distribution grid; smart grid; big data technology. 1. Giới thiệu Thuật ngữ ‘dữ liệu lớn’ (Big Data) năm 2008, được tạp chí Nature xuất bản năm 2008 với chuyên đề cùng tên. Năm 2012, tổng thống Mỹ công bố sẽ đầu tư 2 tỉ USD để khởi động "Kế hoạch nghiên cứu và phát triển dữ liệu lớn", tạo ra sự bùng nổ về nghiên cứu dữ liệu lớn trên toàn thế giới. Hiện nay, chưa có định nghĩa thống nhất về dữ liệu lớn, mặc dù đã có một số đồng thuận trong ngành. Trong định nghĩa của dữ liệu lớn, một định nghĩa tương đối có tính đại diện là định nghĩa 3V, tức là tính quy mô (Volume), đa dạng (Variety) và tốc độ cao (Velocity) [1-3]. Ngoài ra, Công ty Dữ liệu Quốc tế (International Data Corporation, IDC) cho rằng dữ liệu lớn nên có tính giá trị (Value); phía IBM cho rằng dữ liệu lớn là tính chân thực (Veracity) [4]. Chính những đặc điểm này của dữ liệu lớn quyết định bắt buộc phải nâng cấp có tính cách mạng trong kĩ thuật xử lý dữ liệu hiện đại. Đặc điểm chung của hệ thống điện là sự phân bố vị trí địa lí rộng lớn, phát và tiêu dùng cân bằng với thời gian thực, tốc độ truyền dẫn nhanh, vận hành thời gian thực, tốc độ lan rộng sự cố tức thời, v.v. Những đặc điểm trên dẫn đến, khi vận hành hệ thống điện sẽ sản sinh ra số lượng dữ liệu cực lớn, tốc độ tăng cực nhanh, chủng loại phong phú, hoàn toàn phù hợp với tất cả các đặc trưng của dữ liệu lớn và là một dữ liệu lớn điển hình. Trong tiến trình xây dựng lưới điện thông minh, là quá trình số hóa hệ thống điện, thông tin hóa và thông minh hóa, v.v. sẽ mang lại nhiều hơn nguồn dữ liệu. Ví dụ như, đồng hồ thông minh thu thập dữ liệu từ hàng trăm triệu ngôi nhà và doanh nghiệp; hệ thống giám sát trạng thái thiết bị điện thu được số liệu giám sát từ trăm nghìn các thiết bị. Trong phát triển và vận hành các nguồn năng lượng tái tạo cần lượng lớn số liệu lịch sử vận hành, số liệu quan trắc khí tượng, v.v. Vì vậy, trong xu thế mới tăng trưởng một cách bùng nổ dữ liệu hệ thống điện, thì kĩ thuật xử lý dữ liệu truyền thống gặp phải ‘tắc nghẽn’, không thể đáp ứng được yêu cầu, cần phải ứng dụng kĩ thuật xử lý dữ liệu lớn trong ngành điện. 2. Dữ liệu lớn trong lưới điện thông minh 2.1. Nguồn gốc và đặc điểm dữ liệu lớn trong lưới điện thông minh Nguồn dữ liệu trong hệ thống điện gồm 2 loại: từ nội bộ lưới điện và dữ liệu ngoài. Dữ liệu nội bộ lưới điện là: hệ thống thu thập thông tin khách hàng (collection system information, CIS); hệ thống tiếp thị; hệ thống giám sát diện rộng (wide area measurement system, WAMS); hệ thống quản lý lưới điện phân phối; hệ thống quản lý sản xuất (production management system, PMS); hệ thống quản lý năng lượng (energy management system, EMS); hệ thống kiểm tra và giám sát thiết bị; hệ thống phục vụ khách hàng; hệ thống quản lý tài chính, v.v. Dữ liệu đến từ ngoài lưới điện là hệ thống quản lý xạc điện xe hơi; hệ thống thông tin khí tượng; hệ thống thông tin địa lí (geographic information system, GIS); dịch vụ công cộng, internet, v.v. Những dữ liệu này có đặc điểm nằm rải rác phân tán ở những nơi khác nhau và được quản lý bởi các đơn vị khác nhau. Quan hệ giữa các dữ liệu trên là mối quan hệ phức tạp, không hoàn toàn độc lập mà tương hỗ lẫn nhau, ảnh hưởng nhau. Kết cấu của dữ liệu phức tạp gồm nhiều loại khác nhau. Ngoài cấu trúc truyền thống còn có lượng lớn dạng bán cấu trúc, không cấu trúc, như dữ liệu thoại về hệ thống dịch vụ, dạng sóng của các dữ liệu đo lường kiểm tra, v.v. Tần suất lấy mẫu và vòng đời của dữ liệu cũng khác nhau, có thể từ ms đến phút, thậm chí đến năm [5]. Tổng hợp miêu tả về dữ liệu lớn, có thể đưa ra các đặc điểm dữ liệu lớn lưới điện thông minh: 1) Nguồn gốc từ các nguồn quản lý phân tán; 2) Lượng dữ liệu lớn, nhiều thứ nguyên, nhiều loại hình; 3) Có giá trị lớn cho kinh tế xã hội ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 11(132).2018, QUYỂN 1 69 nói chung và công ty điện lực, khách hàng; 4) Tồn tại quan hệ phức tạp giữa các dữ liệu mà cần phải phân tích, một lượng lớn dữ liệu yêu cầu với thời gian thực. Ví dụ, Công ty Điện lực Thái Bình Dương (Mỹ) mỗi tháng dữ liệu từ 9 triệu đồng hồ điện của khách hàng đạt tới 3TB; Hệ thống SCADA từ một lưới điện có 100000 điểm, với chu kì 4s thì mỗi năm sản sinh là 1,03TB; Với PMU, tần suất lấy mẫu 0,01s (số lượng 100000 điểm) thì mỗi năm lượng dữ liệu là 495TB [5], vì vậy trong hệ thống điện với nhiều hệ thống cần thu thập và xử lý thì lượng dữ liệu có thể lên đến cấp PB và EB. 2.2. Tình hình nghiên cứu trong và ngoài nước Từ năm 2012, các viện nghiên cứu, trường đại học, doanh nghiệp IT, công ty điện lực đã bắt đầu nghiên cứu và ứng dụng dữ liệu lớn lưới điện thông minh. Công ty IBM, Oracle phát hành sách trắng dữ liệu lớn, IBM và C3-Energy phát triển một hệ thống phân tích dữ liệu lớn cho lưới điện thông minh [6]. Các viện nghiên cứu của Mỹ đưa ra các dự án nghiên cứu dữ liệu lớn, các công ty điện lực như Pacific Gas Power tại Mỹ và BC Hydro ở Canada tiến hành nghiên cứu về ứng dụng kĩ thuật dữ liệu lớn dựa trên dữ liệu người dùng. Tại Trung Quốc, Hội nghị Công trình Cơ điện đã công bố sách trắng về dữ liệu lớn, Tập đoàn Điện lực Trung Quốc và Bộ Khoa học Công nghệ đã ban hành nhiều dự án nghiên cứu về dữ liệu lớn lưới điện thông minh từ năm 2012 [7]. Tại Việt Nam, cũng đã có nhiều hội thảo, báo cáo đề cập đến dữ liệu lớn trong cuộc cách mạng công nghiệp 4.0, trên các tạp chí chuyên ngành nhưng chưa thấy các bài viết chuyên sâu về dữ liệu lớn trong lưới điện thông minh. Nghiên cứu và ứng dụng dữ liệu lớn lưới điện thông minh cũng đã đạt được nhiều thành quả, tuy nhiên nhìn chung kết quả nghiên cứu còn tương đối thô và chưa có hệ thống, nghiên cứu và ứng dụng vẫn còn ở giai đoạn đầu và thăm dò. 2.3 Kiến trúc tổng thể nền tảng dữ liệu lớn lưới điện thông minh Kiến trúc tổng thể nền tảng dữ liệu lớn trong ngành điện được thể hiện như Hình 1. Kho dữ liệu Ứng dụng kinh doanh công ty điện lực (Quety, Analytics, Reportion, Statistics) Dữ liệu lớn (Connectors) Tầng điều hành dữ liệu lớn Hỏi & trả lời Tính an toàn Quản lý dữ liệu Tầng truy cập dữ liệu lớn Lớp mạng Tầng lưu trữ dữ liệu (HDFS) Tầng xử lý dữ liệu (MapReduce) Hệ điều hành (Hypervisor/ VMs) Máy chủ Hình 1. Kiến trúc tổng thể nền tảng dữ liệu lớn trong hệ thống điện Kiến trúc có tính phổ quát và phù hợp với quy hoạch dữ liệu lớn của công ty điện lực, sử dụng hệ thống xử lý tệp phân tán (Hadoop distributed file system, HDFS) làm khung lưu trữ dữ liệu lớn, kĩ thuật tính toán MapReduce làm khung xử lý dữ liệu lớn, với phương pháp như vậy việc lưu trữ và tìm kiếm dữ liệu PB và EB trở nên khả thi [8]. Ngoài ra, trong khung này còn bao gồm các ứng dụng thông minh thương mại, kho dữ liệu truyền thống, khung truy cập, khung điều phối dữ liệu lớn, lớp mạng, hệ điều hành, máy chủ, sao lưu và phục hồi, mô-đun quản lý dữ liệu. Khung lưu trữ và khung xử lý dữ liệu lớn thường được xây dựng trên một máy chủ, hệ điều hành hoặc máy ảo, để phần cứng cần thiết của cấu trúc này có đặc điểm chi phí thấp và khả năng mở rộng cao. Trên khung lưu trữ và khung xử lý là khung truy cập dữ liệu được kết nối thông qua lớp mạng, khung truy cập bao gồm ngôn ngữ lập trình song song Pig, công cụ lưu trữ dữ liệu Hive và mô-đun công cụ phân phối dữ liệu nguồn như Sqoop. Khung điều phối bao gồm các mô-đun như: kho dữ liệu dạng Hbase, định dạng trình tự dữ liệu và công cụ truyền dẫn Avro, hệ thống thu thập nhật ký Flume, cài đặt khóa dạng phân phối ZooKeeper, v.v. Khung điều phối thực hiện việc tổ chức, điều phối và cung cấp các điều kiện cần thiết cho việc phân tích dữ liệu. Phía trên khung điều phối dữ liệu lớn là một hệ thống ứng dụng thương mại thông minh cấp doanh nghiệp có thể thực hiện các ứng dụng nâng cao như tìm kiếm, phân tích, thống kê và báo cáo [8]. Hình 2. Mô tả sự kết nối của kiến trúc dữ liệu lớn và luồng dữ liệu của hệ thống điện Hệ thống điện là một hệ thống phức tạp, mức phi tuyến tính cao, dữ liệu nội bộ của nó bao gồm các nguồn dữ liệu khác nhau như: dòng công suất, thông tin, dịch vụ, sự cố và khí tượng. Hình 2, mô tả các điểm có thể kết hợp giữa ứng dụng thương mại của doanh nghiệp điện và dữ liệu nội bộ của hệ thống điện trên nền tảng tổng thể của hệ thống điện, bao gồm: phát, truyền tải, biến đổi, phân phối, người dùng và điều độ vận hành, trong hệ thống điều khiển phụ tải, quản lý thông tin (management information system, MIS), hệ thống thu thập dữ liệu và điều khiển giám sát (supervisory control and data acquisition, SCADA), hệ thống đo đếm, hệ thống dự báo công suất năng lượng gió, mặt trời, hệ thống giám sát trực tuyến thiết bị điện, v.v. 3. Các kĩ thuật dữ liệu lớn trong lưới điện thông minh 3.1. Kĩ thuật tập hợp quản lý dữ liệu lớn Kĩ thuật tập hợp và quản lý dữ liệu ngành điện là quá trình kết hợp từ hai hoặc nhiều hệ thống dữ liệu ứng dụng để tạo ra một ứng dụng với nhiều chức năng hơn. Bao gồm kĩ thuật kho dữ liệu dạng quan hệ và phi quan hệ, kĩ thuật Truyền số liệu trong HTĐ: phát, truyền tải, phân phối, tiêu dùng và vận hành Hệ thống điều khiển phụ tải Hệ thống MIS Hệ thống dự báo công suất của phát NL tái tạo Hệ thống SCADA Hệ thống đo đếm điện năng (TMRS) Hệ thống giám sát thiết bị Ứng dụng kinh doanh của công ty điện lực Hệ thống xử lí dữ liệu lớn Hệ thống lưu trữ dữ liệu lớn Hệ thống thực thi và phục vụ Hệ thống điều phối dữ liệu lớn Kiến trúc tổng thể nền tảng kết nối hệ thống dữ liệu lớn Kho dữ liệu lịch sử Hbase Avro Flume Zoo Keeper L Pig Hive Sqoop 70 Lê Xuân Sanh tích hợp dữ liệu và dung hòa, kĩ thuật tách dữ liệu, kĩ thuật lọc và làm sạch dữ liệu, v.v [7]. Để xử lý dữ liệu lớn, trước tiên phải trích xuất và tích hợp dữ liệu từ nguồn dữ liệu, từ đó khai thác các thực thể và các quan hệ, đến công đoạn kết hợp, một cấu trúc thống nhất được sử dụng để lưu trữ các dữ liệu này, và tiến hành làm sạch dữ liệu trong quá trình tích hợp, trích xuất dữ liệu để đảm bảo chất lượng và độ tin cậy của dữ liệu [4]. Một công nghệ quan trọng trong quản lý lưu trữ dữ liệu là kĩ thuật kho dữ liệu NoSQL, nó sử dụng phương thức lưu trữ dữ liệu dạng phân tán. Lưu trữ dữ liệu được đơn giản hóa và linh hoạt hơn, có khả năng mở rộng tốt và giải quyết vấn đề khó của lưu trữ dữ liệu lớn, ví dụ như BigTable của Google, Dynamo của Amazon, v.v. 3.2. Kĩ thuật phân tích dữ liệu lớn trong lưới điện thông minh Các kĩ thuật chủ chốt được sử dụng để phân tích dữ liệu lớn như thống kê và khoa học máy tính, bao gồm phân tích tương quan, học máy, mạng nơron, thuật toán di truyền và nhiều phương pháp khác [9]. Phương pháp phân tích tương quan là cốt lõi của dữ liệu lớn, phân tích tất cả dữ liệu, thông qua việc tìm mối tương quan của hiện tượng tốt, có thể nắm bắt hiện tại và dự đoán tương lai. Phương pháp tính toán đơn giản, hiệu quả, kết quả nhanh, chính xác và ít bị ảnh hưởng. Các thuật toán khai thác dữ liệu và học máy trong môi trường dữ liệu lớn có thể được bắt đầu từ ba phương diện: 1) Từ quản trị, lấy mẫu và lựa chọn đặc trưng của dữ liệu lớn [10]; 2) Phát triển nghiên cứu các thuật toán phân cụm và phân loại cho các dữ liệu lớn. v.v. [11]; 3) Phát triển các thuật toán song song, ứng dụng khai thác kiến thức của dữ liệu lớn, như học máy và khai thác kiến thức dựa trên MapReduce [12]. 3.3. Kĩ thuật xử lý dữ liệu trong lưới điện thông minh Các kĩ thuật xử lý dữ liệu của dữ liệu lớn ngành điện bao gồm kĩ thuật tính toán dạng phân tán, kĩ thuật tính toán trong bộ nhớ và kĩ thuật xử lý luồng. Tính toán dạng phân tán là một phương thức tính toán mới, đòi hỏi sức mạnh tính toán vào nhiều phần nhỏ, phân phối cho nhiều máy tính và tổng hợp thành kết quả cuối cùng. Một đại diện điển hình của tính toán dạng phân tán là mô hình lập trình MapReduce được Google đề xuất. Kĩ thuật tính toán trong bộ nhớ là giải quyết vấn đề đọc dữ liệu hiệu quả và xử lý các phép tính trực tuyến, đưa tất cả dữ liệu vào lớp bên trong. Kĩ thuật này khắc phục được hao tổn số lượng lớn thời gian đọc và ghi vào đĩa, tốc độ tính toán đã tăng lên đáng kể đến vài cấp số lượng. EMC, Oracle và SAT đều đã giới thiệu các giải pháp cho tính toán trong bộ nhớ, giảm đơn vị tính thời gian, giải quyết các vấn đề về phân tích thời gian thực. Mô hình xử lý luồng là tổ hợp dữ liệu liên tục thành luồng, khi dữ liệu mới đến thì lập tức xử lý và phản hồi kết quả. Phân tích dữ liệu mới nhất nhanh nhất có thể và đưa ra kết quả, từ đó cung cấp căn cứ ngay lập tức cho người ra quyết định và đáp ứng yêu cầu phân tích với thời gian thực [13]. 3.4. Kĩ thuật hiển thị dữ liệu lớn ngành điện Kĩ thuật hiển thị dữ liệu lớn ngành điện bao gồm trực quan hóa, hiển thị luồng thông tin không gian, luồng lịch sử, v.v [7]. Hiển thị dữ liệu có thể giúp người quản lý trực quan hơn, hiểu chính xác hơn ý nghĩa của biểu hiện dữ liệu, trạng thái vận hành của hệ thống điện. Kĩ thuật trực quan hóa được sử dụng rộng rãi trong việc giám sát thời gian thực trạng thái lưới điện, nâng cao mức độ tự động hóa hệ thống điện. Kĩ thuật hiển thị luồng thông tin không gian được thể hiện trong sự kết hợp các tham số lưới điện và hệ thống thông tin địa lí đã có, bao gồm hiển thị ba chiều trạm biến áp, thực tế ảo và các công nghệ khác. Kết hợp chặt chẽ giữa quản lý thiết bị phân phối điện và hệ thống thông tin địa lí tạo điều kiện cho người quản lý lưới điện hiểu được tình hình thiết bị một cách trực quan, từ đó cung cấp thông tin địa lí mới nhất cho các quyết định của họ. Kĩ thuật hiển thị lưu lượng lịch sử được thể hiện trong việc quản lý và hiển thị dữ liệu lịch sử của lưới điện. Trong các hệ thống điện, phân tích ứng dụng chuyên sâu thường dựa trên cơ sở dữ liệu lịch sử. Từ đó, có thể vẽ ra xu hướng phát triển và dự đoán tương lai; mô phỏng sự phát sinh, diễn biến và khai thác kiến thức, luật tiềm ẩn của các sự kiện. 4. Ứng dụng kĩ thuật dữ liệu lớn trong lưới điện phân phối thông minh Tác giả dựa vào các đặc trưng và mục tiêu chung khi xây dựng lưới điện phân phối thông minh, kết hợp tham khảo kết quả nghiên cứu của các học giả và chuyên gia, trong phần này tiến hành nghiên cứu các mô hình dữ liệu lớn ứng dụng trong lưới điện phân phối thông minh. 4.1. Chẩn đoán trạng thái hoạt động trong lưới điện phân phối Để đánh giá mức độ hoạt động của lưới điện phân phối đưa ra 5 chỉ tiêu lớn cần chẩn đoán và đánh giá mức độ mạnh mẽ trong hệ thống, như Bảng 1. Bảng 1. Sơ đồ cấu trúc chẩn đoán trạng thái hoạt động của lưới điện phân phối Đánh giá dữ liệu lớn trạng thái vận hành lưới điện phân phối Mức độ kết cấu của lưới Mức độ kết cấu của lưới Tỉ lệ liên lạc giữa các đường dây Tỉ lệ liên lạc giữa các phân đoạn Hệ số phân đoạn bình quân Mức dự phòng Tỉ lệ các TBA chỉ một dây cấp Tỉ lệ các TBA chỉ có 1 MBA Độ tin cậy cấp điện Mức độ cung cấp điện phụ tải Tỉ lệ thông qua TBA chính “N-1” Tỉ lệ thông qua đường dây “N-1” Tỉ lệ thông qua TBA chính “N-2” Tỉ lệ thông qua đường dây “N-2” Năng lực tự hồi phục khi sự cố Tỉ lệ lắp đặt thiết bị tự đóng lại Tỉ lệ lắp đặt nguồn cấp điện liên tục Tỉ lệ trang bị nguồn dự phòng (nguồn phân tán) cho khách hàng Tính tối ưu chất lượng điện năng Chất lượng ổn định động Tỉ lệ lắp đặt thiết bị tự động điều chỉnh điện áp VQC Tỉ lệ lắp đặt thiết bị bù công suất phản kháng SVC Chất lượng ổn định tĩnh Tỉ lệ lắp đặt thiết bị hồi phục ổn định điện áp động Tỉ lệ lắp đặt thiết bị hạn chế dòng sự cố các tuyến dây ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 11(132).2018, QUYỂN 1 71 Tính hiệu quả kinh doanh Dung lượng Tỉ lệ mang tải của TBA Tỉ lệ mang tải của đường dây Mức độ quản lý vận hành Tỉ lệ tự động hóa TBA Tỉ lệ các tuyến dây hoàn chỉnh (tốt) Tỉ lệ các thiết bị chính tốt Tính tương tác của lưới điện Năng lực ‘giao tiếp’ với khách hàng Tỉ lệ lắp đặt đồng hồ thông minh Tỉ lệ lắp đặt hệ thống thu thập thông tin khách hàng Tỉ lệ lắp đặt hệ thống phục vụ khách hàng Đáp ứng nhu cầu Tỉ lệ điều khiển phụ tải Tỉ lệ áp giá theo thời gian thực Một trong những ưu điểm của dữ liệu lớn là thống kê thông tin toàn diện, đánh giá từ nhiều quan điểm [14]. Ví dụ, độ tin cậy cấp điện có thể đánh giá gồm: các chỉ tiêu được lấy ra từ sơ đồ cấu trúc, từ xác suất sự cố, hay các chỉ tiêu về chất lượng điện áp để đánh giá. 4.2. Đánh giá các đường dây cấp điện Hình 3. Đánh giá đa chiều trạng thái đường dây cấp điện Một phương pháp đánh giá đa chiều đường dây truyền tải trong lưới trung áp như Hình 3. Trước tiên thiết lập một mô hình nhiều lớp để đánh giá các thiết bị, các phân đoạn đặc biệt trong một giai đoạn. Phương pháp khấu trừ tích lũy được sử dụng để đánh giá các tham số cơ bản, điểm số của mỗi thông số thu được bằng cách kết hợp thời gian đánh giá và phần đánh giá. Cuối cùng, theo điểm số của mỗi thông số, các phân cụm thiết bị, các cột và các giá trị điểm tổng thể được tính tuần tự. Phương pháp đánh giá này kết hợp thời gian và không gian ba chiều, phù hợp với tính đa chiều của dữ liệu lớn và kết quả đánh giá gần với trạng thái thực của đường dây truyền tải [15]. 4.3. Dự báo phụ tải Dự báo phụ tải là điều kiện tiên quyết cho việc vận hành hệ thống điện, giám sát điều khiển dưới thời gian thực, lập kế hoạch hoạt động và phát triển, đó là một thông tin cơ bản mà bộ phận vận hành và lập quy hoạch lưới điện phải có. Mô hình dữ liệu lớn cho dự báo phụ tải như Hình 4. Hình 4. Mô hình dữ liệu lớn cho dự báo phụ tải 4.4. Phân tích đặc điểm và hành vi của khách hàng Thực hiện hợp nhất và lưu trữ dữ liệu đa nguồn như dữ liệu tiêu thụ điện, dịch vụ khách hàng, dân số, v.v. (Hình 5). Các mô hình thu được dùng cho việc dự báo xu hướng phát triển kinh tế, phân tích tỉ lệ cư trú, hỗ trợ quyết định giá điện và đánh giá nhu cầu người dùng. Những dữ liệu này có khối lượng lớn, từ nhiều nguồn và nhiều định dạng khác nhau. Việc tích hợp và phân tích các dữ liệu này cần phải sử dụng các kĩ thuật dữ liệu lớn [16,17]. Đánh giá vị trí cột Cột 1 Cột 2 Cột N Đánh giá hệ thống đường dây truyền tải Vật liệu dẫn điện Thiết bị nối đất Thiết bị phụ trợ Môi trường kênh Móng cột Thân cột Dây nối đất Cách điện Thời gian đánh giá thiết bị Đánh giá các thông số Vị trí không gian thiết bị Tầng ứng dụng Kế hoạch vận hành Quy hoạch lưới điện Kế hoạch tiết kiệm năng lượng Kế hoạch đại tu Kết quả dự báo Tầng phân tích dự báo Xử lí tính toán Mô hình dự báo dài/trung/ngắn/rất ngắn Phân tích các yếu tố nhay cảm Ghép và tích hợp dữ liệu Tầng tích hợp dữ liệu Dữ liệu vận hành Dữ liệu khách hàng Dữ liệu khí tượng địa lí Dữ liệu nhân khẩu và kinh tế ứng dụng kết quả dự báo phụ tải vào điều độ và quy hoạch lưới điện phân phối phân tích các mối quan hệ và yếu tố nhạy cảm ảnh hưởng đến phụ tải, thông qua mô hình dự báo và xử lí số liệu tiến hành dự báo các loại phụ tải. tích hợp dữ liệu tiêu thụ điện năng, kinh tế xã hội và các dữ liệu nội bộ lưới điện đưa ra dữ liệu cơ bản về dự báo phụ tải Dữ liệu ngày nghỉ Dự báo phát triển kinh tế Phân tích tỉ lệ trống các khu dân cư Hỗ trợ quyết định giá điện Đánh giá tín dụng của khách hàng Hình 5. Phân tích tiêu thụ điện năng khách hàng dựa trên khai thác dữ liệu lớn phân tích nhân tố ảnh hưởng hành vi của khách hàng phân tích cường độ ảnh hưởng hành vi của khách hàng Xây dựng mô hình tương quan hành vi khách hàng Phụ tải điện Thông tin thời tiết Mô hình hành vi của khách hàng Phân tích đặc điểm, hành vi tiêu thụ điện của khách hàng dân sinh Phân tích đặc điểm sử dụng điện của khách hàng thương mại Phân tích đặc điểm sử dụng điện của khách hàng công nghiệp Thu thập dữ liệu người dùng Dữ liệu ngành tiếp thị Dữ liệu dịch vụ khách hàng Dữ liệu thông tin địa lý Dữ liệu dân số Dữ liệu thời tiết dung lượng lớn, đa nguồn, cấu trúc dữ liệu không đồng nhất, quản lý và tài chính. Ứng dụng tổng hợp Hiểu hành vi sử dụng điện Nhận biết các mô hình dùng điện Phân tích đặc trưng hành vi dùng điện Tập hợp dữ liệu . Hóa đơn điện Thông tin phí Thông tin khách hàng Cấu trúc lưới Chính sách giá điện . 72 Lê Xuân Sanh 5. Kết luận Trong lưới điện thông minh với số lượng lớn các dữ liệu đo lường, giám sát, thì phương pháp xử lý và khai thác giá trị của các dữ liệu là những vấn đề mà các công ty điện phải đối mặt. Ứng dụng kĩ thuật dữ liệu lớn không chỉ sử dụng được dữ liệu riêng của lưới điện mà còn tận dụng toàn bộ dữ liệu bên ngoài, làm tăng mức độ phát triển, vận hành lưới điện, nâng cao trình độ các công ty điện lực phục vụ xã hội, phục vụ người dùng và mở rộng các dịch vụ giá trị gia tăng. Bài báo đã trình bày những khái niệm và phân tích cơ bản về dữ liệu lớn, nền tảng kết cấu cơ bản, các kĩ thuật liên quan trong lưới điện thông minh. Đồng thời ứng dụng dữ liệu lớn trong lưới điện phân phối như chẩn đoán trạng thái hoạt động của lưới, dự báo phụ tải và hành vi tiêu thụ điện năng của khách hàng. Với những kết quả ban đầu, hi vọng nó có ý nghĩa lớn thu hút các kết quả nghiên cứu trong và ngoài nước để chia sẻ kiến thức và kinh nghiệm nhằm thúc đẩy nghiên cứu và ứng dụng lĩnh vực dữ liệu lớn lưới điện thông minh. Nghiên cứu và ứng dụng kĩ thuật dữ liệu lớn trong lưới điện thông minh là một lĩnh vực phức tạp đòi hỏi một quá trình phát triển lâu dài. Cần sự quan tâm của Chính phủ, tăng cường nguồn nhân lực và tài nguyên vật chất, thúc đẩy cải tiến công nghệ then chốt cho dữ liệu lớn. Cần xây dựng hệ thống tiêu chuẩn quốc tế thống nhất, mô hình và các kĩ thuật về dữ liệu lớn trong lưới điện thông minh. Khuyến khích các công ty điện lực xây dựng một kiến trúc dữ liệu lớn phù hợp với sự phát triển của công ty, sử dụng kĩ thuật dữ liệu lớn để tạo ra doanh thu cho công ty. Từng bước thâm nhập các kĩ thuật dữ liệu lớn vào mọi khía cạnh của lưới điện thông minh. TÀI LIỆU THAM KHẢO [1] Birney E. The making of Encode: lessons for big-data projects. Nature, 2012(489): 49-51Irving M R, Luan W P, Danial J S. Supply restoration in distribution networks using a genetic algorithm. Electrical Power and Energy Systems 2002, 10: 447-457. [2] UN Global Pulse. Big data for development: challenges & opportunities.(05- 11-2012) Development [3] Agrawal D, Bernstein P, Bertino E, et al. Challenges and opportunities with big data. [4] Meng Xiaofeng, Ci Xiang. Big data management: concepts, techniques and challenges. Journal of Computer Research and Development, 2013, 50(1): 146-169. [5] EPRI. The whys, whats and hows of managing data as an asset. USA: EPRI, 2014. [6] IBM. Managing big data for smart grids and smart meters. IBM Software White Paper. publish/Business_Strategy/Managing-big-data-for-smart-grids-and- smart-meters-5248.html. [7] Informatization Committee of the CSEE. White paper of electric power big data of China. Beijing: China Electric Power Press, 2013. [8] Zhao Gang. Big data technology and application practice. Beijing: Publishing House of Electronics Industry, 2013: 56-58. [9] McKinsey& Company. Big data: the next frontier for innovation, competition, and productivity. New York: McKinsey Global Institute, 2011: 1-28. [10] Wu Xindong, Zhu Xingquan, Wu Gongqing, et al. Data mining with big data. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(1): 97-107. [11] Havens T C. Fuzzy c-means algorithms for very large data. IEEE Transactions on Fuzzy System, 2012, 20(6): 1130-1146. [12] Shim K. Algorithms for big data analysis. Proceedings of the VLDB Endowment, 2012, 5(12): 2016-2017. [13] Kong Yinghui. Study on data stream techniques and its application in electric power information processing. Heibei: North China Electric Power University, 2009. [14] Wang jiye, Ji Zhixiang, Shi Mengjie, et al. Intelligent equipped with TVU data demand analysis and application. Proceeding of the CSEE, 2015, 35(8): 1829⁃1836. [15] Hung Ronghui, Li Xun, LYU Qishen, et al. Research on the defect analysis of power equipment based on data mining. Electrical Application, 2015, 34(2): 46⁃50. [16] Hu Changhua. Based on user behavior analysis of peak load shifting management system research and design. Modern Computer (professional edition), 2014(21): 42⁃47. [17] Quilumba F L, Lee W J, Huang H, et al. Using smart meter data to improve the accuracy of intraday load forecasting considering customer behavior similarities. IEEE Transactions on Smart Grid, 2015, 6(2): 911⁃918. (BBT nhận bài: 20/8/2018, hoàn tất thủ tục phản biện: 05/9/2018)