کاربرد یادگیری تقویتی در یک مدل‌سازی عامل‌محور برای بازار عمده‌فروشی برق ایران

نوع مقاله: مقاله پژوهشی

نویسندگان

1 گروه علوم رایانه، دانشکده علوم ریاضی و رایانه، دانشگاه علامه طباطبائی

2 پژوهشگر پژوهشگاه نیرو، دانشجوی دکتری

3 استادیار دانشکده فنی و مهندسی دانشگاه لرستان

4 دانشیار دانشکده اقتصاد دانشگاه علامه طباطبائی

چکیده

مطالعات اخیر بازارهای عمده‌فروشی برق عموماً براساس مدل‌های چندعاملی است، که در آن‌ها تعادل بازار برپایه رقابت و تعامل عوامل متعدد با یک دیگر به دست می‌آید. از ویژگی‌های اصلی این نوع مدل‌ها، امکان یادگیری عوامل از نتایج رفتار خود و سایرین دریک محیط رقابتی است. در بازار عمده‌فروشی برق، هرعامل یک واحد تولیدکننده برق است که به صورت مستقل و هوشمند با سایر عامل‌ها برای عرضه برق با قیمت‌های پیشنهادی رقابت می‌کند. فرآیند قیمت‌گذاری را می‌توان یک بازی ایستا فرض نمود که هرروز تکرار می‌شود. در این بازی هر عامل قیمت پیشنهادی خود را مستقلا اعلام نموده و بهره‌بردار با توجه به تقاضای بار مصرفی و محدودیت‌ها، بهترین پیشنهادها را انتخاب می‌نماید. عامل به صورت عقلائی عمل نموده و با انتخاب استراتژی مناسب، به دنبال بیشینه نمودن سود بلندمدت خود است. در این راستا، عامل از قدرت یادگیری و بهبود استراتژی قیمت‌گذاری، که نقش بسیار تعیین کننده در موفقیت عامل دارد، استفاده می‌کند. یادگیری تقویتی یک روش کلاسیک است که در مدل‌های چندعاملی امکان یادگیری مبتنی بر سعی و خطا را فراهم می‌نماید. هدف این مقاله کاربرد و مطالعه روش‌های یادگیری تقویتی در مدل چندعاملی بازار برق ایران و مقایسه آن‌ها با دو استراتژی تصادفی و حریصانه است. در این مطالعه، میزان سود واحدها و زمان رسیدن به حالت تعادل به عنوان ملاک ارزیابی در نظر گرفته شده است. نتایج شبیه سازی نشان می‌دهد، استراتژی یادگیرنده سود عامل‌ها را به طور معناداری افزایش می‌دهد و سرعت همگرائی به حالت تعادل را بیشتر می‌کند.

کلیدواژه‌ها


عنوان مقاله [English]

Reinforcement Learning Applied to Multi Agent Modelling, the Case of the Iranian Power Market

نویسندگان [English]

  • Mohammadreza Asghari Oskoei 1
  • Farhad Fallahi 2
  • Meysam Doostizadeh 3
  • saeed Moshiri 4
1 Computer Science Dept, Allameh Tabataba'i University
2 Research Fellow in Niro Research Inst.,
3 Assistant Prof., Lorestan University,
4 Associate Prof., Allameh Tabataba’i University
چکیده [English]

With increasing competition in the wholesale Electricity markets and advances in behavioral economics in recent years, the multi-agent modeling approach has been applied widely to simulate the outcome of the markets. The electricity market consists of power generating agents that compete over production in daily auction conducted by an independent system operator (ISO). The market clearing mechanism can be seen as a static game that repeats every hour. In this game, an agent proposes her price for the next day and the ISO chooses the best proposals that minimizes the total costs given the demand and the technical constraints. Agents are also assumed to learn from the outcomes and adjust their biding strategy accordingly. In this paper, we develop an agent-based model for the day-ahead and pay-as-bid electricity market in Iran. The objective is to compare the outcome of the market measured by the agents profit and the time to converge using three different strategies: greedy, random and reinforcement learning. The simulation results indicate that the reinforcement learning leads to higher profits with a faster convergence rate than the other two strategies.

کلیدواژه‌ها [English]

  • Agent Based Model
  • Electricity Market
  • Reinforcement Learning
  • Game Theory
  • Iran

اصغری‌اسکوئی، محمدرضا (1394)، پیش‌بینی سری‌های زمانی مالی با کمک شبکه عصبی تاخیری، فصلنامه پژوهش‌های اقتصادی ایران، سال 15، شماره 57، صص 75 – 108.

رحیمیان، مرتضی (1390)، سنجش و تحلیل بازار در بازار برق به کمک اقتصاد محاسباتی عامل محور، رساله دکتری، دانشگاه فردوسی مشهد.

ناظمی، علی، خوش‌اخلاق، رحمان، عمادزاده، مصطفی، شریفی، علی‌مراد (1390)، برآورد قدرت بازار در بازار برق عمده فروشی ایران، تحقیقات مدل‌سازی اقتصادی، دوره1، شماره4، صص 31 – 55.

مویدکاظمی، حمیدرضا و شیخ‌الاسلامی، محمدکاظم (1393)، ارزیابی راهبردهای توسعه تولید از دید رگولاتور با در نظر گرفتن دینامیک سرمایه‌گذاری بازیگران بازار»، بیست و هشتمین کنفرانس بین المللی برق، تهران، ایران، صص 1- 7.

فلاحی، فرهاد  (۱۳۹۱)، «گزارش تحلیلی بازار برق ایران: کاربست شبیه­سازی عامل محور در مطالعات بازار برق»، گزارش‌های پژوهشکده انرژی و محیط زیست پژوهشگاه نیرو، گروه پژوهشی اقتصاد و مدیریت برق.

فلاحی، فرهاد (۱۳۹۲)، «بررسی و تعیین مدل خرید انرژی الکتریکی در بازار روزانه از دید بهره بردار مستقل سیستم»، گزارش‌های پژوهشکده انرژی و محیط زیست پژوهشگاه نیرو، گروه پژوهشی اقتصاد و مدیریت برق.

مشیری، سعید، مروت، حبیب، ونصیری ، عباس (1397)، بررسی تاثیر افزایش قیمت سوخت بر قیمت برق با استفاده از مدلسازی عامل بنیان بازار برق، فصلنامه مطالعات اقتصاد انرژی، سال 14، شماره 56، صص 12-22.

حاج‌رسولیها، حسین (1393). هوش مصنوعی پیشرفته، تالیف راسل و نورینگ، جلد دوم، چاپ سوم، تهران: نشر نیازدانش.