نوع مقاله : مقاله پژوهشی

نویسندگان

• محمدرضا اصغری اسکوئی ¹
• فرهاد فلاحی ²
• میثم دوستی‌زاده ³
• سعید مشیری ⁴

¹ گروه علوم رایانه، دانشکده علوم ریاضی و رایانه، دانشگاه علامه طباطبائی

² پژوهشگر پژوهشگاه نیرو، دانشجوی دکتری

³ استادیار دانشکده فنی و مهندسی دانشگاه لرستان

⁴ دانشیار دانشکده اقتصاد دانشگاه علامه طباطبائی

چکیده

مطالعات اخیر بازارهای عمده‌فروشی برق عموماً براساس مدل‌های چندعاملی است، که در آن‌ها تعادل بازار برپایه رقابت و تعامل عوامل متعدد با یک دیگر به دست می‌آید. از ویژگی‌های اصلی این نوع مدل‌ها، امکان یادگیری عوامل از نتایج رفتار خود و سایرین دریک محیط رقابتی است. در بازار عمده‌فروشی برق، هرعامل یک واحد تولیدکننده برق است که به صورت مستقل و هوشمند با سایر عامل‌ها برای عرضه برق با قیمت‌های پیشنهادی رقابت می‌کند. فرآیند قیمت‌گذاری را می‌توان یک بازی ایستا فرض نمود که هرروز تکرار می‌شود. در این بازی هر عامل قیمت پیشنهادی خود را مستقلا اعلام نموده و بهره‌بردار با توجه به تقاضای بار مصرفی و محدودیت‌ها، بهترین پیشنهادها را انتخاب می‌نماید. عامل به صورت عقلائی عمل نموده و با انتخاب استراتژی مناسب، به دنبال بیشینه نمودن سود بلندمدت خود است. در این راستا، عامل از قدرت یادگیری و بهبود استراتژی قیمت‌گذاری، که نقش بسیار تعیین کننده در موفقیت عامل دارد، استفاده می‌کند. یادگیری تقویتی یک روش کلاسیک است که در مدل‌های چندعاملی امکان یادگیری مبتنی بر سعی و خطا را فراهم می‌نماید. هدف این مقاله کاربرد و مطالعه روش‌های یادگیری تقویتی در مدل چندعاملی بازار برق ایران و مقایسه آن‌ها با دو استراتژی تصادفی و حریصانه است. در این مطالعه، میزان سود واحدها و زمان رسیدن به حالت تعادل به عنوان ملاک ارزیابی در نظر گرفته شده است. نتایج شبیه سازی نشان می‌دهد، استراتژی یادگیرنده سود عامل‌ها را به طور معناداری افزایش می‌دهد و سرعت همگرائی به حالت تعادل را بیشتر می‌کند.

کلیدواژه‌ها

• مدل‌سازی عامل‌محور
• بازار برق
• یادگیری تقویتی
• نظریه بازی‌ها
• ایران

عنوان مقاله [English]

Reinforcement Learning Applied to Multi Agent Modelling, the Case of the Iranian Power Market

نویسندگان [English]

• Mohammadreza Asghari Oskoei ¹
• Farhad Fallahi ²
• Meysam Doostizadeh ³
• saeed Moshiri ⁴

¹ Computer Science Dept, Allameh Tabataba'i University

² Research Fellow in Niro Research Inst.,

³ Assistant Prof., Lorestan University,

⁴ Associate Prof., Allameh Tabataba’i University

چکیده [English]

With increasing competition in the wholesale Electricity markets and advances in behavioral economics in recent years, the multi-agent modeling approach has been applied widely to simulate the outcome of the markets. The electricity market consists of power generating agents that compete over production in daily auction conducted by an independent system operator (ISO). The market clearing mechanism can be seen as a static game that repeats every hour. In this game, an agent proposes her price for the next day and the ISO chooses the best proposals that minimizes the total costs given the demand and the technical constraints. Agents are also assumed to learn from the outcomes and adjust their biding strategy accordingly. In this paper, we develop an agent-based model for the day-ahead and pay-as-bid electricity market in Iran. The objective is to compare the outcome of the market measured by the agents profit and the time to converge using three different strategies: greedy, random and reinforcement learning. The simulation results indicate that the reinforcement learning leads to higher profits with a faster convergence rate than the other two strategies.

کلیدواژه‌ها [English]

• Agent Based Model
• Electricity Market
• Reinforcement Learning
• Game Theory
• Iran