طراحی سرویس طرح‌ریزی مشارکتی برخط مبتنی بر فرایند مارکوف در حوزه فرماندهی و کنترل

نویسندگان

1 دانشگاه صنعتی مالک اشتر

2 صنعتی مالک اشتر

3 صنعتی امیرکبیر

چکیده

رویکرد‌های طرح‌ریزی موجود اگر چه می‌توانند در شرایط عدم قطعیت و به صورت غیر متمرکز طرح‌ریزی نمایند، اما اکثر آن‌ها در مواقعی که ‏شرایط پیچیده‌ سناریوهای فرماندهی و کنترل همچون نیاز به طرح‌ریزی دقیق، تصمیم‌گیری بلادرنگ، ‏ارتباطات محدود بین عامل‌ها و پویایی محیط حاکم است، بازده خوبی نداشته و گاهی با شکست مواجه می‌شوند. از بین رویکردهای موجود، مدل‌های توسعه یافته DEC-POMD مانند MAOP-COMM، برای این شرایط مناسب هستند. می‌توان با بهبود مدل MAOP-COMM، طرح‌ریزی دقیق‌تری برای عامل‌ها انجام داد. در این مقاله با ارتقاء اکتشاف ‏تابع ارزش و به‌کارگیری "پیش‌بینی دومرحله‌ای" در استراتژی یافتن خط مشی بهینه و اخذ تصمیم‌ صحیح، الگوریتم اخیر بهبود داده شد. در مرحله بعد رویکرد بهبود یافته را در قالب یک وب سرویس پیاده‌سازی شد تا برای هر سناریوی دلخواه با شرایط محدود شده، سناریو طراحی شده را از معمار سناریو دریافت کند و با فرض پویا بودن محیط، طرح‌ریزی لازم را به طور برخط انجام داده و دنباله اقدامات عامل‌ها را در هر لحظه تعیین نماید. نتایج به‌دست آمده، برتری ‏الگوریتم بهبود یافته را نشان می‌دهد، به گونه‌ای که سرویس طراحی شده با الگوریتم بهبود یافته می‌تواند در شرایط عدم قطعیت به صورت ‏غیر متمرکز و برخط با کارایی مضاعف و درصد بالایی از صحت تصمیم‌گیری برای عامل‌ها طرح‌ریزی نماید.

کلیدواژه‌ها


عنوان مقاله [English]

Design a Collaborative Online Planning Service based on Markov Process in Command and Control Domain

چکیده [English]

Although existing Planning methods can plan under uncertainty and decentralize situation, most of them malfunction in some complicated conditions of command and control scenarios such as real time decision making, needing more accurate planning, bounded communication between agents, dynamic worlds and partially observable environments. Among suitable models for these situations, extended models of DEC-POMDPs such as MAOP-COMM can be considered for handing  these conditions. It is possible to improve MAOP-COMM model to do planning for agents with double precision. In this paper, the algorithm of MAOP-COMM model has been improved by upgrading value function heuristic and using "two steps look ahead" in the strategy of finding best policy and making correct decision. In the next step, the improved method was implemented in a web service frame work. The web service gets the desired bounded scenario from the architect and performs online planning to generate plans and sequence of actions regarding to environment dynamicity. The obtained results, show preference of the improved algorithm, So that the designed service with improved algorithm can perform online planning for agents in a decentralized multi-agent system in uncertain condition with better performance and high percent of correct decision making.  

کلیدواژه‌ها [English]

  • Collaborative Planning
  • Command and Control
  • Online Planning
  • Service Orient Architecture
  • Markov Decision Process