مطالب اسلایدهای ابتدایی این پاورپوینت به شرح زیر است

تعداد اسلاید : 23 اسلاید

1 یادگیری تقویتی و سیستم یادگیری تقویتی 2 یادگیری تقویتی در یک مسئله یادگیری تقویتی با عاملی روبرو هستیم که از طریق سعی و خطا با محیط تعامل کرده و یاد میگیرد تا عملی بهینه را برای رسیدن به هدف انتخاب نماید. 3 یادگیری تقویتی یادگیری تقویتی از اینرو مورد توجه است که راهی برای آموزش عاملها برای انجام یک عمل از طریق دادن پاداش و تنبیه است بدون اینکه لازم باشد نحوه انجام عمل را برای عامل مشخص نمائیم.
دو استراتژی اصلی برای اینکار وجود دارد:
یکی استفاده از الگوریتم های ژنتیکی
و دیگری استفاده از روشهای آماری و dynamic programming
در RL روش دوم مد نظر است.
4 یادگیری تقویتی محیط مجموعه ای از S حالت ممکن است.
در هر لحظه t عامل میتواند یکی از A عمل ممکن را انجام دهد.
عامل ممکن است در مقابل عمل و یا مجموعه ای از اعمالی که انجام میدهد پاداش r را دریافت کند. این پاداش ممکن است مثبت و یا منفی )تنبیه(باشد s9 s5 s4 s2 … … … s3 s1 a9 a5 a4 a2 … a3 a1 5 یادگیری تقویتی عامل در محیط حرکت کرده و حالتها و پاداشهای مربوطه را به خاطر می سپارد.
عامل سعی میکند طوری رفتار کند که تابع پاداش را ماکزیمم نماید. s9 s5 s4 s2 … … … s3 s1 a9 a5 a4 a2 … a3 a1 6 یادگیری تقویتی پاداش Rt مجموع پاداشی است که عامل با گذشت زمانt جمع کرده است.

7 یادگیری تقویتی فرض می کنیم که اعمال عامل از قانونی مثل p تبعیت میکند که آنرا خط مشی و یا policy می نامیم.
از آنجائیکه Rt یک متغیر تصادفی است لذا امید ریاضی آن تحت یک خط مشی خاص و برای یک حالت معین برابر خواهد بود با:
هدف یادگیری تقویتی این است که یک خط مشی بهینه ای مثل p* پیدا نماید به نحویکه مقدار امید ریاضی فوق را برای تمامی حالات ماکزیمم کند. 8 مقایسه RL با یادگیری با ناظر یادگیری تقویتی از دو جنبه با یادگیری با ناظر تفاوت دارد:
مثالهائی یادگیری بصورت زوج >ورودی خروجی< مطرح نمیشوند. بلکه بعد از اینکه عامل عملی را انجام داد پاداشی را دریافت میکند و به مرحله بعدی میرود.عامل هیچ گونه اطلاعی در مورد اینکه در هر حالت بهترین عمل چیست را ندارد. بلکه این وظیفه عامل است که در طول زمان تجربه کافی در مورد حالتها، عمل های ممکن، انتقال و پاداش جمع آوری نموده و عملکرد بهینه را یاد بگیرد.
تفاوت دیگر در اینجاست که سیستم باید کارائی آنلاین بالائی داشته باشد. زیرا اغلب ارزیابی سیستم با عمل یادگیری بطور همزمان صورت میپذیرد.
9 Supervised Learning:
Example Class Reinforcement Learning:
Situation Reward Situation Reward … مقایسه RL با یادگیری با ناظر 10 Exploitation versus Exploration همانگونه که گفته شد یک تفاوت اساسی میان یادگیری تقویتی و یادگیری با ناظردر این است که در یادگیری تقویتی عامل مجبور به جستجوی محیط است. در اینگونه مسائل با این سوال روبرو هستیم که وقتی که عامل در حالتی قرار میگیرد که پاداش مناسبی دریافت میکند آیا باید جستجو برای حالتهای بهتر را ادامه دهد و یا باید در همان مرحله متوقف شود.؟
تکنیکهای متفاوتی برای اینکار معرفی شده است از جمله:
Dynamic Programming
Learning Automata
Adaptive control
11 Dynamic Progra