Versterkingsleermetode

Versterkingsleër was gebruik om BostonDynamics se Spot robot te help om beter te leer loop

'n Versterkingsleermetode is 'n manier in kunsmatige intelligensie wat gebruik word om 'n rekenaar op te lei om besluite te neem. Die gerekenariseerde besluitnemer word 'n agent genoem. Die agent word opgelei deur belonings of strawwe van die omgewing te ontvang na gelang van die gewenstheid van die besluit wat hy geneem het. Gewenste besluite word positief beloon en ongewenste besluite word gestraf.

Die agent voer sy besluite deur middel van 'n aksie uit wat dan die toestand van die omgewing verander waarin die agent hom bevind. Die agent se besluit oor die aksie wat gepleeg moet word is onderhewig aan die toestand van die omgewing. Die primêre doel van die agent is om die aksie te pleeg wat die grootste verwagte beloning vir sy huidige toestand sal lewer. Dit beteken die agent se besluite is gemik op langtermyn- pleks van korttermynbelonings. Klem word dus daarop geplaas dat besluite geneem word gebaseer op die omgewing se toestand wat die agent waarneem. Die agent se inagneming van die omgewing se toestand onderskei die versterkingsleermetode van ander masjienleertegnieke soos evolusionêre metodes.

Geskiedenis

Een van die beginstadiums van die versterkingsleermetode kan teruggevoer word na die navorsing wat die Amerikaanse sielkundige Edward Thorndike in die 1800's op diere gedoen het . Thorndike het navorsing gedoen op die probeer-en-tref metode van diere gebruik om te leer en dit sodoende met die “Wet van Effek” beskryf . Thorndike het die gedrag van katte waargeneem deur hulle in 'n “raaiselboks” te geplaas, waarvan hulle dan moes ontsnap deur toepaslike aksies te doen. Byvoorbeeld, ’n kat kon die deur van die raaiselboks oopmaak deur ’n reeks van drie afsonderlike aksies uit te voer: ’n platform agter in die sakkie te deur te druk, ’n tou te trek deur daarop te krap, en ’n arm op of af te druk . Met die aanvanklike eksperiment, waar kos buite die raaiselboks in sig was, het meeste van Thorndike se katte “duidelike tekens van ongemak” en buitengewone energieke aktiwiteite “om intuïtief te probeer ontsnap” getoon . Daaropvolgende eksperimente met verskillende katte in verskillende raaiselbokse met verskillende ontsnappingsmeganismes, het Thorndike die hoeveelheid tyd opgeteken wat elke kat neem om te ontsnap . Hy het waargeneem dat die tyd byna altyd afgeneem het met opeenvolgende ervarings, byvoorbeeld van 300 sekondes tot 6 of 7 sekondes . Dit het Thorndike gelei tot die formulering van ’n aantal “wette” van leer, waarvan die mees invloedryke die wet van effek was . Die naam is as gevolg van die effek wat beloonde gebeurtenisse op die aksies van diere het .

Versterkingsleer kan gebruik word om diere op te lei deur 'n beloning (kos) toe te dien wanneer 'n bevel gehoorsaam word.

Die wet van effek word deur sielkundiges as instrumentele kondisionering geklassifiseer omdat die leer van die dier afhang van dit wat die dier doen: die lewering van ’n beloning/versterking is afhanklik van wat die dier doen (soos om te ontsnap) . In kontras bestaan daar ook klassieke kondisionering eksperimente, waar die beloning/ versterkende stimulus onafhanklik van die dier se gedrag toegeken word . Die term “versterking”, in die konteks van dierleer, het eers later in gebruik gekom met die eerste verskynsel in Pavlov se 1927 monografie oor gekondisioneerde reflekses .

Pavlov het versterking beskryf as die versterking van ’n gedragspatroon wanneer ’n dier ’n stimulus (versterker) ontvang in kombinasie met ’n ander stimulus of ’n reaksie wat die gedragspatroon vorm . Om as ’n versterker te dien, moet die versterkte gedragspatroon aanhou ná die stimulus wegneem is . ’n stimulus wat slegs die dier se aandag trek of gedrag aanwakker sonder blywende verandering word nie as ’n versterker beskou word nie. Pavlov se eksperimente het behels om die speekselreflekse van honde te meet ná aanbieding van kos . Kort voor die aanbieding van kos, was daar altyd 'n geluid gespeel sodat die honde die metronoom stimulus assosieer met etens tyd . Pavlov het die honde later só gekondisioneer dat hulle speekselkliere geaktiveer word deur net die geluid van die klank, al was daar geen kos betrokke nie .

Die idee om probeer-en-tref leer toe te pas in ’n rekenaar wetenskap het al vroeg in die bestaan kunsmatige intelligensie ontstaan . In ’n 1948 verslag het Alan Turing ’n ontwerp beskryf vir ’n “genot-pyn-stelsel” wat volgens die wet van effek werk . Baie kreatiewe elektro-meganiese masjiene is gebou wat die probeer-en-tref leer metode gedemonstreer het. Die vroegste is waarskynlik ’n masjien deur Thomas Ross (1933) wat daarin geslaag het om ’n roete deur 'n eenvoudige doolhof te vind en te onthou.

Een van die eerste mylpale multi-agent VL is TD-Gammon agent, wat opgelei was om Backgammon te speel . TD-Gammon is in die 1990’s ontwikkel en moes unieke VL probleme oorkom soos teenstanders wat aktief die toestand van die bord verander (toestand van die bord word nie deur net een agent bepaal nie), asook gevorderde strategieë soos die blokkeer van die teenstander met die agent se eie stukke . Die agent word opgelei deur teen homself te speel en kon omtrent so goed soos die beste backgammon-rekenaarsprogram na ongeveer 300 000 wedstryde word . 'n Latere weergawe, TD-Gammon 3.0, kon ’n professionele backgammon-speler (Kazaros) klop ná opleiding van ongeveer 1 500 000 speletjies. TD-Gammon het die vaardigheids vlakke van menslike toernooispel verhoog deur nuwe strategieë bekend te stel wat voorheen verborge vir professionele spelers was.

VL kan gebruik word om 'n agent te leer Atari 2600 speletjies speel deur net die beeld van die speletjie en die telling van die speletjie as insette te voorsien.

’n Artikel wat deur Google DeepMind in 2015 uitgereik is, bespreek die gebruik van Diep Q-leer om Atari 2006-speletjies te speel deur slegs die beeld van die skerm en die speletjie se telling as insette te gebruik. Geen addisionele insette was benodig om die agent te leer nie . Die Diep Q-netwerk argitektuur was selfs suksesvol oordraagbaar na ander Atari 2006 speletjies weens die VL agente se vermoë om op baie van die Atari 2006 speletjies te oefen met dieselfde algoritme, netwerkargitektuur en hiperparameters .

'n Moderne mylpaal vir VL is in Maart 2016 deur Google DeepMind se AlphaGo agent behaal deur die beste mens speler (Lee Sedo) 4-1in ’n tradisionele Chinese bordspel (Go) geklop het. 'n Verbeterde weergawe, AlphaGo Zero, het baie tradisionele Go kennis self herontdek en ook nuwe strategieë verskaf wat professionele spelers met nuwe taktieke geïnspireer het . Ongelukkig het AlphaGo ook die negatiewe effekte van VL uitgewys deurdat Lee Sedol heeltemal van Go afgetree het nadat AlphaGo Zero onoorwinbaar was.

Aktuele teenwoordigheid van VL kan verder gevind word in die gebruik by groot taalmodelle soos ChatGPT, Grok en Gemini. VL word veral gebruik om die groot taalmodelle die vermoë te gee om te "dink" en om 'n menslike terugvoer element te verskaf sodat die groot taalmodelle response gee wat meer aanneemlik is vir mense . Die bydraes van VL tot intelligente sisteme en as ewige belang tot rekenaar wetenskap was veral erken toe A. Barto en R. Sutton die ACM A.M. Turing Toekenning van 2024 verower het.

Raamwerk

Die besluitnemingsproses van VL kan wiskundig geformaliseer word met die Markov-besluitnemingsproses (MBP) . VL bestaan ​​normaalweg uit 'n beleid, beloning sein, waardefunksies en opsioneel 'n model van die omgewing . Die MBP kan met die onderstaande diagram uitgebeeld word .

Die bostaande diagram illustreer die MBP deur 'n agent en omgewing voor te stel wat met mekaar interaksie het deur middel van aksies, toestande en belonings. Hierdie interaksies word die trajek van die proses genoem . Die trajek hou tred met die aksie wat deur die agent op elke tydstip uitgevoer word en die gevolglike toestand-beloningpaar wat van die omgewing ontvang word $(S_{0},A_{0},R_{1},S_{1},A_{1},S_{2},A_{2},R_{3},...)$ . Die tydstip van die trajek hoef nie vas te wees nie en die oorgange van 'n toestand-aksiepaar na 'n toestand-beloningpaar kan stogasties wees . Die voorwaardelike waarskynlikhede om 'n spesifieke volgende toestand ($s'$) en beloning ($r$) paar te ontvang, gegewe die huidige toestand ($s$) en aksie ($a$) paar, word die dinamika van die MBP genoem en word wiskundig voorgestel as $p(s',r|s,a)$ . Dit is daarom duidelik dat die agent die besluitnemer is en die omgewing alles buite die agent is waarmee die agent interaksie het .

Die toestand is moontlik een van die belangrikste aspekte om in die MBP te definieer, aangesien die dimensionaliteit van die probleem afhanklik is van die toestand . Die toestand moet ideaal gesproke al die inligting bevat wat vir 'n agent benodig word om 'n besluit te neem, sonder om staat te maak om te weet wat in die vorige tydstippe gebeur het (voldoen aan die Markov-eienskap) . Probleme waarin die hele toestand van die omgewing beskikbaar is vir die agent, staan ​​bekend as volledig waarneembare MBP, terwyl probleme waarin sommige aspekte van die toestand vir die agent verborge is, staan bekend ​​as gedeeltelik waarneembare MBP . Die toestand van 'n MBP word voorgestel as 'n vektor van getalle .

Aksies is die besluite wat 'n agent maak, en word ook voorgestel deur 'n vektor van getalle . Die gebruik van 'n vektor beteken dat aksies diskreet of kontinu kan wees, en dat 'n agent verskeie aksies op dieselfde tydstip kan uitvoer . Byvoorbeeld, 'n agent vir 'n selfbesturende motor kan kies om sy motor links te stuur en in dieselfde tydstip te versnel deur 'n vektor met twee numeriese waardes te gebruik. Aksies beïnvloed die onmiddellike belonings wat ontvang word sowel as die toekomstige toestande en belonings wat deur die agent ervaar sal word .

Belonings is altyd 'n enkele getal wat gebruik word om die doelwit aan die agent oor te dra . Dit is belangrik dat belonings en strawwe slegs gebruik moet word om aan te dui of wenslike uitkomste bereik word en dat die belonings en strawwe nie gebruik moet word om aan te dui oor hoe om die uitkomste te bereik nie . Byvoorbeeld, wanneer die kortste pad tussen twee bestemmings verlang word, sal 'n goeie beloningstelsel die lengte van elke pad wat deur die agent geneem word, penaliseer (kortste lengte sal die minste hoeveelheid strawwe hê), terwyl 'n swakker beloningstelsel belonings sal bied vir individuele keuses wat geneem word. Die individuele keuse beloningstelsel word as swak beskou aangesien die doel van die agent is om die indiduele beurt keuses te besluit, pleks daarvan om beveel te word oor watse keuses om te maak. Die proses om 'n goeie beloningstelsel te ontwerp, word belonings ingenieurswese genoem . Gewenste beloningskeuses vertoon eienskappe soos om vinnig te wees om te bereken, gekorreleer te wees met die "ware" beloning, nie baie raserig te wees nie, nie-funksionele vereistes te kodeer (soos vinniger, veiliger of meer doeltreffende oplossings), groot genoeg te wees om van geraas onderskei te word, gereeld plaas te vind, nie te laat na die aksie plaasvind waaraan dit toegeskryf word nie, 'n gladde beloningverspreiding te hê om hakkerige (robotiese) gedrag te voorkom, en eenvoudige verspreidingsvoorwaardes hê .

Die aksie wat onmiddellik na 'n beloning plaasvind, is nie noodwendig die enigste aksie wat bygedra het tot die beloning wat gegee word nie . 'n Reeks vorige aksies het waarskynlik gehelp om die omgewing te skep vir die spesifieke toestand wat die groot beloning uitgedeel het . Daarom kan dit voordelig wees om ook die invloed van toekomstige belonings in ag te neem wanneer 'n sekere aksie by tydstip beloon word deur gebruik te maak van die diskonteerde opbrengs ($G_{t}$). Die diskonteerde opbrengs word uitgedruk as:

$G_{t}\doteq {}R_{t+1}+\gamma R_{t+2}+\gamma ^{2}R_{t+3}+...+\gamma ^{T-t-1}R_{T}\doteq \sum _{k=t+1}^{T}\gamma {}^{k-t-1}R_{k}$

waar $\gamma$ die diskonteringskoers is wat gewig gee aan hoeveel van die toekomstige belonings aan die huidige tydstip toegeskryf moet word . $\gamma =0$ bepaal dat slegs die beloning van die huidige tydstip in ag geneem moet word, terwyl $\gamma =0$ bepaal dat alle toekomstige belonings vanaf die huidige tydstip af gelyke gewigte moet dra. Die simbool $T$ in die vergelyking dui die tydstip aan wanneer 'n episode eindig en is bekend as die terminale toestand . 'n Episode word gedefinieer as die natuurlike subreekse wat geïdentifiseer kan word uit die agent-omgewing-interaksies . Die geval waar T = ∞ word verwys as 'n deurlopende taak, wat beteken dat daar slegs een lange episode van onbepaalde lengte is . Die verwagte opbrengs van die terminale toestand word gedefinieer as null ($G_{t}=0$) aangesien die episode in die terminale toestand geëindig het en geen verdere beloning verwag word nie .

Oplossing Metode

Dit is belangrik dat die MBP-voorstelling van die probleem eenvoudig genoeg moet wees om op te los en te redeneer, terwyl dit steeds verteenwoordigend van die werklike probleem bly . Om die verlangde modeleenvoud te bereik, is dikwels nie 'n maklike taak nie en verg talle iterasies (dit word 'n kuns eerder as 'n wetenskap) . Die ontwikkeling van 'n eenvoudige MBP voorstelling van 'n VL taak is egter die moeite werd, aangesien die MBP model dikwels 'n veel groter effek op die VL se prestasie het as die keuse van die VL-algoritme wat gebruik word .

Die keuse van aksie gegewe die omgewingstoestand van die agent staan bekend as die beleid ($\pi$) van die agent . Die beleid kan deterministies wees wanner $a=\pi (s)$, of stogasties wanner $\pi (a|s)$ (die waarskynlikheid om 'n aksie te neem in 'n gegewe toestand $s$) . Die agent het die taak om die beloning te maksimeer deur die verwagte diskonteerde opbrengs ($G_{t}$) te maksimeer. Dit is van belang om te weet watter toestande en aksies die maksimum verwagte diskonteerde opbrengs het, aangesien die die aksies met die maksimum verwagte diskonteerde opbrengs heel waarskynlik tot die verkryging van die maksimum moontlike beloning sal lei . Die keuse om gulsig die verwagte opbrengs in plaas van die verwagte beloning te gebruik, is te danke aan die feit dat die verwagte opbrengs die langtermyn-beloningsvoordele van 'n toestand/aksie in ag neem en nie net die onmiddellike korttermyn-beloningsvoordele nie .

Die waarde vir 'n agent om in 'n sekere toestand, bekend as die toestandwaarde, $v(s)$ te wees kan voorgestel word met:

$v_{\pi }(s)\doteq \mathbb {E} _{\pi }[G_{t}|S_{t}=s]=\mathbb {E} _{\pi }\left[\sum _{k=0}^{\infty }\gamma ^{k}R_{t+k+1}|S_{t}=s\right]\quad \forall s\in S$

waar $\mathbb {E}$ die verwagte waarde aandui soos tipies in statistieke gebruik word . Die belangrikste aspek van 'n VL algoritme is om 'n metode te vind wat die waardefunksie doeltreffend skat . Die verwagte waarde is dus afhanklik van die statistiese verspreiding van die diskonteerde opbrengs. Die verwagte waarde skat die benaderde waarde wat 'n stogastiese veranderlike waarskynlik sal aanneem. Die wiskundige formule vir die verwagte waarde word gedefinieer deur:

$\mathbb {E} [X]=\sum _{x}p(x)\times x$

waar die verwantskap tussen die statistiese verspreiding van die data en die werklike waarde van die data duidelik getoon word in die berekening van die verwagte waarde . 'n Soortgelyke funksie bestaan ​​vir die aksiewaarde as volg :

$q_{\pi }(s,a)\doteq \mathbb {E} _{\pi }[G_{t}|S_{t}=s,A_{t}=a]=\mathbb {E} _{\pi }\left[\sum _{k=0}^{\infty }\gamma ^{k}R_{t+k+1}|S_{t}=s,A_{t}=a\right]$

wat toon dat die aksiewaarde afhanklik is van die aksie sowel as die toestand . Die aksiewaarde is veral nuttig wanneer daar besluit moet word watter aksie in 'n gegewe toestand geneem moet word, aangesien die aksie met die grootste aksiewaarde heel waarskynlik die grootste beloning sal verskaf .

Die bostaande waarde vergelykings wys verder dat die waardefunksies vir die beleid ($\pi$) as 'n onderskrif bevat. Die onderskrif beklemtoon dat die waardefunksies afhanklik is van die huidige beleid wat die agent volg. Die afhanklikheid van die waardefunksie aan die huidige beleid maak sin, aangesien die beleid die daaropvolgende aksies bepaal wat deur die agent geneem sal word. Die waardefunksies kan egter weer gebruik word om die beleid van die agent te verbeter, aangesien toestande/aksies met die grootse waardefunksies beter keuses aandui .

Die Teoretiese uitdrukking vir die bepaling van die toestandwaardefunksie (die Bellman-vergelyking vir $v_{\pi }$) is :

$v_{\pi }(s)=\sum _{a}\pi (a|s)\sum _{s',r}p(s',r|s,a)[r+\gamma v_{\pi }(s')]\quad \forall s\in S=\sum _{a}\pi (a|s)q_{\pi }(s,a)$

terwyl die Bellman vergelyking vir die aksiewaardefunskie ($q_{\pi }$) gegee is as :

$q_{\pi }(s,a)=\sum _{s',r}p(r,s'|s,a)(r+\gamma \sum _{a'}\pi (a',s')q_{\pi }(s',a'))=\sum _{r,s'}p(r,s'|s,a)(r+\gamma v_{\pi }(s'))$

Dit is miskien 'n bietjie vreemd om te obserweer (uit die bostaande vergelykings) dat die berekening van die waardefunksies vereis om reeds die waarde van die toekomstige toestand te weet. Die dilemma kan opgelos word deur 'n geskatte waarde vir die waardefunksie te gebruik en die waardefunksies dan iteratief op te dateer totdat dit konvergeer . Die opdatering van Bellman se vergelykings deur 'n beleid te volg wat gulsig die maksimum toestandwaarde kies staan bekend as die dinamiese programmeringsalgoritme vir VL .

Daar is egter 'n paar aannames wat die toepaslikheid van dinamiese programmering in die praktyk belemmer, naamlik toegang tot 'n akkurate model van die omgewing, $p(r,s'|s,a)$, voldoende berekeningshulpbronne (berekeningspoed en RAM geheue), en die behoefte vir die toestande om die Markov-eienskap te gehoorsaam . Dit skep dus die behoefte om ander praktiese VL benaderinge te ondersoek.

Hoof benaderinge

Daar is drie hoof kategoriee waarin VL algoritmes verdeel kan word, naamlik tabulere metodes, funksie benadering en beleidgradient metodes .

Tabulere metodes

Tabelmetodes is bekend daarvoor dat hulle diskrete aksie- en toestandsruimtes het . Dit beteken dat daar 'n tabel gekonstrueer kan word waar die rye van die tabel die toestande van die agent verteenwoordig, terwyl die aksies deur die kolomme van die tabel beskryf word . Die algemene vorm van VL algoritmes word tipies beskryf as :

${\text{NuweBenadering}}\gets {\text{OuBenadering}}+{\text{StapGrootte}}[\underbrace {{\text{Teiken}}-{\text{OuBenadering}}} _{\text{fout}}]$

Tabulere metodes kan voorgestel word deur 'n tabel met rye en kolomme wat die waarde van aksies in 'n gegewe toestande verteenwoordig.

waar die stapgrootte 'n hiperparameter is wat deur die $\alpha$ simbool voorgestel word. Groot stapgrootte waardes dui aan dat die foutaanpassing 'n groot effek op die nuwe skatting het, terwyl 'n klein stapgrootte wys dat slegs geringe aanpassings aan die nuwe skatting gemaak moet word . Nie-nul stapgroottes kan help met nie-stasionêre omgewings, aangesien onlangse opdateringsfoute 'n groter gewig dra met aanpassings .

'n Bekende tabulere VL metode (SARSA) vereis 'n eenstapvertraging sodat die volgende beloning, toestand en aksie beskikbaar is vir die opdateringsalgoritme . Die SARSA-algoritme word beskou as 'n in-beleid algoritme aangesien die volgende aksie die beleid gebruik wat opgedateer word . SARSA se opdaterings algoritme word gegee as :

$Q(S_{t},A_{t})\gets Q(S_{t},A_{t})+\alpha \left[R_{t+1}+\gamma Q(S_{t+1},A_{t+1})-Q(S_{t},A_{t})\right]$

'n Klein wysiging aan die SARSA algoritme lewer 'n heeltemal anders VL uit-beleid algoritme, bekend as Q-leer . Q-leer verower die aksiewaardefunksie ($Q$) deur die beleid heeltyd op te dateer met die maksimum beskikbare volgende toestand-aksiewaarde, in plaas daarvan om aan te neem dat die gedragsbeleid die maksimum volgende toestand-aksiewaarde sal kies. Q-leer se opdateerings algoritme word gegee as :

$Q(S_{t},A_{t})\gets Q(S_{t},A_{t})+\alpha \left[R_{t+1}+\gamma \max _{a}Q(S_{t+1},a)-Q(S_{t},A_{t})\right]~.$

Funksiebenadering metodes

Funksiebenadering metodes kan gesien word as 'n kurwe wat gepas word oor tabulere metodes.

Funksiebenadering metodes word gebruik vir VL probleme met kontinue toestandsruimtes en diskrete aksieruimtes . Die primêre doelwit van funksiebenaderingsmetodes is om 'n stel gewigte te vind $({\boldsymbol {w}}\doteq (w_{1},w_{2},...,w_{d})^{\top };{\boldsymbol {w}}\in \mathbb {R} ^{d})$wat gebruik kan word om 'n waardefunksie (${\hat {v}}(s,{\boldsymbol {w}})\approx v_{\pi }(s)$of ${\hat {q}}(s,a,{\boldsymbol {w}})\approx q_{\pi }(s,a)$) te benader. Die benadering metodes wat gebruik word, kan enigiets wees van lineêre funksies tot multi-laag kunsmatige neurale netwerke (KNN) en besluitbome .

Die twee hoof funksiebenaderings metodes is lineêre benadering en nie-lineêre KNN'e. Lineêre benaderings is aanloklik weens hul eenvoudigheid en robuustheid, terwyl KNN's 'n meer veralgemene oplossing is en in staat is om meer komplekse funksies te benader . Die kwaliteit van 'n funksiebenadering word gegee deur die verliesfunksie . Die benadering met die kleinste verlieswaarde word as die optimale benadering beskou.

Lineêre funksies benadering beskik eienskappe soos maklike gradiëntberekeninge, verliesfunksies wat 'n enkele globale minimum het (geen plaaslike minima nie), en gewaarborgde konvergensie (nie-lineêre metodes het dit nie) . Nie-lineêre funksies word gebruik wanneer komplekse waardefunksies benader moet word . Oor die algemeen word eenvoudiger modelle bo komplekse modelle in die industrie verkies, aangesien hulle eenvoudiger is om te implementeer, beter verstaan word ​​en meer robuust is .

'n Kern beperking van funksiebenadering metodes is die feit dat die dimensionaliteit van die gewigte tipies minder is as die aantal toestande . Wanneer daar minder gewigte as toestande/kenmerke is, beteken dit dat die verandering van 'n enkele gewig om die benadering van een toestand te verbeter, die benadering van ander toestande negatief kan beïnvloed . Die beperking beskik ook oor voordele, soos om meer veralgemeenbaar te wees vir verskeie toestande, en om 'n agent se prestasie op gedeeltelik waarneembare probleme te verbeter .

Beleidgradiënt metodes

Beleidsgradiente verskaf nie 'n waarde vir aksies nie, maar liewer die waarskeinlikheid om 'n spesifieke aksie te neem.

Waardegebaseerde metodes kan nie groot/deurlopende aksieruimtes met bestaande tegnologie hanteer nie, aangesien die berekenings kompleksiteite te groot is vir die soek na 'n maksimum aksiewaarde wanneer al die moontlike aksiewaardes nagegaan word . 'n Alternatief is om eerder te fokus op die konstruksie/verbetering van die beleid in plaas van die waardefunksies .

Metodes wat daarop gemik is om die beleid direk te verbeter, staan ​​bekend as beleidsgradiëntmetodes. Die metodes kan abstrak raak aangesien die gradiënt van die beleid bereken word om te bepaal hoe die beleid verbeter moet word . Voordele van beleidsgradiënt metodes is hul vermoë om op deurlopende aksieruimtes toegepas te word, sterker konvergensiewaarborge in vergelyking met waardegebaseerde metodes, en die vermoë om stogastiese beleide direk te leer om natuurlik eksplorasie aan te moedig . Die optimaliteit van beleidsgradiëntmetodes teenoor waardegebaseerde metodes is probleemafhanklik, met sommige probleme wat eenvoudiger beleidsvoorstelle het terwyl ander probleme eenvoudiger waardefunksievoorstelle het .

Met beleidsgradiënt metodes word die beleid self geparametriseer met die gewigte ${\boldsymbol {\theta }}\in \mathbb {R} ^{d'}$sodat $\pi (a|s,{\boldsymbol {\theta }})={\text{Pr}}\{A_{t}=a|S_{t}=s,{\boldsymbol {\theta }}_{t}={\boldsymbol {\theta }}\}$ . Die geparametriseerde beleid se gewigte kan met 'n lineêre funksie of 'n ANN benader word, op 'n soortgelyke wyse as wat funksiebenaderings gedoen is. Die beleid kan op enige manier geparametriseer word, solank as wat $\pi (a|s,{\boldsymbol {\theta }})$differensieerbaar is met betrekking tot $\theta$ . Daar word verder aanbeveel dat die beleid nie heeltemal deterministies ($\pi (a|s,{\boldsymbol {\theta }})\in (0,1)$) moet wees nie, om te verseker dat agente steeds op 'n natuurlike wyse kan verken .

Karakteristieke van VL

'n Paar karakteristieke van VL word in die afdeling bespreek.

Optimale beleid

'n Optimale beleid het 'n verwagte waarde groter as of gelyk aan die verwagte waarde van enige ander beleid vir alle moontlike toestande . Die verhouding tussen die verwagte waarde van 'n optimale beleid in vergelyking met ander beleide kan wiskundig voorgestel word as:

$\pi ^{*}\geq \pi '\iff v_{\pi ^{*}}(s)\geq v_{\pi '}(s)\quad \forall s\in S$

waar $\pi _{*}$ op die optimale beleid aandui . Daar is altyd ten minste een optimale beleid in 'n VL probleem . Die nie unieke eienskap van 'n optimale beleid kan in die praktyk gesien word wanneer verskillende VL algoritmes verskillende speelstyle aanneem. Wiskundig gestel, kan die optimale beleid gebruik word om die optimale toestandwaarde funksie en die optimale aksiewaarde funksie voor te stel :

$v_{*}(s)\doteq \max _{\pi }v_{\pi }(s)\quad \forall s\in S$

$q_{*}(s,a)\doteq \max _{\pi }q_{\pi }(s,a)\quad \forall s\in S,a\in A(s)$

Die optimale beleid kan deterministies wees (altyd die aksie met die hoogste verwagte opbrengs kies) of stogasties (die waarskynlikheid om 'n aksie te kies word beïnvloed deur die verwagte opbrengs daarvan) . Die gepastheid van 'n stogastiese of deterministies optimale beleid is probleem afhanklik . Laastens beïnvloed alle komponente van die MBP die optimale beleid, soos verteenwoordiging van toestande, beskikbare aksies en beloning verspreiding . Die verandering van selfs net een van hierdie komponente kan die optimale beleid drasties verander .

Verken en uitbuit probleem

Die strategie om altyd die maksimum aksiewaarde te kies, staan ​​bekend as uitbuiting aangesien die bekende aksiewaardes voortdurend uitgebuit word vir maksimum belonings . Wanneer die dinamika van die omgewing stogasties is, kan dieselfde aksie in dieselfde toestand lei tot verskillende toekomstige toestande of aksies moontlikheide soos beskryf deur die omgewing se dinamika waarskynlikhede .

Dit beteken dat die VL agent die waarde van 'n aksie kan oorskat of onderskat as dit 'n onvoldoende steekproef van die toestand het . Dit is daarom nodig om toestande te verken wat aanvanklik suboptimaal lyk omdat hulle nie noodwendig voldoende gemonster is nie . 'n Balans moet egter tussen eksplorasie en uitbuiting getref word, aangesien te veel verkenning veroorsaak dat die agent onnodige suboptimale keuses maak, terwyl te min verkenning veroorsaak dat die agent onbewus is van die werklike optimale oplossing . 'n Benadering tot die eksplorasie/uitbuitingsdilemma is om $\epsilon$-gierige aksie seleksie te gebruik . Dit behels om ($\epsilon$ × 100)% van die tyd verkenning aksies te neem en die ander kere die uitbuit aksie te pleeg . Oor tyd kan $\epsilon$ tot nul genader word namate die beleide en waardefunksieverbetering stabiliseer en die uitbuiting strategie meer seker word .

In-beleid en uit-beleid algoritmes

In-beleid algoritmes het slegs een beleid wat ervarings genereer en terselfdertyd verbeter word deur die resultate van die ervarings . Aan die ander kant, het uit-beleid algoritmes twee afsonderlike beleide, een vir die genereer van ervarings en 'n ander beleid wat verbeter word deur die gegenereerde ervarings . Dit mag dalk met die eerste oogopslag onbeduidend voorkom, maar buite-beleid laat toe om 'n skeiding te maak tussen verkenningsstrategieë en die aanleer van 'n beleid .

Bykomende opleidings moontlikhede ontstaan ​​met uit-beleid leer, soos opleiding uit aflyn data, die aanleer van optimale beleide terwyl verkenningsbeleide uitgevoer word, leer uit demonstrasie (nabootsingsleer), en die aanleer van verskeie take parallel vanuit 'n enkele omgewing (verminder tyd om agent op te lei) . Beleidsgebaseerde algoritmes is dikwels sagte (stogastiese) beleide om die beleid te help met verkenning $(\pi (a|s)>0\quad \forall s\in S;a\in A(s))$ . Beleidsgebaseerde algoritmes het die hoofvoordele dat hulle vinniger kan leer (vroeër kan uitbuit) en meer stabiel is om op te lei as uit-beleid algoritmes . Nadele van beleidsgebaseerde algoritmes sluit in swak steekproef doeltreffendheid en 'n ooroptimistiese verwagte waarde terugvoerlus.

Buitebeleidmetodes is gevolglik gewild onder moderne algoritmes, aangesien hulle daarop gemik is om die steekproef doeltreffendheid van VL algoritmes te verbeter deur verbeterde verkenningsmeganismes in te sluit . Uit-beleidalgoritmes bestaan ​​uit 'n teikenbeleid ($pi$) en 'n gedragsbeleid ($b$) . Teikenbeleid is die optimale beleid wat die VL agent probeer leer, terwyl die gedragsbeleid gebruik word om die ervarings te genereer wat gebruik word om die teikenbeleid op te lei . Die gedragsbeleid inkorporeer die verkenningsmeganisme van die opleidingsproses . Uit-beleid algoritmes is bekend daarvoor dat hulle meer variansie in hul opdaterings bevat, wat veroorsaak dat hulle stadiger konvergeer as in-beleid algoritmes . Gedragsbeleid moet beskik oor dekking oor die teikenbeleid deur te vereis dat elke aksie wat deur die teikenbeleid geneem word, ook deur die gedragsbeleid geneem word . Die dekkingseienskap bepaal dus dat die teikenbeleid deterministies kan wees, maar die gedragbeleid moet stogasties wees in teostande waar die gedragbeleid nie identies is aan die teikenbeleid nie . Dit word ook gestel as:

$\pi (a|s)>0\implies b(a|s)>0$

Metodes wat op beleid gebaseer is, kan as 'n spesiale geval van metodes buite beleid beskou word, waar die gedrag- en teikenbeleid dieselfde beleid is . Byna alle uit- beleid metodes gebruik belangrikheids monsterneming om die gedragbeleid met die teikenbeleid te koppel . Die belangrikheids monsternemings verhouding word wiskundig gegee as:

$\rho _{t:T-1}=\prod _{k=t}^{T-1}{\frac {\pi (A_{k}|S_{k})}{b(A_{k}|S_{k})}}$

met die gedragsbeleid wat omgeskakel word na die teikenbeleid deur 'n eenvoudige vermenigvuldiging van die belangrikheidsteekproefverhouding te gebruik :

$v_{\pi }(s)=\mathbb {E} [\rho _{t:T-1}G_{t}|S_{t}=s]$

Dit word aanbeveel dat die gedragsbeleid meer stabiel moet wees (meer dikwels en kleiner opdaterings) as die teikenbeleid om te verseker dat opleiding van die agent stabiel bly .

Algemene Tegnieke

Praktiese algoritmes gebruik oor die algemeen benaderingsstrategieë vir die teoretiese modelle (soos die Bellman vergelyking) om teoretiese beperkings wat die praktiese implimentering belemmer, te oorkom. Die onderstaande tabel toon 'n paar algemene praktiese algoritmes wat in VL gebruik word.

Algoritme	Beskrywing	Beleid	Aksieruimte	Toestandruimte	Operator
Monte Carlo	Elke besoek aan Monte Carlo	Enige	Diskreet	Diskreet	Steekproefgemiddeldes van toestandwaardes of aksiewaardes
TD-leer	Toestand–aksie–beloning–toestand	Uit-beleid	Diskreet	Diskreet	Toestandwaarde
Q-leer	Toestand–aksie–beloning–toestand	Uit-beleid	Diskreet	Diskreet	Aksiewaarde
SARSA	Toestand–aksie–beloning–toestand–aksie	In-beleid	Diskreet	Diskreet	Aksiewaarde
DQN	Diep Q-netwerk	Uit-beleid	Diskreet	Kontinu	Aksiewaarde
DDPG	Diep Deterministiese Beleidsgradiënt	Uit-beleid	Kontinu	Kontinu	Aksiewaarde
A3C	Asinchrone Voordeel Akteur-Kritiek Algoritme	In-beleid	Diskreet	Kontinu	Voordeel (=aksie-waarde - toestand-waarde)
TRPO	Vertrouensgebied Beleidsoptimalisering	In-beleid	Kontinu of Diskreet	Kontinu	Voordeel
PPO	Proksimale Beleidsoptimalisering	In-beleid	Kontinu of Diskreet	Kontinu	Voordeel
TD3	Tweeling Vertraagde Diep Deterministiese Beleidsgradiënt	Uit-beleid	Kontinu	Kontinu	Aksiewaarde
SAC	Sagte Akteur-Kritiek	Uit- beleid	Kontinu	Kontinu	Voordeel
DSAC	Verspreidende Sagte Akteur-Kritiek	Uit- beleid	Kontinu	Kontinu	Aksiewaarde-verspreiding