Gaan na inhoud

Versterkingleer uit menslike terugvoer

in Wikipedia, die vrye ensiklopedie
Hoëvlak-oorsig van versterkingsleer uit menslike terugvoer.

In masjienleer is versterkingsleer uit menslike terugvoer (RLHF akroniem vir die konsep in Engels: reinforcement learning from human feedback), 'n tegniek om 'n intelligente agent met menslike voorkeure in lyn te bring. Dit behels die opleiding van 'n beloningsmodel om voorkeure voor te stel, wat dan gebruik kan word om ander modelle deur versterkingsleer op te lei.[1]

In klassieke versterkingsleer is 'n intelligente agent se doel om 'n funksie te leer wat sy gedrag lei, genaamd 'n beleid.[2] Die funksie word iteratief geoptimaliseer om die beloningssein wat afgelei word van die agent se taakprestasie te verhoog.[3] Dit is egter uitdagend om 'n beloningsfunksie eksplisiet te definieer wat menslike voorkeure akkuraat benader. Daarom poog RLHF om 'n "beloningsmodel" direk vanaf menslike terugvoer op te lei.[4] Die beloningsmodel word eers op 'n gemonitorde wyse opgelei om te voorspel of 'n reaksie op 'n gegewe aanwysing goed (hoë beloning) of sleg (lae beloning) is, gebaseer op ranglysdata wat van menslike annoteerders versamel is. Hierdie model dien dan as 'n beloningsfunksie om 'n agent se beleid te verbeter deur 'n optimaliseringsalgoritme soos proksimale beleidsoptimalisering.[5][6][7]

RLHF het toepassings in verskeie domeine in masjienleer, insluitend natuurlike taalverwerkingstake soos teksopsommings en gespreksagente, rekenaarvisietake soos teks-na-beeldmodelle, en die ontwikkeling van videospeletjie-robotte. Terwyl RLHF 'n effektiewe metode is om modelle op te lei om beter op te tree in ooreenstemming met menslike voorkeure, staar dit ook uitdagings in die gesig as gevolg van die manier waarop die menslike voorkeurdata versamel word. Alhoewel RLHF nie massiewe hoeveelhede data benodig om prestasie te verbeter nie, is die verkryging van hoëgehalte-voorkeurdata steeds 'n duur proses. Verder, as die data nie noukeurig uit 'n verteenwoordigende steekproef versamel word nie, kan die gevolglike model ongewenste vooroordele toon.

Agtergrond en motivering

[wysig | wysig bron]

Dit is wenslik om 'n model gebaseer op menslike terugvoer te optimaliseer wanneer 'n taak moeilik is om te spesifiseer, maar maklik is om te beoordeel.[8][9] Byvoorbeeld, 'n mens wil dalk 'n model oplei om veilige teks te genereer wat beide nuttig en onskadelik is (soos om sonder vooroordeel, toksisiteit of andersins skadelike inhoud te wees). Om mense te vra om handmatig voorbeelde van onskadelike en skadelike teks te skep, sal moeilik en tydrowend wees. Mense is egter bedrewe daarin om die skadelikheid van verskillende KI-gegenereerde teks vinnig te assesseer en te vergelyk. Daarom sou 'n meer praktiese doelwit wees om die model toe te laat om hierdie tipe menslike terugvoer te gebruik om sy teksgenerering te verbeter.[10]

Ten spyte van die duidelike voordele van die insluiting van menslike terugvoer in opleidingsmodelle, het vorige pogings – insluitend sommige wat versterkingsleer benut – beduidende uitdagings teëgekom. Die meeste pogings was óf eng en moeilik om te veralgemeen, en het afgebreek na meer komplekse take,[11][12][13][14] óf hulle het probleme ondervind om te leer uit yl (sonder spesifieke inligting en met groot hoeveelhede teks op 'n slag) of raserige (wat soortgelyke uitsette inkonsekwent beloon) beloningsfunksies.[15][16]

RLHF was nie die eerste suksesvolle metode om menslike terugvoer vir versterkingsleer te gebruik nie, maar dit is een van die mees gebruikte. Die fondament vir RLHF is bekendgestel as 'n poging om 'n algemene algoritme te skep vir leer uit 'n praktiese hoeveelheid menslike terugvoer.[8][5] Die algoritme soos dit vandag gebruik word, is deur OpenAI bekendgestel in 'n artikel oor die verbetering van teksvoortsetting of opsomming gebaseer op menslike terugvoer, en dit het gewildheid begin kry toe dieselfde metode hergebruik is in hul artikel oor InstructGPT.[4][17][18] Daar is ook getoon dat RLHF die robuustheid van RL-agente en hul kapasiteit vir eksplorasie verbeter, wat lei tot 'n optimaliseringsproses wat meer bedrewe is in die hantering van onsekerheid en die doeltreffende verkenning van sy omgewing op soek na die hoogste beloning.[19]

Insameling van menslike terugvoer

[wysig | wysig bron]

Menslike terugvoer word gewoonlik ingesamel deur mense aan te spoor om gevalle van die agent se gedrag te rangskik.[18][20][21] Hierdie ranglys kan dan gebruik word om uitsette te gradeer, byvoorbeeld deur die Elo-graderingstelsel te gebruik, wat 'n algoritme is om die relatiewe vaardigheidsvlakke van spelers in 'n speletjie te bereken, gebaseer slegs op die uitkoms van elke speletjie.[5] Terwyl rangskikking van uitsette die mees algemeen aanvaarde vorm van terugvoer is, het onlangse navorsing ander vorme ondersoek, soos numeriese terugvoer, natuurlike taalterugvoer en die aanvra van direkte wysigings aan die model se uitset. [22]

Een aanvanklike motivering van RLHF was dat dit relatief klein hoeveelhede vergelykingsdata benodig om effektief te wees.[8] Daar is getoon dat 'n klein hoeveelheid data tot vergelykbare resultate met 'n groter hoeveelheid kan lei. Boonop is die verhoging van die hoeveelheid data geneig om minder effektief te wees as die proporsionele verhoging van die grootte van die beloningsmodel.[17] Nietemin kan 'n groter en meer diverse hoeveelheid data van kritieke belang wees vir take waar dit belangrik is om vooroordeel van 'n gedeeltelik verteenwoordigende groep annoteerders te vermy.[18]

Wanneer daar van menslike terugvoer geleer word deur paarsgewyse vergelyking onder die Bradley-Terry-Luce-model (of die Plackett-Luce-model vir K-gewyse vergelykings oor meer as twee vergelykings), is getoon dat die maksimum waarskynlikheidsberamer (MLE) vir lineêre beloningsfunksies konvergeer as die vergelykingsdata gegenereer word onder 'n goed gespesifiseerde lineêre model. Dit impliseer dat, onder sekere omstandighede, as 'n model opgelei word om te besluit watter keuses mense tussen pare (of groepe) keuses sou verkies, dit noodwendig sal verbeter om toekomstige voorkeure te voorspel. Hierdie verbetering word verwag solank die vergelykings waaruit dit leer gebaseer is op 'n konsekwente en eenvoudige reël.[23][24]

Beide vanlyn data-insamelingsmodelle, waar die modelleer deur interaksie met 'n statiese datastel en die beleid daarvan in groepe op te dateer, sowel as aanlyn data-insamelingsmodelle, waar die model direk met die dinamiese omgewing interaksie het en die beleid daarvan onmiddellik opdateer, is wiskundig bestudeer om steekproefkompleksiteitsgrense vir RLHF onder verskillende terugvoermodelle te bewys.[23][25]

In die aanlyn scenario, wanneer menslike terugvoer deur paargewyse vergelykings onder die Bradley-Terry-Luce-model ingesamel word en die doelwit is om die algoritme se spyt (die verskil in prestasie in vergelyking met 'n optimale agent) te minimaliseer, is daar getoon dat 'n optimistiese MLE wat 'n boonste vertrouensgrens as die beloningsberaming insluit, gebruik kan word om steekproefdoeltreffende algoritmes te ontwerp (wat beteken dat hulle relatief min opleidingsdata benodig). 'n Belangrike uitdaging in RLHF wanneer daar uit paargewyse (of duelerende) vergelykings geleer word, word geassosieer met die nie-Markoviaanse aard van sy optimale beleide. Anders as eenvoudiger scenario's waar die optimale strategie nie geheue van vorige aksies vereis nie, hang die beste plan van aksie in RLHF dikwels af van vorige gebeure en besluite, wat die strategie inherent geheueafhanklik maak.[24]

Verwysings

[wysig | wysig bron]
  1. ↑ Kongot, Aparna (2025). Human-Centered AI: An Illustrated Scientific Quest (Human–Computer Interaction Series). Springer. p. 389. ISBN 978-3031613746.
  2. ↑ Lan, Xuguang (2025). Intelligent Robotics and Applications: 17th International Conference, ICIRA 2024, Xi'an, China, 31 Julie – 2 Augustus 2024, Proceedings, Part VIII (Lecture Notes in Computer Science Book 15208). Springer. p. 6.
  3. ↑ Russell, Stuart J.; Norvig, Peter (2016). Artificial intelligence: a modern approach (Third, Global uitg.). Boston Columbus Indianapolis New York San Francisco Upper Saddle River Amsterdam Cape Town Dubai London Madrid Milan Munich Paris Montreal Toronto Delhi Mexico City Sao Paulo Sydney Hong Kong Seoul Singapore Taipei Tokyo: Pearson. pp. 830–831. ISBN 978-0-13-604259-4.
  4. 1 2 Ziegler, Daniel M.; Stiennon, Nisan; Wu, Jeffrey; Brown, Tom B.; Radford, Alec; Amodei, Dario; Christiano, Paul; Irving, Geoffrey (2019). "Fine-Tuning Language Models from Human Preferences". [cs.CL].
  5. 1 2 3 Lambert, Nathan; Castricato, Louis; von Werra, Leandro; Havrilla, Alex. "Illustrating Reinforcement Learning from Human Feedback (RLHF)". huggingface.co. Besoek op 4 Maart 2023.
  6. ↑ Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017). "Proximal Policy Optimization Algorithms". [cs.LG].
  7. ↑ Tuan, Yi-Lin; Zhang, Jinzhi; Li, Yujia; Lee, Hung-yi (2018). "Proximal Policy Optimization and its Dynamic Version for Sequence Generation". [cs.CL].
  8. 1 2 3 Amodei, Dario; Christiano, Paul; Ray, Alex (13 Junie 2017). "Learning from human preferences". openai.com. Besoek op 4 Maart 2023.
  9. ↑ Leike, Jan; Martic, Miljan; Legg, Shane (12 Junie 2017). "Learning through human feedback". www.deepmind.com (in Engels). Besoek op 4 Maart 2023.
  10. ↑ Zheng, Rui; Dou, Shihan; Gao, Songyang; Hua, Yuan; Shen, Wei; Wang, Binghai; Liu, Yan; Jin, Senjie et al. (2023). "Secrets of RLHF in Large Language Models Part I: PPO". [cs.CL].
  11. ↑ Knox, W. Bradley; Stone, Peter; Breazeal, Cynthia (2013). "Training a Robot via Human Feedback: A Case Study". Social Robotics. Lecture Notes in Computer Science (in Engels). Vol. 8239. Springer International Publishing. pp. 460–470. doi:10.1007/978-3-319-02675-6_46. ISBN 978-3-319-02674-9. Besoek op 26 Februarie 2024.
  12. ↑ Akrour, Riad; Schoenauer, Marc; Sebag, Michèle (2012). "APRIL: Active Preference Learning-Based Reinforcement Learning". Machine Learning and Knowledge Discovery in Databases. Lecture Notes in Computer Science (in Engels). Vol. 7524. Springer. pp. 116–131. arXiv:1208.0984. doi:10.1007/978-3-642-33486-3_8. ISBN 978-3-642-33485-6. Besoek op 26 Februarie 2024.
  13. ↑ Wilson, Aaron; Fern, Alan; Tadepalli, Prasad (2012). "A Bayesian Approach for Policy Learning from Trajectory Preference Queries". Advances in Neural Information Processing Systems. 25. Curran Associates, Inc. Besoek op 26 Februarie 2024.
  14. ↑ Schoenauer, Marc; Akrour, Riad; Sebag, Michele; Souplet, Jean-Christophe (18 Junie 2014). "Programming by Feedback". Proceedings of the 31st International Conference on Machine Learning (in Engels). PMLR: 1503–1511. Besoek op 26 Februarie 2024.
  15. ↑ Warnell, Garrett; Waytowich, Nicholas; Lawhern, Vernon; Stone, Peter (25 April 2018). "Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces". Proceedings of the AAAI Conference on Artificial Intelligence. 32 (1). arXiv:1709.10163. doi:10.1609/aaai.v32i1.11485. S2CID 4130751.
  16. ↑ MacGlashan, James; Ho, Mark K.; Loftin, Robert; Peng, Bei; Wang, Guan; Roberts, David L.; Taylor, Matthew E.; Littman, Michael L. (6 Augustus 2017). "Interactive learning from policy-dependent human feedback". Proceedings of the 34th International Conference on Machine Learning - Volume 70. JMLR.org: 2285–2294. arXiv:1701.06049.
  17. 1 2 Nisan Stiennon; Long Ouyang; Jeffrey Wu; Daniel Ziegler; Ryan Lowe; Chelsea Voss; Alec Radford; Dario Amodei; Paul F. Christiano (2020). "Learning to summarize with human feedback". Advances in Neural Information Processing Systems (in Engels). 33.
  18. 1 2 3 (31 Oktober 2022) "Training language models to follow instructions with human feedback" in Thirty-Sixth Conference on Neural Information Processing Systems: NeurIPS 2022..
  19. ↑ Bai, Yuntao; Jones, Andy; Ndousse, Kamal; Askell, Amanda; Chen, Anna; DasSarma, Nova; Drain, Dawn; Fort, Stanislav et al. (2022). "Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback". [cs.CL].
  20. ↑ Edwards, Benj (1 Desember 2022). "OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results". Ars Technica (in American English). Besoek op 4 Maart 2023.
  21. ↑ Abhishek, Gupta (5 Februarie 2023). "Getting stakeholder engagement right in responsible AI". VentureBeat. Besoek op 4 Maart 2023.
  22. ↑ Fernandes, Patrick; Madaan, Aman; Liu, Emmy; Farinhas, António; Pedro Henrique Martins; Bertsch, Amanda; de Souza, José G. C.; Zhou, Shuyan et al. (2023). "Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation". [cs.CL].
  23. 1 2 Xie, Tengyang; Jiang, Nan; Wang, Huan; Xiong, Caiming; Bai, Yu (2021). "Policy Finetuning: Bridging Sample-Efficient Offline and Online Reinforcement Learning". Advances in Neural Information Processing Systems. 34. Curran Associates, Inc.: 27395–27407. arXiv:2106.04895. Besoek op 10 Maart 2024.
  24. 1 2 Pacchiano, Aldo; Saha, Aadirupa; Lee, Jonathan (3 Maart 2023). "Dueling RL: Reinforcement Learning with Trajectory Preferences". Proceedings of the 26th International Conference on Artificial Intelligence and Statistics (in Engels). PMLR: 6263–6289. arXiv:2111.04850.
  25. ↑ Zhu, Banghua; Jordan, Michael; Jiao, Jiantao (3 Julie 2023). "Principled Reinforcement Learning with Human Feedback from Pairwise or K-wise Comparisons". Proceedings of the 40th International Conference on Machine Learning (in Engels). PMLR: 43037–43067. arXiv:2301.11270.
Ontsluit van "https://af.wikipedia.org/w/index.php?title=Versterkingleer_uit_menslike_terugvoer&oldid=2861905"