Gaan na inhoud

Porboodskapingenieurswese

in Wikipedia, die vrye ensiklopedie

Porboodskapingenieurswese is die proses om natuurliketaal-toevoere (bekend as porboodskappe) te struktureer ten einde bepaalde afvoere van 'n generatiewe-KI (GenKI) -model te verkry. Konteksingenieurswese is die verwante gebied van sagteware-ingenieurswese wat fokus op die bestuur van nie-porboodskap- en porboodskapkontekste wat aan die GenKI-model verskaf word, soos stelselinstruksies, metadata, API-gereedskap en tokens.

Dit kan ook omskryf word as die praktyk om toevoerinstruksies wat aan 'n generatiewe KI-model gegee word, te ontwerp en te verfyn sodat meer akkurate, relevante of nuttige afvoere geproduseer word. Doeltreffende porboodskapingenieurswese behels 'n begrip van hoe 'n model taal interpreteer, en kan tegnieke insluit soos few-shot-porboodskapbou, gedagtekettingporboodskapbou en die toekenning van rolle.

Gedurende die KI-oplewing van die 2020's is porboodskapingenieurswese as 'n sakevaardigheid oor korporasies en bedrywe heen beskou. Werknemers met die titel porboodskapingenieur is aangestel om porboodskappe te skep wat produktiwiteit en doeltreffendheid sou verhoog, hoewel die individuele titel sedertdien minder algemeen geword het te midde van KI-modelle wat beter porboodskappe as mense skep, asook korporatiewe opleiding in porboodskapbou vir algemene werknemers.

Algemene porboodskaptegnieke sluit in multi-shot-, gedagteketting- en gedagteboomporboodskapbou, sowel as die toekenning van rolle aan die model. Geoutomatiseerde porboodskapgenereringsmetodes, soos herwinningsaangevulde generering (Engels: retrieval augmented generation, RAG), bied groter akkuraatheid en 'n wyer omvang van funksies vir porboodskapingenieurs. Porboodskapinspuiting is 'n soort kuberveiligheidsaanval wat masjienleermodelle deur middel van kwaadwillige porboodskappe teiken.

Terminologie

[wysig | wysig bron]

Die Oxford English Dictionary omskryf porboodskapingenieurswese (Engels: prompt engineering) as "die handeling of proses om porboodskappe vir 'n kunsmatige-intelligensie-program, -algoritme, ensovoorts, te formuleer en te verfyn ten einde die afvoer daarvan te optimeer of 'n verlangde uitkoms te bereik; die dissipline of beroep wat hiermee gemoeid is."[1] In 2023 was die Engelse woord prompt (porboodskap; "'n instruksie wat aan 'n kunsmatige-intelligensieprogram, algoritme, ensovoorts, gegee word en wat die inhoud wat dit genereer, bepaal of beïnvloed") die naaswenner vir Oxford se woord van die jaar.[2]

Porboodskap

[wysig | wysig bron]

'n Porboodskap is natuurliketaalteks wat die taak beskryf en voorskryf wat 'n kunsmatige intelligensie (KI) moet uitvoer.[3] 'n Porboodskap vir 'n teks-na-teks-taalmodel kan 'n navraag, 'n bevel, of 'n langer stelling wees wat na konteks, instruksies en gespreksgeskiedenis verwys. Die proses van porboodskapingenieurswese kan behels dat duidelike navrae ontwerp word, bewoording verfyn word, tersaaklike konteks verskaf word, die styl van die afvoer gespesifiseer word, en 'n karakter toegeken word wat die KI moet naboots om die model na meer akkurate, nuttige en konsekwente antwoorde te lei.[4][5]

Wanneer daar met 'n teks-na-beeld- of teks-na-klank-model gekommunikeer word, bevat 'n tipiese porboodskap 'n beskrywing van 'n verlangde afvoer, soos "'n hoëgehaltefoto van 'n ruimtevaarder wat op 'n perd ry"[6] of "lo-fi stadige BPM elektro-chill met organiese monsters".[7] Porboodskapingenieurswese kan op teks-na-beeld-modelle toegepas word om 'n verlangde onderwerp, styl, uitleg, beligting en estetika te verkry.[8]

Tegnieke

[wysig | wysig bron]

Algemene terme wat gebruik word om verskeie spesifieke porboodskapingenieurswesetegnieke te beskryf, sluit in gedagteketting (chain-of-thought),[9] gedagteboom (tree-of-thought),[10] en herwinningsaangevulde generering (RAG).[11] 'n Oorsig van die veld in 2024 het meer as 50 afsonderlike teksgebaseerde porboodskaptegnieke, 40 multimodale variante en 'n woordeskat van 33 terme wat in porboodskapnavorsing gebruik word, geïdentifiseer, wat 'n huidige gebrek aan gestandaardiseerde terminologie vir porboodskapingenieurswese uitlig.[12]

Vibe-programmering is 'n KI-ondersteunde sagtewareontwikkelingsmetode waar 'n gebruiker 'n groot taalmodel por met 'n beskrywing van wat hulle wil hê en dit toelaat om die kode te genereer of te wysig. In 2025 was die Engelse woord "vibe coding" die Collins-woordeboek se woord van die jaar.[13]

Konteksingenieurswese

[wysig | wysig bron]

Konteksingenieurswese is 'n verwante proses wat fokus op die kontekselemente wat gebruikerporboodskappe vergesel, waaronder stelselinstruksies, herwinde kennis, gereedskapdefinisies, gespreksopsommings en taakmetadata. Konteksingenieurswese word toegepas om betroubaarheid, herkoms en tokendoeltreffendheid in produksiestelsels met groot taalmodelle te verbeter.[14][15] Die konsep beklemtoon operasionele praktyke soos tokenbegroting, herkomsetikette, weergawebeheer van konteks-artefakte, waarneembaarheid (die aanteken van watter konteks verskaf is), en konteks-regressietoetse om te verseker dat veranderinge aan die verskafde konteks nie die stelsel se gedrag stilweg verander nie.[16]

Rasionaal

[wysig | wysig bron]

Navorsing het bevind dat die werkverrigting van groot taalmodelle hoogs sensitief is vir keuses soos die volgorde van voorbeelde, die gehalte van demonstrasie-etikette, en selfs klein variasies in bewoording. In sommige gevalle het die herrangskikking van voorbeelde in 'n porboodskap akkuraatheidsverskuiwings van meer as 40 persent tot gevolg gehad.[12]

In-konteks-leer

[wysig | wysig bron]

'n Model se vermoë om tydelik uit porboodskappe te leer, staan bekend as in-konteks-leer. In-konteks-leer is 'n ontluikende vermoë[17] van groot taalmodelle. Dit is 'n ontluikende eienskap van modelskaal, wat beteken dat breuke in skaalwette voorkom, sodat die doeltreffendheid daarvan teen 'n ander tempo in groter modelle as in kleiner modelle toeneem.[17][18] Anders as afrigting en fynafstemming, wat blywende veranderinge meebring, is in-konteks-leer tydelik.[19] Die afrigting van modelle om in-konteks-leer uit te voer, kan as 'n vorm van meta-leer, of "leer om te leer", beskou word.[20]

Porboodskapbou om modelsensitiwiteit te skat

[wysig | wysig bron]

Navorsing toon deurgaans dat groot taalmodelle hoogs sensitief is vir subtiele variasies in porboodskapformatering, -struktuur en taalkundige eienskappe. Sommige studies het tot 76 akkuraatheidspunte se verskil oor formateringsveranderinge in few-shot-omgewings aangetoon.[21] Taalkundige kenmerke beïnvloed porboodskapdoeltreffendheid aansienlik – soos morfologie, sintaksis en leksiko-semantiese veranderinge – wat taakverrigting oor 'n verskeidenheid take heen betekenisvol verbeter.[5][22] Bysinsintaksis, byvoorbeeld, verbeter konsekwentheid en verminder onsekerheid in kennisherwinning.[23] Hierdie sensitiwiteit duur voort selfs met groter modelgroottes, bykomende few-shot-voorbeelde, of instruksie-afstemming.

Om modelle se sensitiwiteit aan te spreek en hulle meer robuust te maak, is verskeie evalueringsmetodes voorgestel. FormatSpread fasiliteer sistematiese ontleding deur 'n reeks aanneemlike porboodskapformate te evalueer, wat 'n meer omvattende werkverrigtingsinterval bied.[21] Op soortgelyke wyse skat PromptEval werkverrigtingsverdelings oor uiteenlopende porboodskappe heen, wat robuuste maatstawwe soos werkverrigtingskwantiele en akkurate evaluerings binne beperkte begrotings moontlik maak.[24]

Porboodskaptegnieke

[wysig | wysig bron]

Multi-shot

[wysig | wysig bron]

'n Porboodskap kan 'n paar voorbeelde insluit waaruit 'n model in konteks kan leer – 'n implementering van few-shot-leer vir groot taalmodelle.[9][25][26] Die porboodskap kan die model byvoorbeeld vra om "maison Sjabloon:Arrow huis, chat Sjabloon:Arrow kat, chien Sjabloon:Arrow" te voltooi, met die verwagte antwoord hond.[27]

Gedagteketting

[wysig | wysig bron]
Sien ook: Refleksie (kunsmatige intelligensie)

Gedagteketting-porboodskapbou (Engels: chain-of-thought, CoT) is 'n tegniek wat groot taalmodelle in staat stel om 'n probleem as 'n reeks tussenstappe op te los voordat 'n finale antwoord gegee word. In 2022 het Google Brain berig dat gedagtekettingporboodskapbou redeneervermoë verbeter deur die model aan te spoor om 'n meerstapprobleem met redenasiestappe te beantwoord wat 'n gedagtegang naboots.[9][28] Gedagtekettingtegnieke is ontwikkel om groot taalmodelle te help om meerstapredeneertake, soos rekenkunde of vrae oor gesondeverstandredenering, te hanteer.[29][30]

Toe dit op PaLM, 'n taalmodel met 540 miljard parameters, toegepas is, het CoT-porboodskapbou volgens Google die model beduidend gehelp, wat dit in staat gestel het om vergelykbaar met taakspesifieke fyngestemde modelle op verskeie take te presteer en destyds die beste resultate tot dusver op die GSM8K-wiskundigeredeneringsmaatstaf te behaal.[9] Dit is moontlik om modelle op CoT-redenasiedatastelle fyn af te stem om hierdie vermoë verder te versterk en beter interpreteerbaarheid te bevorder.[31][32]

Soos oorspronklik deur Google voorgestel,[9] word elke CoT-porboodskap vergesel van 'n stel toevoer-/afvoervoorbeelde – genoem eksemplare – om die verlangde modelafvoer te demonstreer, wat dit 'n few-shot-porboodskaptegniek maak. Volgens 'n latere artikel deur navorsers van Google en die Universiteit van Tokio was dit egter ook doeltreffend om bloot die woorde "Kom ons dink stap vir stap" ("Let's think step-by-step")[33] by te voeg, wat CoT as 'n zero-shot-tegniek moontlik gemaak het.

Die voordele van gedagtekettingporboodskapbou wissel aansienlik volgens taaktipe. 'n Meta-ontleding wat meer as 100 studies van CoT gedek het, het bevind dat dit hoofsaaklik groot winste op wiskundige, logiese en simboliese redeneerprobleme lewer, met veel kleiner verbeterings op ander soorte take, en het tot die gevolgtrekking gekom dat CoT selektief toegepas kan word om afleidingskoste te verminder.[34] By take uit die kognitiewe sielkunde waar dit bekend is dat oorweging menslike prestasie benadeel, is bevind dat CoT die akkuraatheid van die beste huidige modelle verminder, in sommige gevalle aansienlik.[35] 'n Sistematiese oorsig van gestruktureerde porboodskaptegnieke berig eweneens dat die bykomende redenasiestappe reaksietye en interaksiekompleksiteit verhoog, sodat die tegniek nie deurgaans verkieslik bo eenvoudiger porboodskappe vir feitelike of laekompleksiteitsnavrae is nie.[36]

Selfkonsekwentheid

[wysig | wysig bron]

Selfkonsekwentheid voer verskeie gedagtekettinguitvoerings uit en kies dan die gevolgtrekking wat die meeste algemeen oor al die uitvoerings heen bereik is.[37][38]

Gedagteboom

[wysig | wysig bron]

Gedagteboom-porboodskapbou veralgemeen gedagteketting deur verskeie redenasielyne gelyktydig te genereer, met die vermoë om terug te keer of ander paaie te verken. Dit kan boomsoekalgoritmes soos breedte-eerste, diepte-eerste of straal gebruik.[10]

Teks-na-beeld-porboodskapbou

[wysig | wysig bron]
Sien ook: Kunsmatige-intelligensie-beeldkuns#Porboodskapingenieurswese en deling en Kunsmatige-intelligensie-beeldkuns

In 2022 is teks-na-beeld-modelle soos DALL-E 2, Stable Diffusion en Midjourney aan die publiek vrygestel. Hierdie modelle neem teksporboodskappe as toevoer en gebruik dit om beelde te genereer.[39][8] Vroeë teks-na-beeld-modelle verstaan tipies nie ontkenning, grammatika en sinstruktuur op dieselfde manier as groot taalmodelle nie, en mag dus 'n ander stel porboodskaptegnieke vereis. Die porboodskap "'n partytjie sonder koek" mag 'n beeld voortbring wat wel 'n koek insluit.[40]

Demonstrasie van die uitwerking van negatiewe porboodskappe op beelde wat met Stable Diffusion gegenereer is
Bo: geen negatiewe porboodskap
Middel: "groen bome"
Onder: "ronde klippe, ronde rotse"

'n Teks-na-beeld-porboodskap sluit gewoonlik 'n beskrywing van die onderwerp van die kunswerk in, die verlangde medium (soos digitale skildery of fotografie), styl (soos hiperrealisties of popkuns), beligting (soos randbeligting of skemerstrale), kleur en tekstuur.[41] Woordorde beïnvloed ook die afvoer van 'n teks-na-beeld-porboodskap. Woorde nader aan die begin van 'n porboodskap word moontlik swaarder beklemtoon.[42]

Kunstenaarstyle

[wysig | wysig bron]

Sommige teks-na-beeld-modelle is in staat om die styl van bepaalde kunstenaars by die naam na te boots. Die frase in the style of Greg Rutkowski ("in die styl van Greg Rutkowski") is byvoorbeeld in Stable Diffusion- en Midjourney-porboodskappe gebruik om beelde in die kenmerkende styl van die Poolse digitale kunstenaar Greg Rutkowski te genereer.[43] Beroemde kunstenaars soos Vincent van Gogh en Salvador Dalí is ook vir stilering en toetsing gebruik.[44]

Tekstuele inversie en inbeddings

[wysig | wysig bron]

Vir teks-na-beeld-modelle voer tekstuele inversie 'n optimeringsproses uit om 'n nuwe woordinbedding te skep wat op 'n stel voorbeeldbeelde gebaseer is. Hierdie inbeddingsvektor tree op as 'n "pseudowoord" wat in 'n porboodskap ingesluit kan word om die inhoud of styl van die voorbeelde uit te druk.[45]

Beeldporboodskapbou

[wysig | wysig bron]

In 2023 het Meta se KI-navorsingsafdeling Segment Anything vrygestel, 'n rekenaarvisiemodel wat beeldsegmentering deur middel van porboodskapbou kan uitvoer. As alternatief vir tekspromts kan Segment Anything begrensingskaste, segmenteringsmaskers en voorgrond-/agtergrondpunte aanvaar.[46]

Beperkings

[wysig | wysig bron]

Die proses om 'n porboodskap vir 'n groot taalmodel of generatiewe KI te skryf en te verfyn, toon sekere ooreenkomste met 'n iteratiewe ingenieursontwerpproses, byvoorbeeld deurdat herbruikbare beste praktyke deur reproduseerbare eksperimentering ontdek word. Verskeie fundamentele beperkings beperk egter die betroubaarheid daarvan as 'n dissipline. Doeltreffende porboodskapstrategieë is hoogs modelspesifiek; 'n tegniek wat werkverrigting op een model verbeter, kan dit op 'n ander model laat verswak, wat veralgemening bemoeilik. Porboodskappe is ook broos: geringe oppervlakkige veranderinge in bewoording, leestekens of woordorde kan dramaties verskillende afvoere lewer, selfs wanneer die semantiese bedoeling identies bly.[47] Hierdie onstabiliteit maak dit moeilik om duursame, oordraagbare porboodskappatrone oor ontplooiingskontekste heen te vestig.[48] Verder raak baie handmatige porboodskaptegnieke verouderd namate KI-modelle se vermoë om gebruikersbedoeling direk te interpreteer bly verbeter. Vordering in instruksievolging en modelredenering het die marginale waarde van uitgebreide porboodskapkonstruksie vir alledaagse take verminder, wat vrae laat ontstaan oor die langtermynlewensvatbaarheid van porboodskapingenieurswese as 'n selfstandige dissipline.[49]

Geoutomatiseerde porboodskapgenerering

[wysig | wysig bron]

Onlangse navorsing het geoutomatiseerde porboodskapingenieurswese ondersoek, waar optimeringsalgoritmes gebruik word om porboodskappe sonder menslike ingryping te genereer of te verfyn. Hierdie geoutomatiseerde benaderings poog om doeltreffende porboodskappatrone te identifiseer deur modelgradiënte, versterkingsterugvoer of evolusionêre prosesse te ontleed, wat die behoefte aan handmatige eksperimentering verminder.[50]

Herwinningsaangevulde generering (RAG)

[wysig | wysig bron]

Herwinningsaangevulde generering is 'n tegniek wat generatiewe KI-modelle in staat stel om nuwe inligting te herwin en in te sluit. Dit wysig interaksies met 'n groot taalmodel sodat die model op gebruikersnavrae reageer met verwysing na 'n gespesifiseerde stel dokumente, en gebruik hierdie inligting om die inligting uit sy bestaande afrigtingsdata aan te vul. Dit stel groot taalmodelle in staat om domeinspesifieke en/of bygewerkte inligting te gebruik.[11]

RAG verbeter groot taalmodelle deur inligtingherwinning in te sluit voordat antwoorde gegenereer word. Anders as tradisionele groot taalmodelle wat op statiese afrigtingsdata staatmaak, trek RAG tersaaklike teks uit databasisse, opgelaaide dokumente of webbronne. Deur inligting dinamies te herwin, stel RAG KI in staat om meer akkurate antwoorde en minder KI-hallusinasies te genereer sonder gereelde heropleiding.[51]

Grafiekherwinningsaangevulde generering (GraphRAG)

[wysig | wysig bron]
GraphRAG met 'n kennisgrafiek wat toegangspatrone vir ongestruktureerde, gestruktureerde en gemengde data kombineer

GraphRAG (deur Microsoft Research geskep) is 'n tegniek wat RAG uitbrei deur die gebruik van 'n kennisgrafiek om die model in staat te stel om uiteenlopende stukke inligting te verbind, insigte te sintetiseer en opgesomde semantiese konsepte oor groot dataversamelings heen te verstaan. Dit is bewys as doeltreffend op datastelle soos Violent Incident Information from News Articles.[52][53][54]

Die gebruik van taalmodelle om porboodskappe te genereer

[wysig | wysig bron]

Groot taalmodelle self kan gebruik word om porboodskappe vir groot taalmodelle op te stel.[55] Die outomatiese porboodskapingenieur-algoritme gebruik een groot taalmodel om 'n straalsoektog oor porboodskappe vir 'n ander groot taalmodel uit te voer:[56][57]

  • Daar is twee groot taalmodelle. Een is die teikenmodel, en die ander die porboodskapmodel.
  • Die porboodskapmodel word voorbeelde van toevoer-afvoerpare voorgelê en gevra om instruksies te genereer wat 'n model wat daardie instruksies volg, sou laat om die gegewe afvoere uit die gegewe toevoere te lewer.
  • Elkeen van die gegenereerde instruksies word gebruik om die teikenmodel te por, gevolg deur elkeen van die toevoere. Die log-waarskynlikhede van die afvoere word bereken en bymekaar getel. Dit is die telling van die instruksie.
  • Die hoogsaangeslane instruksies word aan die porboodskapmodel gegee vir verdere variasies.
  • Herhaal totdat 'n stopkriterium bereik word, en lewer dan die hoogsaangeslane instruksies as afvoer.

CoT-voorbeelde kan deur groot taalmodelle self gegenereer word. In "auto-CoT" word 'n biblioteek van vrae deur 'n model soos BERT na vektore omgeskakel. Die vraagvektore word gegroepeer. Vrae naby aan die swaartepunt van elke groep word gekies om 'n uiteenlopende subversameling vrae te verkry. 'n Groot taalmodel doen zero-shot-CoT op elke gekose vraag. Die vraag en die ooreenstemmende CoT-antwoord word by 'n datastel van demonstrasies gevoeg. Hierdie uiteenlopende demonstrasies kan dan by porboodskappe gevoeg word vir few-shot-leer.[58]

Outomatiese porboodskapoptimering

[wysig | wysig bron]

Outomatiese porboodskapoptimeringstegnieke verfyn porboodskappe vir groot taalmodelle deur outomaties oor alternatiewe porboodskapstringe te soek met behulp van evalueringsdatastelle en taakspesifieke maatstawwe:

  • MIPRO (Multi-prompt Instruction Proposal Optimizer) optimeer die instruksies en few-shot-demonstrasies van meerfase-taalmodelprogramme deur klein veranderinge aan moduleporboodskappe voor te stel en dié te behou wat 'n stroomaf-werkverrigtingsmaatstaf verbeter, sonder toegang tot etikette of gradiënte op moduelvlak.[59]
  • GEPA (Genetic-Pareto) is 'n refleksiewe porboodskapoptimeerder vir saamgestelde KI-stelsels wat taalmodelgebaseerde ontleding van uitvoeringspore en tekstuele terugvoer kombineer met 'n Pareto-gebaseerde evolusionêre soektog oor 'n populasie kandidaatstelsels; oor vier take heen rapporteer GEPA gemiddelde winste van ongeveer 10% bo versterkingsleergebaseerde Group Relative Policy Optimization (GRPO) en meer as 10% bo die MIPROv2-porboodskapoptimeerder, terwyl dit tot 35 keer minder uitvoerings as GRPO gebruik.[60]
  • Oopbronraamwerke soos DSPy en Opik stel hierdie en verwante optimeerders beskikbaar, wat dit moontlik maak om porboodskapsoektog as deel van 'n programmatiese pyplyn uit te druk eerder as deur handmatige proefneming.[61][62]

Die gebruik van gradiëntdaling om na porboodskappe te soek

[wysig | wysig bron]

In "voorvoegselafstemming" (prefix-tuning),[63] "porboodskapafstemming" of "sagte porboodskapbou",[64] word wisselpuntvektore direk deur gradiëntdaling deursoek om die log-aanneemlikheid op afvoere te maksimeer. 'n Vroeëre resultaat gebruik dieselfde idee van gradiëntdalingsoektog, maar is vir gemaskerde taalmodelle soos BERT ontwerp en soek slegs oor tokenreekse, eerder as numeriese vektore. Formeel soek dit na , waar oor tokenreekse van 'n gespesifiseerde lengte strek.[65]

Geskiedenis

[wysig | wysig bron]

Vroeë presedente van gestruktureerde gebruikersinteraksie met reëlgebaseerde KI-stelsels kan in ondernemingsoutomatiseringsagteware uit die 1990's gevind word. Die Intelligent Filing Manager (1999), ontwikkel deur Krishna C. Mukherjee, het byvoorbeeld 'n dinamiese vraag-en-antwoord-koppelvlak gebruik wat deur 'n reëlgebaseerde ekspertstelsel aangedryf is om gebruikerstoevoere in te samel vir die outomatiese generering van regulatoriese indienings oor jurisdiksies heen.[66] Hoewel sulke stelsels nie neurale netwerke behels het nie, het hulle porboodskapagtige werkvloeie gehad wat latere mens-in-die-lus-KI-ontwerpe beïnvloed het. In 2018 het navorsers vir die eerste keer voorgestel dat alle voorheen afsonderlike take in natuurliketaalverwerking as vraag-en-antwoordprobleme oor 'n konteks geformuleer kon word. Daarbenewens het hulle 'n eerste enkele, gesamentlike, multitaakmodel afgerig wat enige taakverwante vraag sou beantwoord, soos "Wat is die sentiment?" of "Vertaal hierdie sin na Duits" of "Wie is die president?"[67]

Die KI-oplewing het 'n toenemende fokus binne akademiese literatuur en professionele praktyk gesien op die toepassing van porboodskaptegnieke om die model die verlangde uitkoms te laat lewer en onsinnige afvoer te vermy – 'n proses wat deur proef en fout gekenmerk word.[68] Ná die vrystelling van ChatGPT in November 2022 is porboodskapingenieurswese gou as 'n belangrike sakevaardigheid beskou; maatskappye het begin om toegewyde porboodskapingenieurs aan te stel, hoewel die arbeidsmark vir porboodskapingenieurs onsekerheid in die gesig gestaar het gegewe vordering in KI se vermoë om beter porboodskappe as mense te genereer.[4] Volgens The Wall Street Journal in 2025 was die pos van porboodskapingenieur een van die gewildste in 2023, maar het dit verouderd geraak weens modelle wat gebruikersbedoeling beter aanvoel en weens maatskappyopleiding.[69]

'n Bewaarplek vir porboodskappe het berig dat meer as 2 000 openbare porboodskappe vir ongeveer 170 datastelle in Februarie 2022 beskikbaar was.[70] In 2022 is die gedagteketting-porboodskaptegniek deur Google-navorsers voorgestel.[9][71] In 2023 is verskeie teks-na-teks- en teks-na-beeld-porboodskapdatabasisse openbaar beskikbaar gestel.[72][73] Die Personalized Image-Prompt (PIP)-datastel, 'n gegenereerde beeld-teks-datastel wat deur 3 115 gebruikers gekategoriseer is, is ook in 2024 openbaar beskikbaar gestel.[74]

Porboodskapinspuiting

[wysig | wysig bron]
Die hoofartikel vir hierdie afdeling is: Porboodskapinspuiting.
Sien ook: SQL-inspuiting, Kruistuiste-skripsie, en Sosiale ingenieurswese (sekuriteit)

Porboodskapinspuiting is 'n kuberveiligheidseksploit waarin teenstanders toevoere skep wat wettig lyk maar ontwerp is om onbedoelde gedrag in masjienleermodelle, veral groot taalmodelle, te veroorsaak. Hierdie aanval buit die model se onvermoë uit om tussen ontwikkelaargedefinieerde porboodskappe en gebruikerstoevoere te onderskei, wat teenstanders in staat stel om veiligheidsmaatreëls te omseil en modelgedrag te beïnvloed. Hoewel groot taalmodelle ontwerp is om vertroude instruksies te volg, kan hulle deur versigtig saamgestelde toevoere gemanipuleer word om onbedoelde reaksies uit te voer.[75][76]

Verwysings

[wysig | wysig bron]
  1. ↑ "prompt engineering". Oxford English Dictionary. Oxford University Press. 2025.[dooie skakel]
  2. ↑ "Oxford Word of the Year 2023". Oxford Languages (in Britse Engels). Oxford University Press. Geargiveer vanaf die oorspronklike op 31 Januarie 2024. Besoek op 6 Februarie 2026.
  3. ↑ Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilya (2019). "Language Models are Unsupervised Multitask Learners" (PDF). OpenAI. Geargiveer (PDF) vanaf die oorspronklike op 6 Februarie 2021. Besoek op 19 Junie 2023. We demonstrate language models can perform down-stream tasks in a zero-shot setting – without any parameter or architecture modification
  4. 1 2 Genkina, Dina (6 Maart 2024). "AI Prompt Engineering is Dead: Long live AI prompt engineering". IEEE Spectrum. Geargiveer vanaf die oorspronklike op 17 Januarie 2025. Besoek op 18 Januarie 2025.
  5. 1 2 Wahle, Jan Philip; Ruas, Terry; Xu, Yang; Gipp, Bela (2024). "Paraphrase Types Elicit Prompt Engineering Capabilities". In Al-Onaizan, Yaser; Bansal, Mohit; Chen, Yun-Nung (reds.). Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. Miami, Florida, USA: Association for Computational Linguistics. pp. 11004–11033. arXiv:2406.19898. doi:10.18653/v1/2024.emnlp-main.617.
  6. ↑ Heaven, Will Douglas (6 April 2022). "This horse-riding astronaut is a milestone on AI's long road towards understanding". MIT Technology Review. Besoek op 14 Augustus 2023.
  7. ↑ Wiggers, Kyle (12 Junie 2023). "Meta open sources an AI-powered music generator". TechCrunch. Besoek op 15 Augustus 2023. Next, I gave a more complicated prompt to attempt to throw MusicGen for a loop: "Lo-fi slow BPM electro chill with organic samples."
  8. 1 2 Mittal, Aayush (27 Julie 2023). "Mastering AI Art: A Concise Guide to Midjourney and Prompt Engineering". Unite.AI (in American English). Geargiveer vanaf die oorspronklike op 9 Mei 2025. Besoek op 9 Mei 2025.
  9. 1 2 3 4 5 6 (31 October 2022) "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" in Advances in Neural Information Processing Systems (NeurIPS 2022). 35.
  10. 1 2 (2023) "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" in NeurIPS..
  11. 1 2 "Why Google's AI Overviews gets things wrong". MIT Technology Review. 31 Mei 2024. Geargiveer vanaf die oorspronklike op 3 Mei 2025. Besoek op 7 Maart 2025.
  12. 1 2 Schulhoff, Sander; Ilie, Michael; Balepur, Nishant; Kahadze, Konstantine; Liu, Amanda; Si, Chenglei; Li, Yinheng; Gupta, Aayush et al. (2024). "The Prompt Report: A Systematic Survey of Prompt Engineering Techniques". [cs.CL].
  13. ↑ Kolirin, Lianne (6 November 2025). "'Vibe coding' named Collins Dictionary's Word of the Year". CNN (in Engels). Geargiveer vanaf die oorspronklike op 14 November 2025. Besoek op 7 Februarie 2026.
  14. ↑ Casey, Matt M. (5 November 2025). "Context Engineering: The Discipline Behind Reliable LLM Applications & Agents". Comet. Geargiveer vanaf die oorspronklike op 11 November 2025. Besoek op 10 November 2025.
  15. ↑ "Context Engineering". LangChain. 2 Julie 2025. Geargiveer vanaf die oorspronklike op 11 November 2025. Besoek op 10 November 2025.
  16. ↑ Mei, Lingrui (2025-07-17). "A Survey of Context Engineering for Large Language Models". [cs.CL].
  17. 1 2 Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; Fedus, William (Oktober 2022). "Emergent Abilities of Large Language Models". Transactions on Machine Learning Research. arXiv:2206.07682. In prompting, a pre-trained language model is given a prompt (e.g. a natural language instruction) of a task and completes the response without any further training or gradient updates to its parameters... The ability to perform a task via few-shot prompting is emergent when a model has random performance until a certain scale, after which performance increases to well-above random
  18. ↑ Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2023). "Broken Neural Scaling Laws". ICLR. arXiv:2210.14891.
  19. ↑ Musser, George. "How AI Knows Things No One Told It". Scientific American. Geargiveer vanaf die oorspronklike op 3 Julie 2023. Besoek op 17 Mei 2023. By the time you type a query into ChatGPT, the network should be fixed; unlike humans, it should not continue to learn. So it came as a surprise that LLMs do, in fact, learn from their users' prompts—an ability known as in-context learning.
  20. ↑ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (2022). "What Can Transformers Learn In-Context? A Case Study of Simple Function Classes". NeurIPS. arXiv:2208.01066. Training a model to perform in-context learning can be viewed as an instance of the more general learning-to-learn or meta-learning paradigm
  21. 1 2 (2024) "Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting" in ICLR..
  22. ↑ Leidinger, Alina; van Rooij, Robert; Shutova, Ekaterina (2023). Bouamor, Houda; Pino, Juan; Bali, Kalika (reds.). "The language of prompting: What linguistic properties make a prompt successful?". Findings of the Association for Computational Linguistics: EMNLP 2023. Singapore: Association for Computational Linguistics: 9210–9232. arXiv:2311.01967. doi:10.18653/v1/2023.findings-emnlp.618. Geargiveer vanaf die oorspronklike op 13 Desember 2024. Besoek op 18 November 2024.
  23. ↑ Linzbach, Stephan; Dimitrov, Dimitar; Kallmeyer, Laura; Evang, Kilian; Jabeen, Hajira; Dietze, Stefan (Junie 2024). "Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models". In Duh, Kevin; Gomez, Helena; Bethard, Steven (reds.). Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). Mexico City, Mexico: Association for Computational Linguistics. pp. 3645–3655. arXiv:2404.01992. doi:10.18653/v1/2024.naacl-long.201. Geargiveer vanaf die oorspronklike op 3 November 2024. Besoek op 18 November 2024.
  24. ↑ (2024) "Efficient multi-prompt evaluation of LLMs" in NeurIPS..
  25. ↑ Brown, Tom; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared D.; Dhariwal, Prafulla; Neelakantan, Arvind (2020). "Language models are few-shot learners". Advances in Neural Information Processing Systems. 33: 1877–1901. arXiv:2005.14165.
  26. ↑ Wang, Yaqing; Yao, Quanming; Kwok, James T.; Ni, Lionel M. (12 Junie 2020). "Generalizing from a Few Examples: A Survey on Few-shot Learning". ACM Comput. Surv. 53 (3): 63:1–63:34. doi:10.1145/3386252. ISSN 0360-0300.
  27. ↑ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (2022). "What Can Transformers Learn In-Context? A Case Study of Simple Function Classes". NeurIPS. arXiv:2208.01066.
  28. ↑ Narang, Sharan; Chowdhery, Aakanksha (4 April 2022). "Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance". ai.googleblog.com. Geargiveer vanaf die oorspronklike op 4 April 2022. Besoek op 14 Augustus 2023.
  29. ↑ Dang, Ekta (8 Februarie 2023). "Harnessing the power of GPT-3 in scientific research". VentureBeat. Geargiveer vanaf die oorspronklike op 18 Maart 2023. Besoek op 10 Maart 2023.
  30. ↑ Montti, Roger (13 Mei 2022). "Google's Chain of Thought Prompting Can Boost Today's Best Algorithms". Search Engine Journal (in Engels). Geargiveer vanaf die oorspronklike op 26 Maart 2023. Besoek op 10 Maart 2023.
  31. ↑ "Scaling Instruction-Finetuned Language Models" (PDF). Journal of Machine Learning Research. 2024. Geargiveer (PDF) vanaf die oorspronklike op 8 Mei 2025. Besoek op 9 Mei 2025.
  32. ↑ Wei, Jason; Tay, Yi (29 November 2022). "Better Language Models Without Massive Compute". ai.googleblog.com (in Engels). Geargiveer vanaf die oorspronklike op 10 Maart 2023. Besoek op 10 Maart 2023.
  33. ↑ Kojima, Takeshi; Shixiang Shane Gu; Reid, Machel; Matsuo, Yutaka; Iwasawa, Yusuke (2022). "Large Language Models are Zero-Shot Reasoners". NeurIPS. arXiv:2205.11916.
  34. ↑ Sprague, Zayne; Yin, Fangcong; Rodríguez, Juan Diego; Jiang, Dongwei; Wadhwa, Manya; Singhal, Prasann (2024). "To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning". [cs.CL].
  35. ↑ Liu, Ryan; Geng, Jiayi; Wu, Aiping; Sucholutsky, Ilia; Lombrozo, Tania; Griffiths, Thomas L. (2024). "Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse". [cs.LG].
  36. ↑ Cantini, Alessia; De Mauro, Andrea (2026). "Better Prompts, Better Usefulness: A Systematic Review and Experimental Evaluation of Structured Prompting Techniques in Large Language Models". Big Data and Cognitive Computing. 10 (7): 224. doi:10.3390/bdcc10070224.
  37. ↑ (2023) "Self-Consistency Improves Chain of Thought Reasoning in Language Models" in ICLR..
  38. ↑ Mittal, Aayush (27 Mei 2024). "Latest Modern Advances in Prompt Engineering: A Comprehensive Guide". Unite.AI (in American English). Geargiveer vanaf die oorspronklike op 19 Augustus 2025. Besoek op 8 Mei 2025.
  39. ↑ Goldman, Sharon (5 Januarie 2023). "Two years after DALL-E debut, its inventor is "surprised" by impact". VentureBeat (in American English). Geargiveer vanaf die oorspronklike op 18 Januarie 2025. Besoek op 9 Mei 2025.
  40. ↑ "Prompts". docs.midjourney.com. Geargiveer vanaf die oorspronklike op 23 Augustus 2023. Besoek op 14 Augustus 2023.
  41. ↑ "Stable Diffusion prompt: a definitive guide". 14 Mei 2023. Geargiveer vanaf die oorspronklike op 14 Augustus 2023. Besoek op 14 Augustus 2023.
  42. ↑ Diab, Mohamad; Herrera, Julian; Chernow, Bob (28 Oktober 2022). "Stable Diffusion Prompt Book" (PDF). Geargiveer (PDF) vanaf die oorspronklike op 30 Maart 2023. Besoek op 7 Augustus 2023. Prompt engineering is the process of structuring words that can be interpreted and understood by a text-to-image model. Think of it as the language you need to speak in order to tell an AI model what to draw.
  43. ↑ Heikkilä, Melissa (16 September 2022). "This Artist Is Dominating AI-Generated Art and He's Not Happy About It". MIT Technology Review. Geargiveer vanaf die oorspronklike op 14 Januarie 2023. Besoek op 14 Augustus 2023.
  44. ↑ Solomon, Tessa (28 Augustus 2024). "The AI-Powered Ask Dalí and Hello Vincent Installations Raise Uncomfortable Questions about Ventriloquizing the Dead". ARTnews.com (in American English). Geargiveer vanaf die oorspronklike op 24 Januarie 2025. Besoek op 10 Januarie 2025.
  45. ↑ Gal, Rinon; Alaluf, Yuval; Atzmon, Yuval; Patashnik, Or; Bermano, Amit H.; Chechik, Gal; Cohen-Or, Daniel (2023). "An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion". ICLR. arXiv:2208.01618. Using only 3-5 images of a user-provided concept, like an object or a style, we learn to represent it through new "words" in the embedding space of a frozen text-to-image model.
  46. ↑ (2023) "Segment Anything" in ICCV..
  47. ↑ Berry, David M. (2 Junie 2026). "Prompt anxiety and the algorithmic politics of uncertainty". AI & Society (in Engels). doi:10.1007/s00146-026-03093-8. ISSN 1435-5655.
  48. ↑ Meincke, Lennart; Mollick, Ethan R.; Mollick, Lilach; Shapiro, Dan (2025-03-04). Prompting Science Report 1: Prompt Engineering is Complicated and Contingent (Report).
  49. ↑ Bousquette, Isabelle (25 April 2025). "The Hottest AI Job of 2023 Is Already Obsolete". The Wall Street Journal (in American English). ISSN 0099-9660. Geargiveer vanaf die oorspronklike op 7 Mei 2025. Besoek op 24 Mei 2026.
  50. ↑ Li, Wenwu; Wang, Xiangfeng; Li, Wenhao; Jin, Bo (2025). "A Survey of Automatic Prompt Engineering: An Optimization Perspective". [cs.AI].
  51. ↑ "Can a technology called RAG keep AI models from making stuff up?". Ars Technica. 6 Junie 2024. Geargiveer vanaf die oorspronklike op 6 Junie 2024. Besoek op 7 Maart 2025.
  52. ↑ Larson, Jonathan; Truitt, Steven (February 13, 2024), GraphRAG: Unlocking LLM discovery on narrative private data, Microsoft, https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/, besoek op May 7, 2024
  53. ↑ "An Introduction to Graph RAG". KDnuggets (in American English). Geargiveer vanaf die oorspronklike op 20 Augustus 2025. Besoek op 9 Mei 2025.
  54. ↑ Sequeda, Juan; Allemang, Dean; Jacob, Bryon (2023). "A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model's Accuracy for Question Answering on Enterprise SQL Databases". Grades-Nda. arXiv:2311.07509.
  55. ↑ (2023) "Explaining Patterns in Data with Language Models via Interpretable Autoprompting" in BlackboxNLP Workshop..
  56. ↑ (2023) "Large Language Models are Human-Level Prompt Engineers" in ICLR..
  57. ↑ Pryzant, Reid; Iter, Dan; Li, Jerry; Lee, Yin Tat; Zhu, Chenguang; Zeng, Michael (2023). "Automatic Prompt Optimization with "Gradient Descent" and Beam Search". Conference on Empirical Methods in Natural Language Processing: 7957–7968. arXiv:2305.03495. doi:10.18653/v1/2023.emnlp-main.494. Geargiveer vanaf die oorspronklike op 27 April 2025. Besoek op 9 Mei 2025.
  58. ↑ (2023) "Automatic Chain of Thought Prompting in Large Language Models" in ICLR..
  59. ↑ (2024) "Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs" in Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP)., Miami, Florida: Association for Computational Linguistics. doi:10.18653/v1/2024.emnlp-main.525.
  60. ↑ Agrawal, Lakshya A. (2025). "GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning". [cs.CL].
  61. ↑ Khattab, Omar (2023). "DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines". [cs.CL].
  62. ↑ "Agent Optimization". comet.com. Geargiveer vanaf die oorspronklike op 22 Januarie 2026. Besoek op 29 November 2025.
  63. ↑ Li, Xiang Lisa; Liang, Percy (2021). "Prefix-Tuning: Optimizing Continuous Prompts for Generation". Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). pp. 4582–4597. doi:10.18653/V1/2021.ACL-LONG.353. S2CID 230433941. In this paper, we propose prefix-tuning, a lightweight alternative to fine-tuning... Prefix-tuning draws inspiration from prompting
  64. ↑ Lester, Brian; Al-Rfou, Rami; Constant, Noah (2021). "The Power of Scale for Parameter-Efficient Prompt Tuning". Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. pp. 3045–3059. arXiv:2104.08691. doi:10.18653/V1/2021.EMNLP-MAIN.243. S2CID 233296808. In this work, we explore "prompt tuning," a simple yet effective mechanism for learning "soft prompts"...Unlike the discrete text prompts used by GPT-3, soft prompts are learned through back-propagation
  65. ↑ Shin, Taylor; Razeghi, Yasaman; Logan IV, Robert L.; Wallace, Eric; Singh, Sameer (November 2020). "AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Online: Association for Computational Linguistics. pp. 4222–4235. doi:10.18653/v1/2020.emnlp-main.346. S2CID 226222232. Geargiveer vanaf die oorspronklike op 11 Junie 2023. Besoek op 11 Junie 2023.
  66. ↑ Mukherjee, Krishna C. (1999). "Automating Forms Publishing with the Intelligent Filing Manager" in IEEE International Conference on Systems, Man, and Cybernetics.: 378–383. doi:10.1109/ICSMC.1999.814108.
  67. ↑ (2018-06-20) "The Natural Language Decathlon: Multitask Learning as Question Answering" in ICLR..
  68. ↑ Knoth, Nils; Tolzin, Antonia; Janson, Andreas; Leimeister, Jan Marco (1 Junie 2024). "AI literacy and its implications for prompt engineering strategies". Computers and Education: Artificial Intelligence. 6 100225. doi:10.1016/j.caeai.2024.100225. ISSN 2666-920X.
  69. ↑ Bousquette, Isabelle (25 April 2025). "The Hottest AI Job of 2023 Is Already Obsolete". Wall Street Journal (in American English). ISSN 0099-9660. Geargiveer vanaf die oorspronklike op 7 Mei 2025. Besoek op 7 Mei 2025.
  70. ↑ (2022) "PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts" in Association for Computational Linguistics..
  71. ↑ Brubaker, Ben (21 Maart 2024). "How Chain-of-Thought Reasoning Helps Neural Networks Compute". Quanta Magazine (in Engels). Geargiveer vanaf die oorspronklike op 9 Mei 2025. Besoek op 9 Mei 2025.
  72. ↑ Chen, Brian X. (23 Junie 2023). "How to Turn Your Chatbot Into a Life Coach". The New York Times. Geargiveer vanaf die oorspronklike op 14 Augustus 2023. Besoek op 14 Augustus 2023.
  73. ↑ Chen, Brian X. (25 Mei 2023). "Get the Best From ChatGPT With These Golden Prompts". The New York Times (in American English). ISSN 0362-4331. Geargiveer vanaf die oorspronklike op 14 Augustus 2023. Besoek op 16 Augustus 2023.
  74. ↑ Chen, Zijie; Zhang, Lichao; Weng, Fangsheng; Pan, Lili; Lan, Zhenzhong (16 Junie 2024). "Tailored Visions: Enhancing Text-to-Image Generation with Personalized Prompt Rewriting". 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. pp. 7727–7736. arXiv:2310.08129. doi:10.1109/cvpr52733.2024.00738. ISBN 979-8-3503-5300-6.
  75. ↑ Vigliarolo, Brandon (19 September 2022). "GPT-3 'prompt injection' attack causes bot bad manners". The Register (in Engels). Geargiveer vanaf die oorspronklike op 29 Maart 2023. Besoek op 9 Februarie 2023.
  76. ↑ "What is a prompt injection attack?". IBM. 26 Maart 2024. Geargiveer vanaf die oorspronklike op 3 Maart 2025. Besoek op 7 Maart 2025.
Ontsluit van "https://af.wikipedia.org/w/index.php?title=Porboodskapingenieurswese&oldid=2975523"