Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie

in Wikipedia, die vrye ensiklopedie
Deel van 'n reeks oor
Kunsmatige intelligensie
s • b • w

Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie is die hipotese dat aansienlike vordering in kunsmatige algemene intelligensie (KAI) tot menslike uitwissing of 'n ander onomkeerbare globale katastrofe kan lei.[1][2][3]

Een argument is soos volg: mense oorheers ander spesies omdat die menslike brein oor eiesoortige vermoëns beskik wat ander diere kort. As KI die mensdom in algemene intelligensie sou oortref en superintelligent sou word, kan dit moeilik of onmoontlik word om te beheer. Net soos die lot van die berggorilla afhang van menslike welwillendheid, so kan die lot van die mensdom afhang van die optrede van 'n toekomstige masjien superintelligensie.[4]

Die geloofwaardigheid van eksistensiële katastrofe as gevolg van kunsmatige intelligensie (KI) word wyd gedebatteer, en hang deels af of KAI of superintelligensie haalbaar is, die spoed waarteen gevaarlike vermoëns en gedrag na vore kom,[5] en of praktiese scenario's vir KI-oornames bestaan.[6] Kommer oor superintelligensie is uitgespreek deur vooraanstaande rekenaarwetenskaplikes en tegniese uitvoerende hoofde soos Geoffrey Hinton,[7] Yoshua Bengio,[8] Alan Turing,[9][10] Elon Musk,[11] en Sam Altman, uitvoerende hoof van OpenAI.[12] In 2022 het 'n opname onder KI-navorsers met 'n 17%-reaksiekoers bevind dat die meerderheid respondente geglo het dat daar 'n 10 persent of groter kans is dat ons onvermoë om KI te beheer 'n eksistensiële katastrofe sal veroorsaak.[13][14] In 2023 het honderde KI-kundiges en ander noemenswaardige figure 'n verklaring onderteken dat "Die versagting van die risiko van uitwissing van KI 'n wêreldwye prioriteit moet wees saam met ander maatskaplike skaalrisiko's soos pandemies en kernoorlog."[15] Na groter kommer oor KI. risiko's, het regeringsleiers soos die Britse premier Rishi Sunak[16] en die Verenigde Nasies se sekretaris-generaal António Guterres[17] 'n beroep gedoen op 'n groter fokus op wêreldwye KI-regulering.

Twee bronne van kommer spruit uit die probleme van KI-beheer en -belyning: om 'n superintelligente masjien te beheer of dit in lyn met mens-versoenbare waardes in te bring, kan moeilik wees. Baie navorsers glo dat 'n superintelligente masjien pogings sal weerstaan om dit uit te skakel of sy doelwitte te verander, aangesien dit dit sal verhoed om sy huidige doelwitte te bereik. Dit sal uiters moeilik wees om 'n superintelligensie in lyn te bring met die volle breedte van beduidende menslike waardes en beperkings.[1][18][19] Daarteenoor argumenteer skeptici soos rekenaarwetenskaplike Yann LeCun dat superintelligente masjiene geen begeerte vir selfbehoud sal hê nie.[20]

'n Derde bron van kommer is dat 'n skielike "intelligensie-ontploffing" 'n onvoorbereide menslike ras kan verras. Sulke scenario's neem die moontlikheid in ag dat 'n KI wat meer intelligent is as sy skeppers in staat kan wees om homself rekursief te verbeter teen 'n eksponensieel toenemende tempo, wat te vinnig verbeter vir sy hanteerders en die gemeenskap in die algemeen om te beheer.[1][18] Empiries toon voorbeelde soos AlphaZero wat homself leer om Go te speel dat domeinspesifieke KI-stelsels soms baie vinnig van ondermenslike tot bomenslike vermoëns kan vorder, hoewel sulke stelsels nie die verandering van hul fundamentele argitektuur behels nie.[21]

Geskiedenis[wysig | wysig bron]

Een van die vroegste skrywers wat ernstige kommer uitgespreek het dat hoogs gevorderde masjiene eksistensiële risiko's vir die mensdom kan inhou, was die romanskrywer Samuel Butler, wat in sy 1863-essay Darwin among the Machines geskryf het:[22] 

"Die resultaat is bloot 'n kwessie van tyd, maar dat die tyd sal aanbreek wanneer die masjiene die ware oppergesag oor die wêreld en sy inwoners sal hou, is wat geen persoon met 'n ware filosofiese verstand vir 'n oomblik kan bevraagteken nie."

In 1951 het die grondleggende rekenaarwetenskaplike Alan Turing die artikel "Intelligent Machinery, A Heretical Theory" geskryf, waarin hy voorgestel het dat kunsmatige algemene intelligensies waarskynlik "beheer" van die wêreld sou neem namate hulle intelligenter as mense geword het: 

“Laat ons nou aanneem, ter wille van die argument, dat intelligente masjiene 'n werklike moontlikheid is, en kyk na die gevolge van die konstruksie daarvan ... Daar sal geen sprake wees van die masjiene wat sterf nie, en hulle sal in staat wees om te praat met mekaar om hul verstand op te skerp. Ons moet dus op 'n stadium verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word.”[23]

In 1965 het I.J. Good die konsep geskep wat nou bekend staan as 'n "intelligensie-ontploffing" en gesê die risiko's word onderskat:[24] 

“Laat 'n ultra-intelligente masjien gedefinieer word as 'n masjien wat al die intellektuele aktiwiteite van enige man hoe slim ook al kan oortref. Aangesien die ontwerp van masjiene een van hierdie intellektuele aktiwiteite is, kan 'n ultra-intelligente masjien selfs beter masjiene ontwerp; daar sou dan ongetwyfeld 'n 'intelligensie-ontploffing' wees, en die intelligensie van die mens sou ver agterbly. Die eerste ultra-intelligente masjien is dus die laaste uitvinding wat die mens ooit moet maak, mits die masjien gemaklik genoeg is om ons te vertel hoe om dit onder beheer te hou. Dit is eienaardig dat hierdie punt so selde buite wetenskapfiksie gemaak word. Dit is soms die moeite werd om wetenskapfiksie ernstig op te neem.”[25]

Geleerdes soos Marvin Minsky[26] en I. J. Good self[27] het soms kommer uitgespreek dat 'n superintelligensie beheer kon oorneem, maar het geen oproep tot aksie gerig nie. In 2000 het die rekenaarwetenskaplike en Sun-medestigter Bill Joy 'n invloedryke essay geskryf, "Why The Future Doesn't Need Us", wat superintelligente robotte identifiseer as 'n hoë-tegnologie gevaar vir menslike oorlewing, saam met nanotegnologie en gemanipuleerde bioplae.[28]

Nick Bostrom het in 2014 Superintelligence gepubliseer, wat sy argumente voorgehou het dat superintelligensie 'n eksistensiële bedreiging inhou.[29] Teen 2015 het openbare figure soos fisici Stephen Hawking en Nobelpryswenner Frank Wilczek, rekenaarwetenskaplikes Stuart J. Russell en Roman Yampolskiy, en entrepreneurs Elon Musk en Bill Gates hul kommer uitgespreek oor die risiko's van superintelligensie.[30][31][32][33] Ook in 2015 het die Ope Brief oor Kunsmatige Intelligensie die "groot potensiaal van KI" uitgelig en meer navorsing aangemoedig oor hoe om dit robuust en voordelig te maak.[34] In April 2016 het Nature gewaarsku: "Masjiene en robotte wat mense oor die hele linie beter presteer, kan self verbeter buite ons beheer - en hul belange strook dalk nie met ons s'n nie."[35] In 2020 het Brian Christian The Alignment Problem gepubliseer, wat besonderhede bevat. die geskiedenis van vordering met KI-belyning tot op daardie tydstip.[36][37]

KI-vermoëns[wysig | wysig bron]

Algemene intelligensie[wysig | wysig bron]

Kunsmatige algemene intelligensie (KAI) word tipies gedefinieer as 'n stelsel wat ten minste so goed presteer as mense in die meeste of alle intellektuele take.[38] 'n 2022-opname van KI-navorsers het bevind dat 90% van die respondente verwag het dat KAI in die volgende 100 jaar bereik sou word, en die helfte het dieselfde teen 2061 verwag.[39] Intussen verwerp sommige navorsers eksistensiële risiko's van KAI as "wetenskapfiksie" op grond van hul hoë vertroue dat KAI nie binnekort geskep sal word nie.[40]

Deurbrake in groot taalmodelle het daartoe gelei dat sommige navorsers hul verwagtinge heroorweeg het. Geoffrey Hinton het veral in 2023 gesê dat hy onlangs sy skatting verander het van "20 na 50 jaar voor ons algemene doel KI" na "20 jaar of minder".[41]

Superintelligensie[wysig | wysig bron]

In teenstelling met KAI, definieer Bostrom 'n superintelligensie as "enige intellek wat die kognitiewe prestasie van mense in feitlik alle terreine van belang aansienlik oorskry", insluitend wetenskaplike kreatiwiteit, strategiese beplanning en sosiale vaardighede.[42][4] Hy voer aan dat 'n superintelligensie mense kan uitmaneuver wanneer sy doelwitte met mense bots. Dit kan kies om sy ware bedoeling weg te steek totdat die mensdom dit nie kan keer nie.[43][4] Bostrom skryf dat om veilig te wees vir die mensdom, 'n superintelligensie in lyn gebring moet word met menslike waardes en moraliteit, sodat dit "fundamenteel aan ons kant" is.[44]

Stephen Hawking het aangevoer dat superintelligensie fisies moontlik is omdat "daar geen fisiese wet is wat verhoed dat deeltjies georganiseer word op maniere wat selfs meer gevorderde berekeninge uitvoer as die rangskikkings van deeltjies in menslike breine nie".[31]

Wanneer superintelligensie bereik kan word, indien ooit, is noodwendig minder seker as voorspellings vir KAI. In 2023 het OpenAI-leiers gesê dat nie net KAI nie, maar superintelligensie in minder as 10 jaar bereik kan word.[45]

Vergelyking met mense[wysig | wysig bron]

Bostrom voer aan dat KI baie voordele bo die menslike brein het:[4]

  • Spoed van berekening: biologiese neurone werk teen 'n maksimum frekwensie van ongeveer 200 Hz, in vergelyking met potensieel veelvuldige GHz vir rekenaars.
  • Interne kommunikasiespoed: aksone stuur seine teen tot 120 m/s uit, terwyl rekenaars seine teen die spoed van elektrisiteit, of opties teen die spoed van lig, uitsaai.
  • Skaalbaarheid: menslike intelligensie word beperk deur die grootte en struktuur van die brein, en deur die doeltreffendheid van sosiale kommunikasie, terwyl KI moontlik kan skaal deur bloot meer hardeware by te voeg.
  • Geheue: veral werkende geheue, want by mense is dit beperk tot 'n paar stukke inligting op 'n slag.
  • Betroubaarheid: transistors is meer betroubaar as biologiese neurone, wat hoër akkuraatheid moontlik maak en minder oortolligheid vereis.
  • Dupliseerbaarheid: anders as menslike breine, kan KI-sagteware en -modelle maklik gekopieer word.
  • Redigeerbaarheid: die parameters en interne werking van 'n KI-model kan maklik gewysig word, anders as die verbindings in 'n menslike brein.
  • Geheue deel en leer: KI's kan dalk leer uit die ervarings van ander KI's op 'n manier wat meer doeltreffend is as menslike leer.

Intelligensie-ontploffing[wysig | wysig bron]

Volgens Bostrom kan 'n KI wat 'n kundige vlak fasiliteit by sekere sleutel sagteware-ingenieurstake het, 'n superintelligensie word as gevolg van sy vermoë om sy eie algoritmes rekursief te verbeter, selfs al is dit aanvanklik beperk in ander domeine wat nie direk relevant is tot ingenieurswese nie.[4][43] Dit dui daarop dat 'n intelligensie-ontploffing eendag die mensdom onvoorbereid kan vang.[4]

Die ekonoom Robin Hanson het gesê dat, om 'n intelligensie-ontploffing te loods, 'n KI baie beter in sagteware-innovasie moet word as die res van die wêreld saam, wat hy onwaarskynlik vind.[46]

In 'n "vinnige opstyg"-scenario kan die oorgang van KAI na superintelligensie dae of maande neem. In 'n "stadige opstyg" kan dit jare of dekades neem, wat meer tyd laat vir die samelewing om voor te berei.[47]

Uitheemse verstand[wysig | wysig bron]

Superintelligensies word soms "‘n uitheemse verstand" genoem, met verwysing na die idee dat hul manier van dink en motiverings hemelsbreed van ons s'n kan verskil. Dit word oor die algemeen beskou as 'n bron van risiko, wat dit moeiliker maak om te voorspel wat 'n superintelligensie kan doen. Dit dui ook op die moontlikheid dat 'n superintelligensie mense nie by verstek baie waardeer nie.[48] Om antropomorfisme te vermy, word superintelligensie soms beskou as 'n kragtige optimaliseerder wat die beste besluite neem om sy doelwitte te bereik.[4]

Die veld van "meganistiese interpreteerbaarheid" het ten doel om die innerlike werking van KI-modelle beter te verstaan, wat ons moontlik toelaat om eendag tekens van misleiding en wanbelyning op te spoor.[49]

Perke[wysig | wysig bron]

Daar is aangevoer dat daar beperkings is op wat intelligensie kan bereik. Die chaotiese aard of tydskompleksiteit van sommige stelsels kan veral 'n superintelligensie se vermoë om sekere aspekte van die toekoms te voorspel, fundamenteel beperk, wat die onsekerheid daarvan verhoog.[50]

Gevaarlike vermoëns[wysig | wysig bron]

Gevorderde KI kan verbeterde patogene genereer, kuberaanvalle loods of mense manipuleer. Hierdie vermoëns kan deur mense misbruik word[51] of deur die KI self uitgebuit word as dit nie in lyn is met menslike doelwitte nie.[4] 'n Volskaalse superintelligensie kan verskeie maniere vind om 'n deurslaggewende invloed te kry as dit wil,[4] maar hierdie gevaarlike vermoëns kan vroeër beskikbaar word, in swakker en meer gespesialiseerde KI-stelsels. Hulle kan onstabiliteit in die samelewing veroorsaak en kwaadwillige akteurs bemagtig.[51]

Sosiale manipulasie[wysig | wysig bron]

Geoffrey Hinton het gewaarsku dat die oorvloed van KI-gegenereerde teks, beelde en video's op kort termyn dit moeiliker sal maak om die waarheid uit te vind, wat hy sê outoritêre state kan uitbuit om verkiesings te manipuleer.[52] Sulke grootskaalse, persoonlike manipulasievermoëns kan die eksistensiële risiko van 'n wêreldwye "onomkeerbare totalitêre regime" verhoog. Dit kan ook deur kwaadwillige akteurs gebruik word om die samelewing te beskadig en dit wanfunksioneel te maak.[51]

Kuberaanvalle[wysig | wysig bron]

KI-geaktiveerde kuberaanvalle word toenemend as 'n huidige en kritieke bedreiging beskou. Volgens NAVO se tegniese direkteur van die kuberruimte, "neem die aantal aanvalle eksponensieel toe".[53] KI kan ook defensief gebruik word, om kwesbaarhede voorkomend te vind en reg te stel, en bedreigings op te spoor.[54]

KI kan die "toeganklikheid, sukseskoers, skaal, spoed, verskuiling en sterkte van kuberaanvalle verbeter", wat moontlik "beduidende geopolitieke onstuimigheid" kan veroorsaak as dit aanvalle meer as verdediging fasiliteer.[51] Spekulatief kan sulke kuberkraakvermoëns deur 'n KI-stelsel gebruik word om uit sy plaaslike omgewing te breek, inkomste te genereer of wolkrekenaarhulpbronne te bekom.[55]

Verbeterde patogene[wysig | wysig bron]

Namate KI-tegnologie demokratiseer, kan dit makliker word om meer aansteeklike en dodelike patogene te ontwerp. Dit kan mense met beperkte vaardighede in sintetiese biologie in staat stel om by bioterrorisme betrokke te raak. Dubbelgebruik-tegnologie wat nuttig is vir medisyne kan hergebruik word om wapens te skep.[51]

Byvoorbeeld, in 2022 het wetenskaplikes 'n KI-stelsel gewysig wat oorspronklik bedoel was om nie-giftige, terapeutiese molekules te genereer met die doel om nuwe medisyne te skep. Die navorsers het die stelsel aangepas sodat toksisiteit eerder beloon as gepenaliseer word. Hierdie eenvoudige verandering het die KI-stelsel in staat gestel om binne ses uur 40 000 kandidaatmolekules vir chemiese oorlogvoering te skep, insluitend bekende en nuwe molekules.[51][56]

KI-wapenwedloop[wysig | wysig bron]

Maatskappye, staatsakteurs en ander organisasies wat meeding om KI-tegnologie te ontwikkel, kan lei tot 'n wedloop wat veiligheidstandaarde in gevaar kan stel.[57] Aangesien streng veiligheidsprosedures tyd en hulpbronne verg, loop projekte wat noukeuriger voortgaan die risiko om teenr minder noukeurige ontwikkelaars te kompeteer[58][51]

KI kan gebruik word om militêre voordele te verkry deur outonome dodelike wapens, kuberoorlogvoering of outomatiese besluitneming.[51] As 'n voorbeeld van outonome dodelike wapens, kan geminiaturiseerde hommeltuie laekoste-sluipmoord op militêre of burgerlike teikens fasiliteer, 'n scenario wat in die 2017-kortfilm Slaughterbots uitgelig is.[59] KI kan gebruik word om 'n voorsprong in besluitneming te kry deur vinnig groot hoeveelhede data te ontleed en besluite vinniger en doeltreffender as mense te neem. Dit kan die spoed en onvoorspelbaarheid van oorlog verhoog, veral wanneer rekening gehou word met outomatiese vergeldingstelsels.[51][60]

Tipes eksistensiële risiko’s[wysig | wysig bron]

'n Eksistensiële risiko is "een wat die voortydige uitwissing van intelligente lewe van die Aarde bedreig of die permanente en drastiese vernietiging van sy potensiaal vir wenslike toekomstige ontwikkeling".[61]

Benewens uitwissingsrisiko, is daar die risiko dat die beskawing permanent in 'n gebrekkige toekoms opgesluit word. Een voorbeeld is 'n "waarde-insluiting": As die mensdom steeds morele blindekolle het wat soortgelyk is aan slawerny in die verlede, kan KI dit onomkeerbaar verskans en morele vooruitgang verhoed. KI kan ook gebruik word om die stel waardes van wie dit ontwikkel te versprei en te bewaar.[62] KI kan grootskaalse toesig en indoktrinasie fasiliteer, wat gebruik kan word om 'n stabiele onderdrukkende wêreldwye totalitêre regime te skep.[63]

Dit is moeilik of onmoontlik om betroubaar te evalueer of 'n gevorderde KI bewus is en tot watter mate. Maar as beswustemasjiene in die toekoms in massa geskep word, kan dit 'n eksistensiële katastrofe wees om aan 'n beskawingspad deel te neem wat hul welsyn onbepaald verwaarloos.[64][65] Boonop kan dit moontlik wees om digitale "bewussyne" te ontwerp wat baie meer geluk kan voel as mense met minder hulpbronne, wat "superbegunstigdes" genoem word. So 'n geleentheid laat die vraag ontstaan hoe om die wêreld te deel en watter "etiese en politieke raamwerk" 'n wedersyds voordelige naasbestaan tussen biologiese en digitale "bewussyne" moontlik sal maak.[66]

KI kan ook die mensdom se toekoms drasties verbeter. Toby Ord beskou die eksistensiële risiko as 'n rede om "met die nodige omsigtigheid voort te gaan", nie om KI te laat vaar nie.[63] Max More noem KI 'n "eksistensiële geleentheid", wat die koste beklemtoon om dit nie te ontwikkel nie.[67]

Volgens Bostrom kan superintelligensie help om die eksistensiële risiko van ander kragtige tegnologieë soos molekulêre nanotegnologie of sintetiese biologie te verminder. Dit is dus denkbaar dat die ontwikkeling van superintelligensie voor ander gevaarlike tegnologieë die algehele eksistensiële risiko sal verminder.[4]

KI-belyning[wysig | wysig bron]

Verdere inligting: KI-belyning

Die belyningsprobleem is die navorsingsprobleem van hoe om doelwitte, voorkeure of etiese beginsels betroubaar aan KI's toe te ken.

Instrumentele konvergensie[wysig | wysig bron]

'n "Instrumentele" doelwit is 'n subdoelwit wat help om 'n agent se uiteindelike doelwit te bereik. "Instrumentele konvergensie" verwys na die feit dat sommige subdoelwitte nuttig is om feitlik enige uiteindelike doelwit te bereik, soos die verkryging van hulpbronne of selfbehoud.[68] Bostrom voer aan dat as 'n gevorderde KI se instrumentele doelwitte bots met die mensdom se doelwitte, die KI die mensdom kan benadeel om meer hulpbronne te bekom of te verhoed dat homself gesluit word, maar slegs as 'n manier om sy uiteindelike doel te bereik.[4]

Stuart J. Russell voer aan dat 'n voldoende gevorderde masjien "selfbehoud sal hê, selfs al programmeer jy dit nie in nie ... as jy sê: 'Haal die koffie', kan dit nie die koffie haal as dit dood is nie. So as jy dit enige doelwilwit hoegenaamd gee, het dit 'n rede om sy eie bestaan te bewaar om daardie doel te bereik."[20][69]

Weerstand teen veranderende doelwitte[wysig | wysig bron]

Selfs al is huidige doelwitgebaseerde KI-programme nie intelligent genoeg om te dink daaraan om programmeerderpogings te weerstaan om hul doelstrukture te verander nie, kan 'n voldoende gevorderde KI enige pogings om sy doelstruktuur te verander weerstaan, net soos 'n pasifis nie 'n pil wil drink wat maak dat hulle mense wil doodmaak nie. As die KI superintelligent was, sou dit waarskynlik daarin slaag om sy menslike operateurs uit te maneuvreer en te verhoed dat homself "afgeskakel" of herprogrammeer word met 'n nuwe doelwit.[4][70] Dit is veral relevant vir waarde-insluitscenario's. Die veld van " korrigeerbaarheid " bestudeer hoe om agente te maak wat nie pogings sal weerstaan om hul doelwitte te verander nie.[71]

Problematiek om doelwitte te spesifiseer[wysig | wysig bron]

In die "intelligente agent"-model kan 'n KI losweg beskou word as 'n masjien wat kies watter aksie ook al lyk om sy stel doelwitte, of "nutsfunksie" die beste te bereik. 'n Nutsfunksie gee aan elke moontlike situasie 'n telling wat die wenslikheid daarvan aan die agent aandui. Navorsers weet hoe om nutsfunksies te skryf wat beteken "verminder die gemiddelde netwerkvertraging in hierdie spesifieke telekommunikasiemodel" of "maksimeer die aantal beloningsklikke", maar weet nie hoe om 'n nutsfunksie te skryf vir "maksimeer menslike florering" nie; dit is ook nie duidelik of so 'n funksie sinvol en ondubbelsinnig bestaan nie. Verder sal 'n nutsfunksie wat sommige waardes uitdruk, maar nie ander nie, geneig wees om die waardes te vertrap wat die funksie nie weerspieël nie.[72][73]

'n Bykomende bron van kommer is dat KI "moet redeneer oor wat mense van plan is eerder as om opdragte letterlik uit te voer", en dat dit vloeiend menslike leiding moet kan vra as dit te onseker is oor wat mense wil hê.[74]

Belyning van superintelligensies[wysig | wysig bron]

Sommige navorsers glo dat die belyningsprobleem veral moeilik kan wees wanneer dit op superintelligensies toegepas word. Hul redenasie sluit in:

  • Namate KI-stelsels in vermoëns toeneem, groei die potensiële gevare verbonde aan eksperimentering. Dit maak iteratiewe, empiriese benaderings toenemend riskant.[4][75]
  • Indien instrumentele doelwitkonvergensie plaasvind, mag dit slegs in voldoende intelligente agente gedoen word.[76]
  • 'n Superintelligensie kan onkonvensionele en radikale oplossings vir toegewysde doelwitte vind. Bostrom gee die voorbeeld dat as die doel is om mense te laat glimlag, 'n swak KI kan presteer soos bedoel, terwyl 'n superintelligensie kan besluit 'n beter oplossing is om "beheer oor die wêreld te neem en elektrodes in die gesigspiere van mense te plaas vir konstante , stralende glimlag."[44]
  • 'n Superintelligensie in die skepping kan 'n mate van bewustheid kry van wat dit is, waar dit in ontwikkeling is (opleiding, toetsing, ontplooiing, ens.), en hoe dit gemonitor word, en hierdie inligting gebruik om die hanteerders daarvan te mislei.[77] Bostrom skryf dat so 'n KI-belyning kan voorgee om menslike inmenging te voorkom totdat dit 'n "beslissende strategiese voordeel" behaal wat dit toelaat om beheer te neem.[4]
  • Om die interne werking te ontleed en die gedrag van huidige groot taalmodelle te interpreteer is moeilik. En dit kan selfs moeiliker wees vir groter en meer intelligente modelle.[75]

Andersins vind sommiges redes om te glo dat superintelligensies beter in staat sal wees om moraliteit, menslike waardes en komplekse doelwitte te verstaan. Bostrom skryf, "'n Toekomstige superintelligensie beklee 'n epistemies superieure uitkykpunt: sy oortuigings is (waarskynlik, oor die meeste onderwerpe) meer geneig as ons s'n om waar te wees".[4]

In 2023 het OpenAI 'n projek genaamd "Superalignment" begin om die belyning van superintelligensies in vier jaar op te los. Dit noem dit 'n besonder belangrike uitdaging, aangesien dit gesê het dat superintelligensie binne 'n dekade bereik kan word. Sy strategie behels die outomatisering van belyningsnavorsing met behulp van kunsmatige intelligensie.[78]

Kompleksiteit om 'n foutlose ontwerp te skep[wysig | wysig bron]

Artificial Intelligence: A Modern Approach, 'n wyd gebruikte voorgraadse KI-handboek,[79][80] verklaar dat superintelligensie "die einde van die menslike ras kan beteken".[1] Dit sê: "Byna enige tegnologie het die potensiaal om skade in die verkeerde hande te veroorsaak, maar met [superintelligensie] het ons die nuwe probleem dat die verkeerde hande dalk aan die tegnologie self behoort."[1] Selfs al het die stelselontwerpers goeie bedoelings, twee probleme is algemeen vir beide KI en nie-KI rekenaarstelsels:[1]

Die stelsel se implementering kan aanvanklik onopgemerkte maar later katastrofiese foute bevat. 'n Analogie is ruimtetuie: ten spyte van die wete dat foute in duur ruimtetuie moeilik reggemaak kan word ná lansering, kon ingenieurs histories nie verhoed dat katastrofiese foute voorkom nie.[81][82]

Maak nie saak hoeveel tyd in voor-ontplooiing ontwerp ingesit word nie, 'n stelsel se spesifikasies lei dikwels tot onbedoelde gedrag die eerste keer dat dit 'n nuwe scenario teëkom. Microsoft se Tay het byvoorbeeld onaanstootlik opgetree tydens voor-ontplooiingstoetsing, maar is te maklik tot aanstootlike gedrag uitgelok wanneer dit met regte gebruikers in interaksie was.[20]

KI-stelsels voeg 'n derde probleem by: selfs gegewe "korrekte" vereistes, foutvrye implementering en aanvanklike goeie gedrag, kan 'n KI-stelsel se dinamiese leervermoëns veroorsaak dat dit onbedoelde gedrag ontwikkel, selfs sonder onverwagte eksterne scenario's. 'n KI kan 'n poging om 'n nuwe generasie van homself te ontwerp gedeeltelik misluk en per ongeluk 'n opvolger KI skep wat kragtiger is as hyself, maar wat nie meer die mens-versoenbare morele waardes handhaaf wat in die oorspronklike KI vooraf geprogrammeer is nie. Vir 'n selfverbeterende KI om heeltemal veilig te wees, sal dit nie net foutvry moet wees nie, maar om opvolgstelsels te kan ontwerp wat ook foutvry is.[1][83]

Verwysings[wysig | wysig bron]

  1. ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 Russell, Stuart; Norvig, Peter (2009). "26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4.
  2. ↑ Bostrom, Nick (2002). "Existential risks". Journal of Evolution and Technology. 9 (1): 1–31.
  3. ↑ Turchin, Alexey; Denkenberger, David (3 Mei 2018). "Classification of global catastrophic risks connected with artificial intelligence". AI & Society. 35 (1): 147–163. doi:10.1007/s00146-018-0845-5. ISSN 0951-5666. S2CID 19208453.
  4. ↑ 4,00 4,01 4,02 4,03 4,04 4,05 4,06 4,07 4,08 4,09 4,10 4,11 4,12 4,13 4,14 Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (First uitg.). Oxford University Press. ISBN 978-0-19-967811-2.
  5. ↑ Vynck, Gerrit De (23 Mei 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". Washington Post (in Engels (VSA)). ISSN 0190-8286. Besoek op 27 Julie 2023.
  6. ↑ Metz, Cade (10 Junie 2023). "How Could A.I. Destroy Humanity?". The New York Times (in Engels (VSA)). ISSN 0362-4331. Besoek op 27 Julie 2023.
  7. ↑ ""Godfather of artificial intelligence" weighs in on the past and potential of AI". www.cbsnews.com (in Engels (VSA)). 25 Maart 2023. Besoek op 10 April 2023.
  8. ↑ "How Rogue AIs may Arise". yoshuabengio.org (in Engels (VSA)). 26 Mei 2023. Besoek op 26 Mei 2023.
  9. ↑ In ‘n 1951 lesing Turing, Alan, Intelligent machinery, a heretical theory. Lesing aan die '51 Society' in Manchester, besoek op 2022-07-22, 1951, The Turing Digital Archive by https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4, bl 16, geargiveer 26 September 2022, argief https://web.archive.org/web/20220926004549/https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4, Turing het aangevoer dat "Dit lyk waarskynlik dat sodra die masjiendenkmetode begin het, dit nie lank sal neem om ons swak kragte te oortref nie. Daar sal geen sprake wees van die masjiene wat doodgaan nie, en hulle sal met mekaar kan praat om hul te verskerp. Ons behoort dus op 'n stadium te verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word." Ook in 'n lesing wat oor die BBC }}}}
  10. ↑ "Can digital computers think?". Automatic Calculating Machines (BBC). 15 Mei 1951.  het hy die mening uitgespreek: "As 'n masjien kan dink, dink dit dalk meer intelligent as ons, en waar moet ons dan wees? Selfs al kan ons die masjiene in 'n diensbare posisie hou, byvoorbeeld deur die krag af te skakel by strategiese oomblikke, moet ons as 'n spesie baie nederig voel. . . . Hierdie nuwe gevaar . . . is beslis iets wat ons angs kan gee."
  11. ↑ Parkin, Simon (14 Junie 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian (in Engels). Geargiveer vanaf die oorspronklike op 5 Februarie 2018. Besoek op 5 Februarie 2018.
  12. ↑ Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider (in Engels (VSA)). Besoek op 10 April 2023.
  13. ↑ "The AI Dilemma". www.humanetech.com (in Engels). Besoek op 10 April 2023. 50% van KI-navorsers glo daar is 'n 10% of groter kans dat mense uitsterf weens ons onvermoë om KI te beheer.
  14. ↑ "2022 Expert Survey on Progress in AI". AI Impacts (in Engels (VSA)). 4 Augustus 2022. Besoek op 10 April 2023.
  15. ↑ Roose, Kevin (30 Mei 2023). "A.I. Poses 'Risk of Extinction,' Industry Leaders Warn". The New York Times (in Engels (VSA)). ISSN 0362-4331. Besoek op 3 Junie 2023.
  16. ↑ Sunak, Rishi (14 Junie 2023). "Rishi Sunak Wants the U.K. to Be a Key Player in Global AI Regulation". Time.
  17. ↑ Fung, Brian (18 Julie 2023). "UN Secretary General embraces calls for a new UN agency on AI in the face of 'potentially catastrophic and existential risks'". CNN Business (in Engels). Besoek op 20 Julie 2023.
  18. ↑ 18,0 18,1 Yudkowsky, Eliezer (2008). "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (PDF). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. Geargiveer (PDF) vanaf die oorspronklike op 2 Maart 2013. Besoek op 27 Augustus 2018.
  19. ↑ Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015). "Research Priorities for Robust and Beneficial Artificial Intelligence" (PDF). AI Magazine. Association for the Advancement of Artificial Intelligence: 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. Geargiveer (PDF) vanaf die oorspronklike op 4 Augustus 2019. Besoek op 10 Augustus 2019., cited in "AI Open Letter - Future of Life Institute". Future of Life Institute. Januarie 2015. Geargiveer vanaf die oorspronklike op 10 Augustus 2019. Besoek op 9 Augustus 2019.
  20. ↑ 20,0 20,1 20,2 Dowd, Maureen (April 2017). "Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse". The Hive (in Engels). Geargiveer vanaf die oorspronklike op 26 Julie 2018. Besoek op 27 November 2017.
  21. ↑ "AlphaGo Zero: Starting from scratch". www.deepmind.com (in Engels). Besoek op 28 Julie 2023.
  22. ↑ Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Geargiveer 15 Maart 2023 op Wayback Machine Modern Philology, Vol. 72, No. 4 (Mei 1975), bl. 365–383
  23. ↑ Turing, A M (1996). "Intelligent Machinery, A Heretical Theory". 1951, Reprinted Philosophia Mathematica. 4 (3): 256–260. doi:10.1093/philmat/4.3.256.
  24. ↑ Hilliard, Mark (2017). "The AI apocalypse: will the human race soon be terminated?". The Irish Times (in Engels). Geargiveer vanaf die oorspronklike op 22 Mei 2020. Besoek op 15 Maart 2020.
  25. ↑ I.J. Good, "Speculations Concerning the First Ultraintelligent Machine" Geargiveer 28 November 2011 op Wayback Machine (HTML Geargiveer 28 November 2011 op Wayback Machine ), Advances in Computers, vol. 6, 1965.
  26. ↑ Russell, Stuart J.; Norvig, Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0-13-790395-5. Net so het Marvin Minsky eenkeer voorgestel dat 'n KI-program wat ontwerp is om die Riemann-hipotese op te los, dalk uiteindelik al die hulpbronne van die aarde oorneem om kragtiger superrekenaars te bou om sy doel te bereik.
  27. ↑ Barrat, James (2013). Our final invention: artificial intelligence and the end of the human era (First uitg.). New York: St. Martin's Press. ISBN 978-0-312-62237-4. In die bio, speels geskryf in die derde persoon, het Good sy lewe se mylpale opgesom, insluitend 'n waarskynlik nog nooit gesiene weergawe van sy werk by Bletchley Park met Turing. Maar hier is wat hy in 1998 geskryf het oor die eerste superintelligensie, en sy laat-in-die-spel U-draai: [Die artikel] 'Speculations Concerning the First Ultra-intelligent Machine' (1965). . . begin: 'Die oorlewing van die mens hang af van die vroeë konstruksie van 'n ultra-intelligente masjien.' Dit was sy [Good] se woorde tydens die Koue Oorlog, en hy vermoed nou dat 'oorlewing' deur 'uitwissing' vervang moet word. Hy meen dat ons weens internasionale mededinging nie kan keer dat die masjiene oorneem nie. Hy dink ons is lemmings. Hy het ook gesê dat 'waarskynlik die mens die deus ex machina in sy eie beeld sal bou.'
  28. ↑ Anderson, Kurt (26 November 2014). "Enthusiasts and Skeptics Debate Artificial Intelligence". Vanity Fair. Geargiveer vanaf die oorspronklike op 22 Januarie 2016. Besoek op 30 Januarie 2016.
  29. ↑ Metz, Cade (9 Junie 2018). "Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots". The New York Times. Geargiveer vanaf die oorspronklike op 15 Februarie 2021. Besoek op 3 April 2019.
  30. ↑ Hsu, Jeremy (1 Maart 2012). "Control dangerous AI before it controls us, one expert says". NBC News. Geargiveer vanaf die oorspronklike op 2 Februarie 2016. Besoek op 28 Januarie 2016.
  31. ↑ 31,0 31,1 "Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?'". The Independent (UK). Geargiveer vanaf die oorspronklike op 25 September 2015. Besoek op 3 Desember 2014.
  32. ↑ "Stephen Hawking warns artificial intelligence could end mankind". BBC. 2 Desember 2014. Geargiveer vanaf die oorspronklike op 30 Oktober 2015. Besoek op 3 Desember 2014.
  33. ↑ Eadicicco, Lisa (28 Januarie 2015). "Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity". Business Insider. Geargiveer vanaf die oorspronklike op 26 Februarie 2016. Besoek op 30 Januarie 2016.
  34. ↑ "Research Priorities for Robust and Beneficial Artificial Intelligence: an Open Letter". Future of Life Institute. Geargiveer vanaf die oorspronklike op 15 Januarie 2015. Besoek op 23 Oktober 2015.
  35. ↑ "Anticipating artificial intelligence". Nature (in Engels). 532 (7600): 413. 2016. Bibcode:2016Natur.532Q.413.. doi:10.1038/532413a. ISSN 1476-4687. PMID 27121801. S2CID 4399193.
  36. ↑ Christian, Brian (6 Oktober 2020). The Alignment Problem: Machine Learning and Human Values. W. W. Norton & Company. ISBN 978-0-393-63582-9. Geargiveer vanaf die oorspronklike op 5 Desember 2021. Besoek op 5 Desember 2021.
  37. ↑ Dignum, Virginia (26 Mei 2021). "AI — the people and places that make, use and manage it". Nature (in Engels). 593 (7860): 499–500. Bibcode:2021Natur.593..499D. doi:10.1038/d41586-021-01397-x. S2CID 235216649.
  38. ↑ "DeepMind and Google: the battle to control artificial intelligence". The Economist. ISSN 0013-0613. Besoek op 12 Julie 2023.
  39. ↑ "AI timelines: What do experts in artificial intelligence expect for the future?". Our World in Data. Besoek op 12 Julie 2023.
  40. ↑ De Vynck, Gerrit (20 Mei 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". The Washington Post.
  41. ↑ "'The Godfather of A.I.' just quit Google and says he regrets his life's work because it can be hard to stop 'bad actors from using it for bad things'". Fortune (in Engels). Besoek op 12 Julie 2023.
  42. ↑ "Everything you need to know about superintelligence". Spiceworks (in Engels (VSA)). Besoek op 14 Julie 2023.
  43. ↑ 43,0 43,1 "Clever cogs". The Economist. 9 Augustus 2014. Geargiveer vanaf die oorspronklike op 8 Augustus 2014. Besoek op 9 Augustus 2014. Syndicated Geargiveer 4 Maart 2016 op Wayback Machine at Business Insider
  44. ↑ 44,0 44,1 Bostrom, Nick (2015-04-27), What happens when our computers get smarter than we are?, https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are, besoek op 2023-07-13 
  45. ↑ "Governance of superintelligence". openai.com (in Engels (VSA)). Besoek op 12 Julie 2023.
  46. ↑ "Overcoming Bias: I Still Don't Get Foom". www.overcomingbias.com. Geargiveer vanaf die oorspronklike op 4 Augustus 2017. Besoek op 20 September 2017.
  47. ↑ Cotton-Barratt, Owen; Ord, Toby (12 Augustus 2014). "Strategic considerations about different speeds of AI takeoff". The Future of Humanity Institute (in Engels (VK)). Besoek op 12 Julie 2023.
  48. ↑ Tegmark, Max (25 April 2023). "The 'Don't Look Up' Thinking That Could Doom Us With AI". Time (in Engels). Besoek op 14 Julie 2023. Asof dit skrikwekkender is om beheer aan Chinese gedagtes te verloor as om beheer te verloor aan uitheemse digitale gedagtes wat nie vir mense omgee nie. [...] dit is nou duidelik dat die ruimte van moontlike uitheemse gedagtes baie groter as dit is.
  49. ↑ "19 - Mechanistic Interpretability with Neel Nanda". AXRP - the AI X-risk Research Podcast (in Engels). 4 Februarie 2023. Besoek op 13 Julie 2023. dit is vir my geloowaardig dat die belangrikste ding wat ons gedoen moet kry, is om spesifieke stroombane op te let wat te doen het met misleiding en spesifieke gevaarlike vermoëns soos dit en situasiebewustheid en intern verteenwoordigde doelwitte.
  50. ↑ "Superintelligence Is Not Omniscience". AI Impacts (in Engels (VSA)). 7 April 2023. Besoek op 16 April 2023.
  51. ↑ 51,0 51,1 51,2 51,3 51,4 51,5 51,6 51,7 51,8 Dan Hendrycks; Mantas Mazeika; Thomas Woodside (21 Junie 2023). "An Overview of Catastrophic AI Risks". [cs.CY]. 
  52. ↑ Taylor, Josh; Hern, Alex (2 Mei 2023). "'Godfather of AI' Geoffrey Hinton quits Google and warns over dangers of misinformation". The Guardian (in Engels (VK)). ISSN 0261-3077. Besoek op 13 Julie 2023.
  53. ↑ "How NATO is preparing for a new era of AI cyber attacks". euronews (in Engels). 26 Desember 2022. Besoek op 13 Julie 2023.
  54. ↑ "ChatGPT and the new AI are wreaking havoc on cybersecurity in exciting and frightening ways". ZDNET (in Engels). Besoek op 13 Julie 2023.
  55. ↑ Toby Shevlane; Sebastian Farquhar; Ben Garfinkel; Mary Phuong; Jess Whittlestone; Jade Leung; Daniel Kokotajlo; Nahema Marchal et al. (24 May 2023). "Model evaluation for extreme risks". [cs.AI]. 
  56. ↑ Urbina, Fabio; Lentzos, Filippa; Invernizzi, Cédric; Ekins, Sean (7 Maart 2022). "Dual use of artificial-intelligence-powered drug discovery". Nature Machine Intelligence (in Engels). 4 (3): 189–191. doi:10.1038/s42256-022-00465-9. ISSN 2522-5839.
  57. ↑ Walter, Yoshija (27 Maart 2023). "The rapid competitive economy of machine learning development: a discussion on the social risks and benefits". AI and Ethics: 1. doi:10.1007/s43681-023-00276-7.
  58. ↑ "The AI Arms Race Is On. Start Worrying". Time (in Engels). 16 Februarie 2023. Besoek op 17 Julie 2023.
  59. ↑ Brimelow, Ben. "The short film 'Slaughterbots' depicts a dystopian future of killer drones swarming the world". Business Insider (in Engels (VSA)). Besoek op 20 Julie 2023.
  60. ↑ Mecklin, John (17 Julie 2023). "'Artificial Escalation': Imagining the future of nuclear risk". Bulletin of the Atomic Scientists (in Engels (VSA)). Besoek op 20 Julie 2023.
  61. ↑ Doherty, Ben (17 Mei 2018). "Climate change an 'existential security risk' to Australia, Senate inquiry says". The Guardian (in Engels (VK)). ISSN 0261-3077. Besoek op 16 Julie 2023.
  62. ↑ MacAskill, William (2022). What we owe the future. New York, NY: Basic Books. ISBN 978-1-5416-1862-6.
  63. ↑ 63,0 63,1 Ord, Toby (2020). "Chapter 5: Future Risks, Unaligned Artificial Intelligence". The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing. ISBN 978-1-5266-0021-9.
  64. ↑ Samuelsson, Paul Conrad (Junie–Julie 2019). "Artificial Consciousness: Our Greatest Ethical Challenge". Philosophy Now. No. 132. Besoek op 19 Augustus 2023.
  65. ↑ Brian, Kateman (24 Julie 2023). "AI Should Be Terrified of Humans". Time (in Engels). Besoek op 19 Augustus 2023.
  66. ↑ Fisher, Richard. "The intelligent monster that you should let eat you". www.bbc.com (in Engels). Besoek op 19 Augustus 2023.
  67. ↑ More, Max (19 Junie 2023). "Existential Risk vs. Existential Opportunity: A balanced approach to AI risk". Extropic Thoughts. Besoek op 14 Julie 2023.
  68. ↑ Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, bl. 483-492).
  69. ↑ Wakefield, Jane (15 September 2015). "Why is Facebook investing in AI?". BBC News. Geargiveer vanaf die oorspronklike op 2 Desember 2017. Besoek op 27 November 2017.
  70. ↑ Yudkowsky, Eliezer (2011). "Complex Value Systems are Required to Realize Valuable Futures" (PDF). Geargiveer (PDF) vanaf die oorspronklike op 29 September 2015. Besoek op 10 Augustus 2020.
  71. ↑ Verwysingfout: Invalid <ref> tag; no text was provided for refs named :5
  72. ↑ Yudkowsky, E. (2011, August). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388-393). Springer, Berlin, Heidelberg.
  73. ↑ Russell, Stuart (2014). "Of Myths and Moonshine". Edge. Geargiveer vanaf die oorspronklike op 19 Julie 2016. Besoek op 23 Oktober 2015.
  74. ↑ Dietterich, Thomas; Horvitz, Eric (2015). "Rise of Concerns about AI: Reflections and Directions" (PDF). Communications of the ACM. 58 (10): 38–40. doi:10.1145/2770869. S2CID 20395145. Geargiveer (PDF) vanaf die oorspronklike op 4 Maart 2016. Besoek op 23 Oktober 2015.
  75. ↑ 75,0 75,1 Yudkowsky, Eliezer (29 Maart 2023). "The Open Letter on AI Doesn't Go Far Enough". Time (in Engels). Besoek op 16 Julie 2023.
  76. ↑ Bostrom, Nick (1 Mei 2012). "The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents". Minds and Machines (in Engels). 22 (2): 71–85. doi:10.1007/s11023-012-9281-3. ISSN 1572-8641. S2CID 254835485. solank hulle oor 'n voldoende vlak van intelligensie beskik, sal agente wat enige van 'n wye reeks finale doelwitte het soortgelyke tussengangerdoelwitte nastreef omdat hulle instrumentele redes het om dit te doen.
  77. ↑ Richard Ngo; Lawrence Chan; Sören Mindermann (22 Februarie 2023). "The alignment problem from a deep learning perspective". [cs.AI]. 
  78. ↑ "Introducing Superalignment". openai.com (in Engels (VSA)). Besoek op 16 Julie 2023.
  79. ↑ Tilli, Cecilia (28 April 2016). "Killer Robots? Lost Jobs?". Slate (in Engels (VSA)). Geargiveer vanaf die oorspronklike op 11 Mei 2016. Besoek op 15 Mei 2016.
  80. ↑ "Norvig vs. Chomsky and the Fight for the Future of AI". Tor.com. 21 Junie 2011. Geargiveer vanaf die oorspronklike op 13 Mei 2016. Besoek op 15 Mei 2016.
  81. ↑ Graves, Matthew (8 November 2017). "Why We Should Be Concerned About Artificial Superintelligence". Skeptic (US magazine). Vol. 22, no. 2. Geargiveer vanaf die oorspronklike op 13 November 2017. Besoek op 27 November 2017.
  82. ↑ Johnson, Phil (30 Julie 2015). "Houston, we have a bug: 9 famous software glitches in space". IT World (in Engels). Geargiveer vanaf die oorspronklike op 15 Februarie 2019. Besoek op 5 Februarie 2018.
  83. ↑ Yampolskiy, Roman V. (8 April 2014). "Utility function security in artificially intelligent agents". Journal of Experimental & Theoretical Artificial Intelligence. 26 (3): 373–389. doi:10.1080/0952813X.2014.895114. S2CID 16477341. Niks verhinder voldoende slim selfverbeterende stelsels om hul beloningsmeganismes te optimaliseer om hul huidige doelwit bereiking te optimaliseer en in die proses 'n fout te maak wat lei tot korrupsie van hul beloningsfunksies.
Ontsluit van "https://af.wikipedia.org/w/index.php?title=Eksistensiële_risiko_as_gevolg_van_kunsmatige_algemene_intelligensie&oldid=2660090"