LaMDA

in Wikipedia, die vrye ensiklopedie

LaMDA (Language Model for Dialogue Applications) is 'n familie van gespreksneurale taalmodelle wat deur Google ontwikkel is. Die eerste generasie is tydens die 2021 Google I/O keynote aangekondig, terwyl die tweede generasie by die volgende jaar se geleentheid aangekondig is. In Junie 2022 het LaMDA wydverspreide aandag gekry toe Google-ingenieur Blake Lemoine bewerings gemaak het dat die kletsbot selfbewus geword het. Die wetenskaplike gemeenskap het Lemoine se aansprake grootliks verwerp, hoewel dit gelei het tot gesprekke oor die doeltreffendheid van die Turing-toets, wat meet of 'n rekenaar ditself as 'n mens kan voordoen. In Februarie 2023 het Google Bard aangekondig, 'n geselsbot vir kunsmatige intelligensie wat deur LaMDA aangedryf word, om die opkoms van OpenAI se ChatGPT teen te werk.

Geskiedenis[wysig | wysig bron]

Eerste generasie[wysig | wysig bron]

Google het op 18 Mei 2021 die LaMDA-gespreksneurale taalmodel aangekondig tydens die Google I/O-keynote op 18 Mei 2021, aangedryf deur kunsmatige intelligensie.[1] Gebou op die Transformer neurale netwerkargitektuur wat in 2017 deur Google Research ontwikkel is, is LaMDA opgelei in menslike dialoog en stories, wat dit in staat gestel het om in oop gesprekke betrokke te raak.[2] Google verklaar dat die antwoorde wat deur LaMDA gegenereer is verseker is om "sinvol, interessant en spesifiek vir die konteks" te wees.[3]

Tweede generasie[wysig | wysig bron]

Op 11 Mei 2022 het Google LaMDA 2 onthul, wat dien as die opvolger van LaMDA, tydens die 2022 Google I/O keynote. Die nuwe generasie van die model trek voorbeelde van teks uit talle bronne en gebruik dit om unieke "natuurlike gesprekke" te formuleer oor onderwerpe waarop dit dalk nie opgelei is om te reageer nie.[4] Boonop het Google die AI Test Kitchen bekendgestel, 'n mobiele toepassing aangedryf deur LaMDA 2 wat in staat is om lyste van voorstelle op aanvraag te verskaf gebaseer op 'n komplekse doelwit.[5][6] Oorspronklik net vir Google-werknemers oopgemaak, sou die toepassing een of ander tyd in die jaar op uitnodiging beskikbaar gestel word om "akademici, navorsers en beleidmakers".[7] In Augustus 2022 het die maatskappy gebruikers in die VSA begin toelaat om aan te meld vir vroeë toegang.[8]

Bewerings van selfbewussyn[wysig | wysig bron]

Lemoine se bewerings dat LaMDA selfbewus kan wees, het gesprekke laat ontstaan oor die vraag of die Turingtoets, hierbo afgebeeld, 'n akkurate maatstaf bly om kunsmatige algemene intelligensie te bepaal.[9]

Op 11 Junie 2022 het The Washington Post berig dat Google-ingenieur Blake Lemoine op betaalde administratiewe verlof geplaas is nadat Lemoine aan die maatskappybestuurders Blaise Agüera y Arcas en Jen Gennai gesê het dat LaMDA selfbewus geword het. Lemoine het tot hierdie gevolgtrekking gekom nadat die kletsbot twyfelagtige antwoorde gemaak het op vrae oor selfidentiteit, morele waardes, godsdiens en Isaac Asimov se “Drie Wette van Robotte”.[10][11] Google het hierdie bewerings weerlê en daarop aangedring dat daar aansienlike bewyse was om aan te dui dat LaMDA nie selfbewus was nie.[12] In 'n onderhoud met Wired het Lemoine sy bewerings herhaal dat LaMDA "'n persoon" is soos deur die Dertiende Wysiging bepaal, en dit vergelyk met 'n "uitheemse intelligensie van aardse oorsprong". Hy het verder onthul dat hy deur Google ontslaan is nadat hy 'n prokureur namens LaMDA gehuur het, nadat die kletsbot versoek het dat Lemoine dit doen.[13][14] Op 22 Julie het Google Lemoine afgedank en beweer dat Blake hul beleide oortree het "om produkinligting te beskerm" en sy eise as "heeltemal ongegrond" verwerp.[15][16]

Lemoine se aansprake is wyd deur die wetenskaplike gemeenskap verwerp.[17] Baie kenners het die idee gespot dat 'n taalmodel selfbewus kan wees, insluitend die voormalige New York Universiteit sielkunde professor Gary Marcus, David Pfau van Google sustermaatskappy DeepMind, Erik Brynjolfsson van die Institute for Human-Centered Artificial Intelligence by Stanford University, en Universiteit van Surrey professor Adrian Hilton.[9][18] Yann LeCun, wat Meta Platforms se KI-navorsingspan lei, het gesê dat neurale netwerke soos LaMDA "nie kragtig genoeg is om ware intelligensie te bereik nie".[19] Max Kreminski, professor aan die Universiteit van Kalifornië, Santa Cruz, het opgemerk dat LaMDA se argitektuur nie "sommige sleutelvermoëns van mensagtige bewussyn ondersteun nie" en dat sy neurale netwerkgewigte "gevries" was, met die veronderstelling dat dit 'n tipiese groot taalmodel was.[20]

IBM Watson se hoofontwikkelaar David Ferrucci het hoe LaMDA na 'n mens gelyk het vergelyk op dieselfde manier wat Watson gedoen het toe dit die eerste keer bekend gestel is.[21] Die voormalige Google KI-etikus Timnit Gebru noem Lemoine 'n slagoffer van 'n "hype-siklus" wat deur navorsers en die media geïnisieer is.[22] Lemoine se aansprake het ook 'n bespreking veroorsaak oor die vraag of die Turing-toets nuttig gebly het om navorsers se vordering met die bereiking van kunsmatige algemene intelligensie te bepaal,[9] met Will Omerus van die Post wat meen dat die toets eintlik gemeet het of masjien-intelligensiestelsels in staat was om mense te mislei.[23] terwyl Brian Christian van The Atlantic gesê het dat die kontroversie 'n voorbeeld van die ELIZA-effek was.[24]

Bard[wysig | wysig bron]

In November 2022 het OpenAI ChatGPT bekendgestel, 'n kletsbot gebaseer op die GPT-3-familie van taalmodelle.[25][26] ChatGPT het wêreldwyd aandag gekry ná die vrystelling daarvan, en het 'n virale internetsensasie geword.[27] Gekwel oor ChatGPT se potensiële bedreiging vir Google Search, het Google se uitvoerende hoof, Sundar Pichai, 'n maatskappywye "kode rooi" waarskuwing uitgereik en verskeie spanne hertoegewys om te help met die maatskappy se KI-pogings.[28] In 'n seldsame en ongekende stap is Google-medestigters Larry Page en Sergey Brin, wat in 2019 uit hul rolle as mede-uitvoerende hoof van die Google-moedermaatskappy Alphabet getree het, na noodvergaderings met maatskappybestuurders ontbied om Google se reaksie op ChatGPT te bespreek.[29]

Toe werknemers by 'n algemene vergadering gevra is of LaMDA 'n gemiste geleentheid is vir Google om met ChatGPT mee te ding, het Jeff Dean, hoof van die KI van Pichai en Google, gesê dat hoewel die maatskappy soortgelyke vermoëns as ChatGPT het, te vinnige vrystelling in daardie arena 'n groot "reputasierisiko" omdat Google aansienlik groter is as OpenAI.[30][31] Demis Hassabis, uitvoerende hoof van DeepMind, het in Januarie 2023 planne vir 'n ChatGPT-mededinger voorgestel,[32] en Google-werknemers is opdrag gegee om vordering met 'n ChatGPT-mededinger te versnel, deur "Apprentice Bard" en ander kletsbotte intensief te toets.[33][34] Pichai het beleggers tydens Google se kwartaallikse verdienstebeleggeroproep in Februarie verseker dat die maatskappy planne het om LaMDA se beskikbaarheid en toepassings uit te brei.[35]

Op 6 Februarie het Google Bard aangekondig, 'n gesels-KI-kletsbot wat deur LaMDA aangedryf word. Bard is eers uitgerol na 'n uitgesoekte groep "vertroude toetsers", voor 'n wye vrystelling wat aan die einde van die maand geskeduleer is.[36][37][38] Dit is ontwikkel onder die kodenaam "Atlas",[39] met die naam "Bard" wat gekies is om "die kreatiewe aard van die algoritme daaronder te weerspieël".[40] Verskeie media-afsetpunte en finansiële ontleders het beskryf dat Google "inhaal" met Microsoft speel,[41][42][43][44] sowel as om Bard se aankondiging te "verhaas" om Microsoft se 7 Februarie-geleentheid wat sy vennootskap met OpenAI onthul het vir integreering van ChatGPT in sy Bing-soekenjin, vooruit te loop.[45][46] Na 'n "onderweldigende" lewendige stroom van 8 Februarie wat Bard ten toon gestel het, het Google se aandeel agt persent gedaal, gelykstaande aan 'n verlies van $100 miljard in markwaarde, en die YouTube-video van die regstreekse stroom is privaat gemaak.[47][48][41] Baie kykers het ook 'n fout tydens die demonstrasie uitgewys waarin Bard onakkurate inligting oor James Webb-ruimteteleskoop gee in reaksie op 'n navraag.[42][49] Google-werknemers het Pichai se "gehaaste" en "verspeelde" aankondiging van Bard op Memgen, die maatskappy se interne forum, gekritiseer.[50] The Verge en Bloomberg News het opgemerk dat dit die begin was van nog 'n Google-Microsoft-konflik oor "die toekoms van soek", nadat hul ses jaar lange "skietstilstand" in 2021 verstryk het.[45][51]

Metode[wysig | wysig bron]

LaMDA gebruik 'n dekodeerder-alleen-transformatortaalmodel.[52] Dit is vooraf opgelei op 'n tekskorpus wat beide dokumente en dialoë insluit wat uit 1,56 triljoen woorde bestaan,[53] en word dan opgelei met fyninstellingsdata wat gegenereer word deur met die hand geannoteerde antwoorde vir sinvolheid, interessantheid en veiligheid.[54] Toetse deur Google het aangedui dat LaMDA menslike reaksies oortref het op die gebied van interessantheid.[55] Die LaMDA-transformatormodel en 'n eksterne inligtingherwinningstelsel werk in wisselwerking om die akkuraatheid van feite wat aan die gebruiker verskaf word, te verbeter.[56]

Drie verskillende modelle is getoets, met die grootste met 137 miljard nie-ingesluite parameters[57]

Transformatortaalmodel hiper-parameters
Parameters Lae Eenhede (dmodel) Hoofte
2M 10 2560 40
8M 16 4096 64
137M 64 8192 128

Verwysings[wysig | wysig bron]

  1. Condon, Stephanie (18 Mei 2021). "Google I/O 2021: Google unveils new conversational language model, LaMDA". ZDNet. Geargiveer vanaf die oorspronklike op 18 Mei 2021. Besoek op 12 Junie 2022.
  2. Agüera y Arcas, Blaise (9 Junie 2022). "Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas". The Economist. Geargiveer vanaf die oorspronklike op 9 Junie 2022. Besoek op 12 Junie 2022.
  3. Cheng, Heng-Tze; Thoppilan, Romal (21 Januarie 2022). "LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything". Google AI. Geargiveer vanaf die oorspronklike op 25 Maart 2022. Besoek op 12 Junie 2022.
  4. Wiggers, Kyle (11 Mei 2022). "Google details its latest language model and AI Test Kitchen, a showcase for AI research". TechCrunch. Geargiveer vanaf die oorspronklike op 11 Mei 2022. Besoek op 12 Junie 2022.
  5. Low, Cherlynn (11 Mei 2022). "Google's AI Test Kitchen lets you experiment with its natural language model". Engadget. Geargiveer vanaf die oorspronklike op 11 Mei 2022. Besoek op 12 Junie 2022.
  6. Vincent, James (11 Mei 2022). "Google is Beta Testing Its AI Future". The Verge. Geargiveer vanaf die oorspronklike op 11 Mei 2022. Besoek op 12 Junie 2022.
  7. Bhattacharya, Ananya (11 Mei 2022). "Google is so nervous about what its newest bot will say, it made the app invitation-only". Quartz. Geargiveer vanaf die oorspronklike op 12 Mei 2022. Besoek op 12 Junie 2022.
  8. Vincent, James (25 Augustus 2022). "Google has opened up the waitlist to talk to its experimental AI chatbot". The Verge. Geargiveer vanaf die oorspronklike op 25 Augustus 2022. Besoek op 27 Augustus 2022.
  9. 9,0 9,1 9,2 Khan, Jeremy (13 Junie 2022). "A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field". Fortune. Geargiveer vanaf die oorspronklike op 13 Junie 2022. Besoek op 18 Junie 2022.
  10. Tiku, Nitasha (11 Junie 2022). "The Google engineer who thinks the company's AI has come to life". The Washington Post. ISSN 0190-8286. Geargiveer vanaf die oorspronklike op 11 Junie 2022. Besoek op 12 Junie 2022.
  11. Luscombe, Richard (12 Junie 2022). "Google engineer put on leave after saying AI chatbot has become sentient". The Guardian. Geargiveer vanaf die oorspronklike op 12 Junie 2022. Besoek op 18 Junie 2022.
  12. Vlamis, Kelsey (12 Junie 2022). "Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am'". Business Insider. Geargiveer vanaf die oorspronklike op 12 Junie 2022. Besoek op 12 Junie 2022.
  13. Levy, Steven (17 Junie 2022). "Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'". Wired. Geargiveer vanaf die oorspronklike op 18 Junie 2022. Besoek op 18 Junie 2022.
  14. Nguyen, Britney (23 Junie 2022). "Suspended Google engineer says the AI he believes to be sentient hired a lawyer". Business Insider. Geargiveer vanaf die oorspronklike op 23 Junie 2022. Besoek op 29 Junie 2022.
  15. Khushi, Akanksha (23 Julie 2022). "Google fires software engineer who claimed its AI chatbot is sentient". Reuters. Geargiveer vanaf die oorspronklike op 23 Julie 2022. Besoek op 23 Julie 2022.
  16. Clark, Mitchell (22 Julie 2022). "The engineer who claimed a Google AI is sentient has been fired". The Verge. Geargiveer vanaf die oorspronklike op 23 Julie 2022. Besoek op 24 Julie 2022.
  17. Metz, Rachel (13 Junie 2022). "No, Google's AI is not sentient". CNN Business. Geargiveer vanaf die oorspronklike op 15 Junie 2022. Besoek op 19 Junie 2022.
  18. Sparkles, Matthew (13 Junie 2022). "Has Google's LaMDA artificial intelligence really achieved sentience?". New Scientist. Geargiveer vanaf die oorspronklike op 13 Junie 2022. Besoek op 20 Junie 2022.
  19. Grant, Nicole; Metz, Cade (12 Junie 2022). "Google Sidelines Engineer Who Claims Its A.I. Is Sentient". The New York Times. ISSN 0362-4331. Geargiveer vanaf die oorspronklike op 12 Junie 2022. Besoek op 18 Junie 2022.
  20. Alba, Davey (14 Junie 2022). "Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues". Bloomberg News. Geargiveer vanaf die oorspronklike op 14 Junie 2022. Besoek op 19 Junie 2022.
  21. Goldman, Sharon (16 Junie 2022). "AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson". VentureBeat. Geargiveer vanaf die oorspronklike op 19 Junie 2022. Besoek op 19 Junie 2022.
  22. Johnson, Khari (14 Junie 2022). "LaMDA and the Sentient AI Trap". Wired. Geargiveer vanaf die oorspronklike op 14 Junie 2022. Besoek op 18 Junie 2022.
  23. Omerus, Will (17 Junie 2022). "Google's AI passed a famous test — and showed how the test is broken". The Washington Post. ISSN 0190-8286. Geargiveer vanaf die oorspronklike op 18 Junie 2022. Besoek op 19 Junie 2022.
  24. Christian, Brian (21 Junie 2022). "How a Google Employee Fell for the Eliza Effect". The Atlantic. Geargiveer vanaf die oorspronklike op 21 Junie 2022. Besoek op 8 Februarie 2023.
  25. Konrad, Alex; Cai, Kenrick (2 Februarie 2023). "Inside ChatGPT's Breakout Moment And The Race To Put AI To Work". Forbes. Geargiveer vanaf die oorspronklike op 2 Februarie 2023. Besoek op 6 Februarie 2023.
  26. Vincent, James (5 Desember 2022). "AI-generated answers temporarily banned on coding Q&A site Stack Overflow". The Verge. Geargiveer vanaf die oorspronklike op 17 Januarie 2023. Besoek op 5 Desember 2022.
  27. Olson, Parmy (7 Desember 2022). "Google Faces a Serious Threat From ChatGPT". The Washington Post. ISSN 0190-8286. Geargiveer vanaf die oorspronklike op 7 Desember 2022. Besoek op 6 Februarie 2023.
  28. Grant, Nico; Metz, Cade (21 Desember 2022). "A New Chat Bot Is a 'Code Red' for Google's Search Business". The New York Times. ISSN 0362-4331. Geargiveer vanaf die oorspronklike op 21 Desember 2022. Besoek op 30 Desember 2022.
  29. Grant, Nico (20 Januarie 2023). "Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight". The New York Times. ISSN 0362-4331. Geargiveer vanaf die oorspronklike op 20 Januarie 2023. Besoek op 6 Februarie 2023.
  30. Elias, Jennifer (13 Desember 2022). "Google execs warn company's reputation could suffer if it moves too fast on AI-chat technology". CNBC. Geargiveer vanaf die oorspronklike op 13 Desember 2022. Besoek op 6 Februarie 2023.
  31. Vincent, James (14 Desember 2022). "Google won't launch ChatGPT rival because of 'reputational risk'". The Verge. Geargiveer vanaf die oorspronklike op 14 Desember 2022. Besoek op 6 Februarie 2023.
  32. Cuthbertson, Anthony (16 Januarie 2023). "DeepMind's AI chatbot can do things that ChatGPT cannot, CEO claims". The Independent. Geargiveer vanaf die oorspronklike op 16 Januarie 2023. Besoek op 6 Februarie 2023.
  33. Elias, Jennifer (31 Januarie 2023). "Google is asking employees to test potential ChatGPT competitors, including a chatbot called 'Apprentice Bard'". CNBC. Geargiveer vanaf die oorspronklike op 2 Februarie 2023. Besoek op 2 Februarie 2023.
  34. O'Brien, Matt (1 Februarie 2023). "Google has the next move as Microsoft embraces OpenAI buzz". Associated Press. Geargiveer vanaf die oorspronklike op 1 Februarie 2023. Besoek op 6 Februarie 2023.
  35. Mailk, Aisha (3 Februarie 2023). "Google tries to reassure investors on AI progress as ChatGPT breathes down its neck". TechCrunch. Geargiveer vanaf die oorspronklike op 3 Februarie 2023. Besoek op 6 Februarie 2023.
  36. Alba, Davey; Love, Julia (6 Februarie 2023). "Google releases ChatGPT rival AI 'Bard' to early testers". Los Angeles Times. Geargiveer vanaf die oorspronklike op 6 Februarie 2023. Besoek op 6 Februarie 2023.
  37. Schechner, Sam; Kruppa, Miles (6 Februarie 2023). "Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up". The Wall Street Journal. ISSN 0099-9660. Geargiveer vanaf die oorspronklike op 6 Februarie 2023. Besoek op 6 Februarie 2023.
  38. Nieva, Richard (6 Februarie 2023). "Google Debuts A ChatGPT Rival Called Bard In Limited Release". Forbes. Geargiveer vanaf die oorspronklike op 6 Februarie 2023. Besoek op 6 Februarie 2023.
  39. Liedtke, Michael (6 Februarie 2023). "Google hopes 'Bard' will outsmart ChatGPT, Microsoft in AI". Associated Press. Geargiveer vanaf die oorspronklike op 6 Februarie 2023. Besoek op 6 Februarie 2023.
  40. Knight, Will (9 Februarie 2023). "The Chatbot Search Wars Have Begun". Wired. Geargiveer vanaf die oorspronklike op 9 Februarie 2023. Besoek op 10 Februarie 2023.
  41. 41,0 41,1 Morrison, Sara (8 Februarie 2023). "Google is scrambling to catch up to Bing, of all things". Recode. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  42. 42,0 42,1 Coulter, Martin (8 Februarie 2023). "Google shares dive 8% after AI chatbot Bard flubs answer in ad". Reuters. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  43. Peers, Martin (6 Februarie 2023). "What Google's AI Catch-Up Reveals". The Information. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  44. Roose, Kevin (8 Februarie 2023). "Bing (Yes, Bing) Just Made Search Interesting Again". The New York Times. ISSN 0362-4331. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  45. 45,0 45,1 Warren, Tom (7 Februarie 2023). "Microsoft and Google are about to Open an AI battle". The Verge. Geargiveer vanaf die oorspronklike op 7 Februarie 2023. Besoek op 8 Februarie 2023.
  46. Agence France Presse (8 Februarie 2023). "Google Strikes Back In AI Battle With Microsoft". Barron's. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  47. Alba, Davey; Patnaik, Subrat (8 Februarie 2023). "Google suffers $144b wipeout after Bard AI chatbot gives wrong answer". The Sydney Morning Herald. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 9 Februarie 2023.
  48. Miao, Hannah (8 Februarie 2022). "Alphabet Stock Drops 8% After Google Rollout of AI Search Features". The Wall Street Journal. ISSN 0099-9660. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  49. Kan, Michael (8 Februarie 2023). "No, That's Wrong: Google's Bard AI Demo Spouts Incorrect Info". PCMag. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  50. Elias, Jennifer (10 Februarie 2023). "Google employees criticize CEO Sundar Pichai for 'rushed, botched' announcement of GPT competitor Bard". CNBC. Geargiveer vanaf die oorspronklike op 11 Februarie 2023. Besoek op 11 Februarie 2023.
  51. Alba, Davey (8 Februarie 2023). "ChatGPT Reignites the Search Wars Between Google and Microsoft". Bloomberg News. Geargiveer vanaf die oorspronklike op 8 Februarie 2023. Besoek op 8 Februarie 2023.
  52. Thoppilan et al. 2022, section 3.
  53. Thoppilan et al. 2022, section 3 and appendix E.
  54. Thoppilan et al. 2022, section 5 and 6.
  55. Hager, Ryne (16 Junie 2022). "How Google's LaMDA AI works, and why it seems so much smarter than it is". Android Police. Geargiveer vanaf die oorspronklike op 16 Junie 2022. Besoek op 19 Junie 2022.
  56. Thoppilan et al. 2022, section 6.2.
  57. Thoppilan et al. 2022, section 3 and appendix D.