Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie
Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie is die hipotese dat aansienlike vordering in kunsmatige algemene intelligensie (KAI) tot menslike uitwissing of 'n ander onomkeerbare globale katastrofe kan lei.

Een argument is soos volg: mense oorheers ander spesies omdat die menslike brein oor eiesoortige vermoëns beskik wat ander diere kort. As KI die mensdom in algemene intelligensie sou oortref en superintelligent sou word, kan dit moeilik of onmoontlik word om te beheer. Net soos die lot van die berggorilla afhang van menslike welwillendheid, so kan die lot van die mensdom afhang van die optrede van 'n toekomstige masjien superintelligensie.

Die geloofwaardigheid van eksistensiële katastrofe as gevolg van kunsmatige intelligensie (KI) word wyd gedebatteer, en hang deels af of KAI of superintelligensie haalbaar is, die spoed waarteen gevaarlike vermoëns en gedrag na vore kom, en of praktiese scenario's vir KI-oornames bestaan.  Kommer oor superintelligensie is uitgespreek deur vooraanstaande rekenaarwetenskaplikes en tegniese uitvoerende hoofde soos Geoffrey Hinton, Yoshua Bengio, Alan Turing,   Elon Musk, en Sam Altman, uitvoerende hoof van OpenAI. In 2022 het 'n opname onder KI-navorsers met 'n 17%-reaksiekoers bevind dat die meerderheid respondente geglo het dat daar 'n 10 persent of groter kans is dat ons onvermoë om KI te beheer 'n eksistensiële katastrofe sal veroorsaak. In 2023 het honderde KI-kundiges en ander noemenswaardige figure 'n verklaring onderteken dat "Die versagting van die risiko van uitwissing van KI 'n wêreldwye prioriteit moet wees saam met ander maatskaplike skaalrisiko's soos pandemies en kernoorlog." Na groter kommer oor KI. risiko's, het regeringsleiers soos die Britse premier Rishi Sunak en die Verenigde Nasies se sekretaris-generaal António Guterres 'n beroep gedoen op 'n groter fokus op wêreldwye KI-regulering.

Twee bronne van kommer spruit uit die probleme van KI-beheer en -belyning: om 'n superintelligente masjien te beheer of dit in lyn met mens-versoenbare waardes in te bring, kan moeilik wees. Baie navorsers glo dat 'n superintelligente masjien pogings sal weerstaan om dit uit te skakel of sy doelwitte te verander, aangesien dit dit sal verhoed om sy huidige doelwitte te bereik. Dit sal uiters moeilik wees om 'n superintelligensie in lyn te bring met die volle breedte van beduidende menslike waardes en beperkings. Daarteenoor argumenteer skeptici soos rekenaarwetenskaplike Yann LeCun dat superintelligente masjiene geen begeerte vir selfbehoud sal hê nie.

'n Derde bron van kommer is dat 'n skielike "intelligensie-ontploffing" 'n onvoorbereide menslike ras kan verras. Sulke scenario's neem die moontlikheid in ag dat 'n KI wat meer intelligent is as sy skeppers in staat kan wees om homself rekursief te verbeter teen 'n eksponensieel toenemende tempo, wat te vinnig verbeter vir sy hanteerders en die gemeenskap in die algemeen om te beheer. Empiries toon voorbeelde soos AlphaZero wat homself leer om Go te speel dat domeinspesifieke KI-stelsels soms baie vinnig van ondermenslike tot bomenslike vermoëns kan vorder, hoewel sulke stelsels nie die verandering van hul fundamentele argitektuur behels nie.

Geskiedenis 
Een van die vroegste skrywers wat ernstige kommer uitgespreek het dat hoogs gevorderde masjiene eksistensiële risiko's vir die mensdom kan inhou, was die romanskrywer Samuel Butler, wat in sy 1863-essay Darwin among the Machines geskryf het:

 "Die resultaat is bloot 'n kwessie van tyd, maar dat die tyd sal aanbreek wanneer die masjiene die ware oppergesag oor die wêreld en sy inwoners sal hou, is wat geen persoon met 'n ware filosofiese verstand vir 'n oomblik kan bevraagteken nie."

In 1951 het die grondleggende rekenaarwetenskaplike Alan Turing die artikel "Intelligent Machinery, A Heretical Theory" geskryf, waarin hy voorgestel het dat kunsmatige algemene intelligensies waarskynlik "beheer" van die wêreld sou neem namate hulle intelligenter as mense geword het:

 “Laat ons nou aanneem, ter wille van die argument, dat intelligente masjiene 'n werklike moontlikheid is, en kyk na die gevolge van die konstruksie daarvan ... Daar sal geen sprake wees van die masjiene wat sterf nie, en hulle sal in staat wees om te praat met mekaar om hul verstand op te skerp. Ons moet dus op 'n stadium verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word.”

In 1965 het I.J. Good die konsep geskep wat nou bekend staan as 'n "intelligensie-ontploffing" en gesê die risiko's word onderskat:
 “Laat 'n ultra-intelligente masjien gedefinieer word as 'n masjien wat al die intellektuele aktiwiteite van enige man hoe slim ook al kan oortref. Aangesien die ontwerp van masjiene een van hierdie intellektuele aktiwiteite is, kan 'n ultra-intelligente masjien selfs beter masjiene ontwerp; daar sou dan ongetwyfeld 'n 'intelligensie-ontploffing' wees, en die intelligensie van die mens sou ver agterbly. Die eerste ultra-intelligente masjien is dus die laaste uitvinding wat die mens ooit moet maak, mits die masjien gemaklik genoeg is om ons te vertel hoe om dit onder beheer te hou. Dit is eienaardig dat hierdie punt so selde buite wetenskapfiksie gemaak word. Dit is soms die moeite werd om wetenskapfiksie ernstig op te neem.”

Geleerdes soos Marvin Minsky en I. J. Good self het soms kommer uitgespreek dat 'n superintelligensie beheer kon oorneem, maar het geen oproep tot aksie gerig nie. In 2000 het die rekenaarwetenskaplike en Sun-medestigter Bill Joy 'n invloedryke essay geskryf, "Why The Future Doesn't Need Us", wat superintelligente robotte identifiseer as 'n hoë-tegnologie gevaar vir menslike oorlewing, saam met nanotegnologie en gemanipuleerde bioplae.

Nick Bostrom het in 2014 Superintelligence gepubliseer, wat sy argumente voorgehou het dat superintelligensie 'n eksistensiële bedreiging inhou. Teen 2015 het openbare figure soos fisici Stephen Hawking en Nobelpryswenner Frank Wilczek, rekenaarwetenskaplikes Stuart J. Russell en Roman Yampolskiy, en entrepreneurs Elon Musk en Bill Gates hul kommer uitgespreek oor die risiko's van superintelligensie. Ook in 2015 het die Ope Brief oor Kunsmatige Intelligensie die "groot potensiaal van KI" uitgelig en meer navorsing aangemoedig oor hoe om dit robuust en voordelig te maak. In April 2016 het Nature gewaarsku: "Masjiene en robotte wat mense oor die hele linie beter presteer, kan self verbeter buite ons beheer - en hul belange strook dalk nie met ons s'n nie." In 2020 het Brian Christian The Alignment Problem gepubliseer, wat besonderhede bevat. die geskiedenis van vordering met KI-belyning tot op daardie tydstip.

KI-vermoëns

Algemene intelligensie
Kunsmatige algemene intelligensie (KAI) word tipies gedefinieer as 'n stelsel wat ten minste so goed presteer as mense in die meeste of alle intellektuele take.  'n 2022-opname van KI-navorsers het bevind dat 90% van die respondente verwag het dat KAI in die volgende 100 jaar bereik sou word, en die helfte het dieselfde teen 2061 verwag.  Intussen verwerp sommige navorsers eksistensiële risiko's van KAI as "wetenskapfiksie" op grond van hul hoë vertroue dat KAI nie binnekort geskep sal word nie.

Deurbrake in groot taalmodelle het daartoe gelei dat sommige navorsers hul verwagtinge heroorweeg het. Geoffrey Hinton het veral in 2023 gesê dat hy onlangs sy skatting verander het van "20 na 50 jaar voor ons algemene doel KI" na "20 jaar of minder".

Superintelligensie 
In teenstelling met KAI, definieer Bostrom 'n superintelligensie as "enige intellek wat die kognitiewe prestasie van mense in feitlik alle terreine van belang aansienlik oorskry", insluitend wetenskaplike kreatiwiteit, strategiese beplanning en sosiale vaardighede. Hy voer aan dat 'n superintelligensie mense kan uitmaneuver wanneer sy doelwitte met mense bots. Dit kan kies om sy ware bedoeling weg te steek totdat die mensdom dit nie kan keer nie.  Bostrom skryf dat om veilig te wees vir die mensdom, 'n superintelligensie in lyn gebring moet word met menslike waardes en moraliteit, sodat dit "fundamenteel aan ons kant" is.

Stephen Hawking het aangevoer dat superintelligensie fisies moontlik is omdat "daar geen fisiese wet is wat verhoed dat deeltjies georganiseer word op maniere wat selfs meer gevorderde berekeninge uitvoer as die rangskikkings van deeltjies in menslike breine nie".

Wanneer superintelligensie bereik kan word, indien ooit, is noodwendig minder seker as voorspellings vir KAI. In 2023 het OpenAI-leiers gesê dat nie net KAI nie, maar superintelligensie in minder as 10 jaar bereik kan word.

Vergelyking met mense 
Bostrom voer aan dat KI baie voordele bo die menslike brein het:
 Spoed van berekening: biologiese neurone werk teen 'n maksimum frekwensie van ongeveer 200 Hz, in vergelyking met potensieel veelvuldige GHz vir rekenaars. 
Interne kommunikasiespoed: aksone stuur seine teen tot 120 m/s uit, terwyl rekenaars seine teen die spoed van elektrisiteit, of opties teen die spoed van lig, uitsaai.
Skaalbaarheid: menslike intelligensie word beperk deur die grootte en struktuur van die brein, en deur die doeltreffendheid van sosiale kommunikasie, terwyl KI moontlik kan skaal deur bloot meer hardeware by te voeg.
Geheue: veral werkende geheue, want by mense is dit beperk tot 'n paar stukke inligting op 'n slag.
Betroubaarheid: transistors is meer betroubaar as biologiese neurone, wat hoër akkuraatheid moontlik maak en minder oortolligheid vereis.
 Dupliseerbaarheid: anders as menslike breine, kan KI-sagteware en -modelle maklik gekopieer word.
Redigeerbaarheid: die parameters en interne werking van 'n KI-model kan maklik gewysig word, anders as die verbindings in 'n menslike brein.
Geheue deel en leer: KI's kan dalk leer uit die ervarings van ander KI's op 'n manier wat meer doeltreffend is as menslike leer.

Intelligensie-ontploffing 
Volgens Bostrom kan 'n KI wat 'n kundige vlak fasiliteit by sekere sleutel sagteware-ingenieurstake het, 'n superintelligensie word as gevolg van sy vermoë om sy eie algoritmes rekursief te verbeter, selfs al is dit aanvanklik beperk in ander domeine wat nie direk relevant is tot ingenieurswese nie. Dit dui daarop dat 'n intelligensie-ontploffing eendag die mensdom onvoorbereid kan vang.

Die ekonoom Robin Hanson het gesê dat, om 'n intelligensie-ontploffing te loods, 'n KI baie beter in sagteware-innovasie moet word as die res van die wêreld saam, wat hy onwaarskynlik vind.

In 'n "vinnige opstyg"-scenario kan die oorgang van KAI na superintelligensie dae of maande neem. In 'n "stadige opstyg" kan dit jare of dekades neem, wat meer tyd laat vir die samelewing om voor te berei.

Uitheemse verstand 
Superintelligensies word soms "‘n uitheemse verstand" genoem, met verwysing na die idee dat hul manier van dink en motiverings hemelsbreed van ons s'n kan verskil. Dit word oor die algemeen beskou as 'n bron van risiko, wat dit moeiliker maak om te voorspel wat 'n superintelligensie kan doen. Dit dui ook op die moontlikheid dat 'n superintelligensie mense nie by verstek baie waardeer nie. Om antropomorfisme te vermy, word superintelligensie soms beskou as 'n kragtige optimaliseerder wat die beste besluite neem om sy doelwitte te bereik.

Die veld van "meganistiese interpreteerbaarheid" het ten doel om die innerlike werking van KI-modelle beter te verstaan, wat ons moontlik toelaat om eendag tekens van misleiding en wanbelyning op te spoor.

Perke 
Daar is aangevoer dat daar beperkings is op wat intelligensie kan bereik. Die chaotiese aard of tydskompleksiteit van sommige stelsels kan veral 'n superintelligensie se vermoë om sekere aspekte van die toekoms te voorspel, fundamenteel beperk, wat die onsekerheid daarvan verhoog.

Gevaarlike vermoëns 
Gevorderde KI kan verbeterde patogene genereer, kuberaanvalle loods of mense manipuleer. Hierdie vermoëns kan deur mense misbruik word of deur die KI self uitgebuit word as dit nie in lyn is met menslike doelwitte nie. 'n Volskaalse superintelligensie kan verskeie maniere vind om 'n deurslaggewende invloed te kry as dit wil, maar hierdie gevaarlike vermoëns kan vroeër beskikbaar word, in swakker en meer gespesialiseerde KI-stelsels. Hulle kan onstabiliteit in die samelewing veroorsaak en kwaadwillige akteurs bemagtig.

Sosiale manipulasie 
Geoffrey Hinton het gewaarsku dat die oorvloed van KI-gegenereerde teks, beelde en video's op kort termyn dit moeiliker sal maak om die waarheid uit te vind, wat hy sê outoritêre state kan uitbuit om verkiesings te manipuleer.  Sulke grootskaalse, persoonlike manipulasievermoëns kan die eksistensiële risiko van 'n wêreldwye "onomkeerbare totalitêre regime" verhoog. Dit kan ook deur kwaadwillige akteurs gebruik word om die samelewing te beskadig en dit wanfunksioneel te maak.

Kuberaanvalle 
KI-geaktiveerde kuberaanvalle word toenemend as 'n huidige en kritieke bedreiging beskou. Volgens NAVO se tegniese direkteur van die kuberruimte, "neem die aantal aanvalle eksponensieel toe". KI kan ook defensief gebruik word, om kwesbaarhede voorkomend te vind en reg te stel, en bedreigings op te spoor.

KI kan die "toeganklikheid, sukseskoers, skaal, spoed, verskuiling en sterkte van kuberaanvalle verbeter", wat moontlik "beduidende geopolitieke onstuimigheid" kan veroorsaak as dit aanvalle meer as verdediging fasiliteer. Spekulatief kan sulke kuberkraakvermoëns deur 'n KI-stelsel gebruik word om uit sy plaaslike omgewing te breek, inkomste te genereer of wolkrekenaarhulpbronne te bekom.

Verbeterde patogene 
Namate KI-tegnologie demokratiseer, kan dit makliker word om meer aansteeklike en dodelike patogene te ontwerp. Dit kan mense met beperkte vaardighede in sintetiese biologie in staat stel om by bioterrorisme betrokke te raak. Dubbelgebruik-tegnologie wat nuttig is vir medisyne kan hergebruik word om wapens te skep.

Byvoorbeeld, in 2022 het wetenskaplikes 'n KI-stelsel gewysig wat oorspronklik bedoel was om nie-giftige, terapeutiese molekules te genereer met die doel om nuwe medisyne te skep. Die navorsers het die stelsel aangepas sodat toksisiteit eerder beloon as gepenaliseer word. Hierdie eenvoudige verandering het die KI-stelsel in staat gestel om binne ses uur 40 000 kandidaatmolekules vir chemiese oorlogvoering te skep, insluitend bekende en nuwe molekules.

Verwysings 

Kunsmatige intelligensie
Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie is die hipotese dat aansienlike vordering in kunsmatige algemene intelligensie ( KAI ) tot menslike uitwissing of 'n ander onomkeerbare globale katastrofe kan lei . Een argument is soos volg : mense oorheers ander spesies omdat die menslike brein oor eiesoortige vermoëns beskik wat ander diere kort . As KI die mensdom in algemene intelligensie sou oortref en superintelligent sou word , kan dit moeilik of onmoontlik word om te beheer . Net soos die lot van die berggorilla afhang van menslike welwillendheid , so kan die lot van die mensdom afhang van die optrede van 'n toekomstige masjien superintelligensie . Die geloofwaardigheid van eksistensiële katastrofe as gevolg van kunsmatige intelligensie ( KI ) word wyd gedebatteer , en hang deels af of KAI of superintelligensie haalbaar is , die spoed waarteen gevaarlike vermoëns en gedrag na vore kom , en of praktiese scenario's vir KI-oornames bestaan . Kommer oor superintelligensie is uitgespreek deur vooraanstaande rekenaarwetenskaplikes en tegniese uitvoerende hoofde soos Geoffrey Hinton , Yoshua Bengio , Alan Turing , Elon Musk , en Sam Altman , uitvoerende hoof van OpenAI . Inhet 'n opname onder KI-navorsers met 'n-reaksiekoers bevind dat die meerderheid respondente geglo het dat daar ' npersent of groter kans is dat ons onvermoë om KI te beheer 'n eksistensiële katastrofe sal veroorsaak . Inhet honderde KI-kundiges en ander noemenswaardige figure 'n verklaring onderteken dat " Die versagting van die risiko van uitwissing van KI 'n wêreldwye prioriteit moet wees saam met ander maatskaplike skaalrisiko's soos pandemies en kernoorlog . " Na groter kommer oor KI . risiko's , het regeringsleiers soos die Britse premier Rishi Sunak en die Verenigde Nasies se sekretaris-generaal António Guterres 'n beroep gedoen op 'n groter fokus op wêreldwye KI-regulering . Twee bronne van kommer spruit uit die probleme van KI-beheer en -belyning : om 'n superintelligente masjien te beheer of dit in lyn met mens-versoenbare waardes in te bring , kan moeilik wees . Baie navorsers glo dat 'n superintelligente masjien pogings sal weerstaan om dit uit te skakel of sy doelwitte te verander , aangesien dit dit sal verhoed om sy huidige doelwitte te bereik . Dit sal uiters moeilik wees om 'n superintelligensie in lyn te bring met die volle breedte van beduidende menslike waardes en beperkings . Daarteenoor argumenteer skeptici soos rekenaarwetenskaplike Yann LeCun dat superintelligente masjiene geen begeerte vir selfbehoud sal hê nie . 'n Derde bron van kommer is dat 'n skielike " intelligensie-ontploffing " 'n onvoorbereide menslike ras kan verras . Sulke scenario's neem die moontlikheid in ag dat 'n KI wat meer intelligent is as sy skeppers in staat kan wees om homself rekursief te verbeter teen 'n eksponensieel toenemende tempo , wat te vinnig verbeter vir sy hanteerders en die gemeenskap in die algemeen om te beheer . Empiries toon voorbeelde soos AlphaZero wat homself leer om Go te speel dat domeinspesifieke KI-stelsels soms baie vinnig van ondermenslike tot bomenslike vermoëns kan vorder , hoewel sulke stelsels nie die verandering van hul fundamentele argitektuur behels nie . Geskiedenis Een van die vroegste skrywers wat ernstige kommer uitgespreek het dat hoogs gevorderde masjiene eksistensiële risiko's vir die mensdom kan inhou , was die romanskrywer Samuel Butler , wat in syessay Darwin among the Machines geskryf het : " Die resultaat is bloot 'n kwessie van tyd , maar dat die tyd sal aanbreek wanneer die masjiene die ware oppergesag oor die wêreld en sy inwoners sal hou , is wat geen persoon met 'n ware filosofiese verstand vir 'n oomblik kan bevraagteken nie . " Inhet die grondleggende rekenaarwetenskaplike Alan Turing die artikel " Intelligent Machinery , A Heretical Theory " geskryf , waarin hy voorgestel het dat kunsmatige algemene intelligensies waarskynlik " beheer " van die wêreld sou neem namate hulle intelligenter as mense geword het : “Laat ons nou aanneem , ter wille van die argument , dat intelligente masjiene 'n werklike moontlikheid is , en kyk na die gevolge van die konstruksie daarvan \ . . . Daar sal geen sprake wees van die masjiene wat sterf nie , en hulle sal in staat wees om te praat met mekaar om hul verstand op te skerp . Ons moet dus op 'n stadium verwag dat die masjiene beheer sal neem , op die manier wat in Samuel Butler se Erewhon genoem word . ” Inhet I.J . Good die konsep geskep wat nou bekend staan as 'n " intelligensie-ontploffing " en gesê die risiko's word onderskat : “Laat 'n ultra-intelligente masjien gedefinieer word as 'n masjien wat al die intellektuele aktiwiteite van enige man hoe slim ook al kan oortref . Aangesien die ontwerp van masjiene een van hierdie intellektuele aktiwiteite is , kan 'n ultra-intelligente masjien selfs beter masjiene ontwerp ; daar sou dan ongetwyfeld 'n ' intelligensie-ontploffing ' wees , en die intelligensie van die mens sou ver agterbly . Die eerste ultra-intelligente masjien is dus die laaste uitvinding wat die mens ooit moet maak , mits die masjien gemaklik genoeg is om ons te vertel hoe om dit onder beheer te hou . Dit is eienaardig dat hierdie punt so selde buite wetenskapfiksie gemaak word . Dit is soms die moeite werd om wetenskapfiksie ernstig op te neem . ” Geleerdes soos Marvin Minsky en I . J . Good self het soms kommer uitgespreek dat 'n superintelligensie beheer kon oorneem , maar het geen oproep tot aksie gerig nie . Inhet die rekenaarwetenskaplike en Sun-medestigter Bill Joy 'n invloedryke essay geskryf , " Why The Future Doesn't Need Us " , wat superintelligente robotte identifiseer as 'n hoë-tegnologie gevaar vir menslike oorlewing , saam met nanotegnologie en gemanipuleerde bioplae . Nick Bostrom het inSuperintelligence gepubliseer , wat sy argumente voorgehou het dat superintelligensie 'n eksistensiële bedreiging inhou . Teenhet openbare figure soos fisici Stephen Hawking en Nobelpryswenner Frank Wilczek , rekenaarwetenskaplikes Stuart J . Russell en Roman Yampolskiy , en entrepreneurs Elon Musk en Bill Gates hul kommer uitgespreek oor die risiko's van superintelligensie . Ook inhet die Ope Brief oor Kunsmatige Intelligensie die " groot potensiaal van KI " uitgelig en meer navorsing aangemoedig oor hoe om dit robuust en voordelig te maak . In Aprilhet Nature gewaarsku : " Masjiene en robotte wat mense oor die hele linie beter presteer , kan self verbeter buite ons beheer - en hul belange strook dalk nie met ons s'n nie . " Inhet Brian Christian The Alignment Problem gepubliseer , wat besonderhede bevat . die geskiedenis van vordering met KI-belyning tot op daardie tydstip . KI-vermoëns Algemene intelligensie Kunsmatige algemene intelligensie ( KAI ) word tipies gedefinieer as 'n stelsel wat ten minste so goed presteer as mense in die meeste of alle intellektuele take . ' nopname van KI-navorsers het bevind dat van die respondente verwag het dat KAI in die volgendejaar bereik sou word , en die helfte het dieselfde teenverwag . Intussen verwerp sommige navorsers eksistensiële risiko's van KAI as " wetenskapfiksie " op grond van hul hoë vertroue dat KAI nie binnekort geskep sal word nie . Deurbrake in groot taalmodelle het daartoe gelei dat sommige navorsers hul verwagtinge heroorweeg het . Geoffrey Hinton het veral ingesê dat hy onlangs sy skatting verander het van " 20 najaar voor ons algemene doel KI " na " 20 jaar of minder " . Superintelligensie In teenstelling met KAI , definieer Bostrom 'n superintelligensie as " enige intellek wat die kognitiewe prestasie van mense in feitlik alle terreine van belang aansienlik oorskry " , insluitend wetenskaplike kreatiwiteit , strategiese beplanning en sosiale vaardighede . Hy voer aan dat 'n superintelligensie mense kan uitmaneuver wanneer sy doelwitte met mense bots . Dit kan kies om sy ware bedoeling weg te steek totdat die mensdom dit nie kan keer nie . Bostrom skryf dat om veilig te wees vir die mensdom , 'n superintelligensie in lyn gebring moet word met menslike waardes en moraliteit , sodat dit " fundamenteel aan ons kant " is . Stephen Hawking het aangevoer dat superintelligensie fisies moontlik is omdat " daar geen fisiese wet is wat verhoed dat deeltjies georganiseer word op maniere wat selfs meer gevorderde berekeninge uitvoer as die rangskikkings van deeltjies in menslike breine nie " . Wanneer superintelligensie bereik kan word , indien ooit , is noodwendig minder seker as voorspellings vir KAI . Inhet OpenAI-leiers gesê dat nie net KAI nie , maar superintelligensie in minder asjaar bereik kan word . Vergelyking met mense Bostrom voer aan dat KI baie voordele bo die menslike brein het : Spoed van berekening : biologiese neurone werk teen 'n maksimum frekwensie van ongeveerHz , in vergelyking met potensieel veelvuldige GHz vir rekenaars . Interne kommunikasiespoed : aksone stuur seine teen totm/s uit , terwyl rekenaars seine teen die spoed van elektrisiteit , of opties teen die spoed van lig , uitsaai . Skaalbaarheid : menslike intelligensie word beperk deur die grootte en struktuur van die brein , en deur die doeltreffendheid van sosiale kommunikasie , terwyl KI moontlik kan skaal deur bloot meer hardeware by te voeg . Geheue : veral werkende geheue , want by mense is dit beperk tot 'n paar stukke inligting op 'n slag . Betroubaarheid : transistors is meer betroubaar as biologiese neurone , wat hoër akkuraatheid moontlik maak en minder oortolligheid vereis . Dupliseerbaarheid : anders as menslike breine , kan KI-sagteware en -modelle maklik gekopieer word . Redigeerbaarheid : die parameters en interne werking van 'n KI-model kan maklik gewysig word , anders as die verbindings in 'n menslike brein . Geheue deel en leer : KI's kan dalk leer uit die ervarings van ander KI's op 'n manier wat meer doeltreffend is as menslike leer . Intelligensie-ontploffing Volgens Bostrom kan 'n KI wat 'n kundige vlak fasiliteit by sekere sleutel sagteware-ingenieurstake het , 'n superintelligensie word as gevolg van sy vermoë om sy eie algoritmes rekursief te verbeter , selfs al is dit aanvanklik beperk in ander domeine wat nie direk relevant is tot ingenieurswese nie . Dit dui daarop dat 'n intelligensie-ontploffing eendag die mensdom onvoorbereid kan vang . Die ekonoom Robin Hanson het gesê dat , om 'n intelligensie-ontploffing te loods , 'n KI baie beter in sagteware-innovasie moet word as die res van die wêreld saam , wat hy onwaarskynlik vind . In 'n " vinnige opstyg" -scenario kan die oorgang van KAI na superintelligensie dae of maande neem . In 'n " stadige opstyg " kan dit jare of dekades neem , wat meer tyd laat vir die samelewing om voor te berei . Uitheemse verstand Superintelligensies word soms " ‘n uitheemse verstand " genoem , met verwysing na die idee dat hul manier van dink en motiverings hemelsbreed van ons s'n kan verskil . Dit word oor die algemeen beskou as 'n bron van risiko , wat dit moeiliker maak om te voorspel wat 'n superintelligensie kan doen . Dit dui ook op die moontlikheid dat 'n superintelligensie mense nie by verstek baie waardeer nie . Om antropomorfisme te vermy , word superintelligensie soms beskou as 'n kragtige optimaliseerder wat die beste besluite neem om sy doelwitte te bereik . Die veld van " meganistiese interpreteerbaarheid " het ten doel om die innerlike werking van KI-modelle beter te verstaan , wat ons moontlik toelaat om eendag tekens van misleiding en wanbelyning op te spoor . Perke Daar is aangevoer dat daar beperkings is op wat intelligensie kan bereik . Die chaotiese aard of tydskompleksiteit van sommige stelsels kan veral 'n superintelligensie se vermoë om sekere aspekte van die toekoms te voorspel , fundamenteel beperk , wat die onsekerheid daarvan verhoog . Gevaarlike vermoëns Gevorderde KI kan verbeterde patogene genereer , kuberaanvalle loods of mense manipuleer . Hierdie vermoëns kan deur mense misbruik word of deur die KI self uitgebuit word as dit nie in lyn is met menslike doelwitte nie . 'n Volskaalse superintelligensie kan verskeie maniere vind om 'n deurslaggewende invloed te kry as dit wil , maar hierdie gevaarlike vermoëns kan vroeër beskikbaar word , in swakker en meer gespesialiseerde KI-stelsels . Hulle kan onstabiliteit in die samelewing veroorsaak en kwaadwillige akteurs bemagtig . Sosiale manipulasie Geoffrey Hinton het gewaarsku dat die oorvloed van KI-gegenereerde teks , beelde en video's op kort termyn dit moeiliker sal maak om die waarheid uit te vind , wat hy sê outoritêre state kan uitbuit om verkiesings te manipuleer . Sulke grootskaalse , persoonlike manipulasievermoëns kan die eksistensiële risiko van 'n wêreldwye " onomkeerbare totalitêre regime " verhoog . Dit kan ook deur kwaadwillige akteurs gebruik word om die samelewing te beskadig en dit wanfunksioneel te maak . Kuberaanvalle KI-geaktiveerde kuberaanvalle word toenemend as 'n huidige en kritieke bedreiging beskou . Volgens NAVO se tegniese direkteur van die kuberruimte , " neem die aantal aanvalle eksponensieel toe " . KI kan ook defensief gebruik word , om kwesbaarhede voorkomend te vind en reg te stel , en bedreigings op te spoor . KI kan die " toeganklikheid , sukseskoers , skaal , spoed , verskuiling en sterkte van kuberaanvalle verbeter " , wat moontlik " beduidende geopolitieke onstuimigheid " kan veroorsaak as dit aanvalle meer as verdediging fasiliteer . Spekulatief kan sulke kuberkraakvermoëns deur 'n KI-stelsel gebruik word om uit sy plaaslike omgewing te breek , inkomste te genereer of wolkrekenaarhulpbronne te bekom . Verbeterde patogene Namate KI-tegnologie demokratiseer , kan dit makliker word om meer aansteeklike en dodelike patogene te ontwerp . Dit kan mense met beperkte vaardighede in sintetiese biologie in staat stel om by bioterrorisme betrokke te raak . Dubbelgebruik-tegnologie wat nuttig is vir medisyne kan hergebruik word om wapens te skep . Byvoorbeeld , inhet wetenskaplikes 'n KI-stelsel gewysig wat oorspronklik bedoel was om nie-giftige , terapeutiese molekules te genereer met die doel om nuwe medisyne te skep . Die navorsers het die stelsel aangepas sodat toksisiteit eerder beloon as gepenaliseer word . Hierdie eenvoudige verandering het die KI-stelsel in staat gestel om binne ses uur000 kandidaatmolekules vir chemiese oorlogvoering te skep , insluitend bekende en nuwe molekules . Verwysings Kunsmatige intelligensie