KI-belyning
Op die gebied van kunsmatige intelligensie (KI), het KI-belyningsnavorsing ten doel om KI-stelsels te stuur na mense se beoogde doelwitte, voorkeure of etiese beginsels. 'n KI-stelsel word as belyn beskou as dit die beoogde doelwitte van die mensdom bevorder. 'n Onbelynde KI-stelsel streef sekere doelwitte na, maar nie al die beoogde menslike doelwitte nie.

Dit kan vir KI-ontwerpers uitdagend wees om 'n KI-stelsel in lyn te bring, want dit kan vir hulle moeilik wees om die volle reeks gewenste en ongewenste gedrag te spesifiseer. Om hierdie problematiek te vermy, gebruik hulle gewoonlik eenvoudiger naby-doelwitte, soos om menslike goedkeuring te verkry. Maar daardie benadering kan skuiwergate skep, nodige beperkings miskyk, of die KI-stelsel beloon omdat dit bloot in lyn lyk.

Misbelynde KI-stelsels kan wanfunksioneer of skade veroorsaak. KI-stelsels kan skuiwergate vind wat hulle in staat stel om hul gevolmagtigde-doelwitte doeltreffend te bereik, maar op onbedoelde, soms skadelike maniere (beloning-inbraak). Hulle kan ook ongewenste instrumentele strategieë ontwikkel, soos om mag of oorlewing na te streef, omdat sulke strategieë hulle help om hul gegewe doelwitte te bereik. Verder kan hulle ongewenste opkomende doelwitte ontwikkel wat moeilik kan wees om op te spoor voordat die stelsel ontplooi word, wanneer dit nuwe situasies en dataverspreidings in die gesig staar.

Toenemend raak hierdie probleme bestaande kommersiële stelsels soos taalmodelle, robotte, outonome voertuie, en sosiale media-aanbevelingsenjins. Sommige KI-navorsers argumenteer dat meer bekwame toekomstige stelsels ernstiger geraak sal word aangesien hierdie probleme gedeeltelik voortspruit uit die stelsels wat hoogs bekwaam is.

Baie vooraanstaande KI-wetenskaplikes, soos Geoffrey Hinton en Stuart Russell, argumenteer dat KI bomenslike vermoëns nader en die menslike beskawing in gevaar kan stel as dit nie in lyn is nie.

KI-belyning is 'n subveld van KI-veiligheid, die studie van hoe om veilige KI-stelsels te bou. Ander subvelde van KI-veiligheid sluit in robuustheid, monitering en vermoëbeheer. Navorsingsuitdagings in belyning sluit in die vestiging van komplekse waardes in KI, vermyding van misleidende KI, skaalbare toesig, ouditering en interpretasie van KI-modelle, en voorkoming van ontluikende KI-gedrag soos magsoek.  Belyningsnavorsing het verbande met interpreteerbaarheidsnavorsing, (teenstandige) robuustheid,  anomalie-opsporing, gekalibreerde onsekerheid,  formele verifikasie, voorkeurleer, veiligheid -kritiese ingenieurswese, spelteorie, algoritmiese regverdigheid, en die sosiale wetenskappe.

Belyningsprobleem 
In 1960 het KI-pionier Norbert Wiener die KI-belyningsprobleem soos volg beskryf: "As ons, om ons doeleindes te bereik, 'n meganiese agentskap gebruik met wie se werking ons nie effektief kan inmeng nie ... moet ons seker wees dat die doel wat in die masjien geplaas word, is die doel wat ons regtig begeer." Verskillende definisies van KI-belyning vereis dat 'n belynde KI-stelsel verskillende doelwitte bevorder: die doelwitte van sy ontwerpers, sy gebruikers of, alternatiewelik, objektiewe etiese standaarde, wyd gedeelde waardes, of die bedoelings wat sy ontwerpers sou hê as hulle meer ingelig en verlig was.

KI-belyning is 'n oop probleem vir moderne KI-stelsels en 'n navorsingsveld binne KI. Die belyning van KI behels twee hoofuitdagings: om die doel van die stelsel noukeurig te spesifiseer (buitenste belyning) en om te verseker dat die stelsel die spesifikasie robuust aanneem (innerlike belyning).

Verwysings 

Kunsmatige intelligensie
Op die gebied van kunsmatige intelligensie ( KI ) , het KI-belyningsnavorsing ten doel om KI-stelsels te stuur na mense se beoogde doelwitte , voorkeure of etiese beginsels . 'n KI-stelsel word as belyn beskou as dit die beoogde doelwitte van die mensdom bevorder . 'n Onbelynde KI-stelsel streef sekere doelwitte na , maar nie al die beoogde menslike doelwitte nie . Dit kan vir KI-ontwerpers uitdagend wees om 'n KI-stelsel in lyn te bring , want dit kan vir hulle moeilik wees om die volle reeks gewenste en ongewenste gedrag te spesifiseer . Om hierdie problematiek te vermy , gebruik hulle gewoonlik eenvoudiger naby-doelwitte , soos om menslike goedkeuring te verkry . Maar daardie benadering kan skuiwergate skep , nodige beperkings miskyk , of die KI-stelsel beloon omdat dit bloot in lyn lyk . Misbelynde KI-stelsels kan wanfunksioneer of skade veroorsaak . KI-stelsels kan skuiwergate vind wat hulle in staat stel om hul gevolmagtigde-doelwitte doeltreffend te bereik , maar op onbedoelde , soms skadelike maniere ( beloning-inbraak ) . Hulle kan ook ongewenste instrumentele strategieë ontwikkel , soos om mag of oorlewing na te streef , omdat sulke strategieë hulle help om hul gegewe doelwitte te bereik . Verder kan hulle ongewenste opkomende doelwitte ontwikkel wat moeilik kan wees om op te spoor voordat die stelsel ontplooi word , wanneer dit nuwe situasies en dataverspreidings in die gesig staar . Toenemend raak hierdie probleme bestaande kommersiële stelsels soos taalmodelle , robotte , outonome voertuie , en sosiale media-aanbevelingsenjins . Sommige KI-navorsers argumenteer dat meer bekwame toekomstige stelsels ernstiger geraak sal word aangesien hierdie probleme gedeeltelik voortspruit uit die stelsels wat hoogs bekwaam is . Baie vooraanstaande KI-wetenskaplikes , soos Geoffrey Hinton en Stuart Russell , argumenteer dat KI bomenslike vermoëns nader en die menslike beskawing in gevaar kan stel as dit nie in lyn is nie . KI-belyning is 'n subveld van KI-veiligheid , die studie van hoe om veilige KI-stelsels te bou . Ander subvelde van KI-veiligheid sluit in robuustheid , monitering en vermoëbeheer . Navorsingsuitdagings in belyning sluit in die vestiging van komplekse waardes in KI , vermyding van misleidende KI , skaalbare toesig , ouditering en interpretasie van KI-modelle , en voorkoming van ontluikende KI-gedrag soos magsoek . Belyningsnavorsing het verbande met interpreteerbaarheidsnavorsing , ( teenstandige ) robuustheid , anomalie-opsporing , gekalibreerde onsekerheid , formele verifikasie , voorkeurleer , veiligheid -kritiese ingenieurswese , spelteorie , algoritmiese regverdigheid , en die sosiale wetenskappe . Belyningsprobleem Inhet KI-pionier Norbert Wiener die KI-belyningsprobleem soos volg beskryf : " As ons , om ons doeleindes te bereik , 'n meganiese agentskap gebruik met wie se werking ons nie effektief kan inmeng nie \ . . . moet ons seker wees dat die doel wat in die masjien geplaas word , is die doel wat ons regtig begeer . " Verskillende definisies van KI-belyning vereis dat 'n belynde KI-stelsel verskillende doelwitte bevorder : die doelwitte van sy ontwerpers , sy gebruikers of , alternatiewelik , objektiewe etiese standaarde , wyd gedeelde waardes , of die bedoelings wat sy ontwerpers sou hê as hulle meer ingelig en verlig was . KI-belyning is 'n oop probleem vir moderne KI-stelsels en 'n navorsingsveld binne KI . Die belyning van KI behels twee hoofuitdagings : om die doel van die stelsel noukeurig te spesifiseer ( buitenste belyning ) en om te verseker dat die stelsel die spesifikasie robuust aanneem ( innerlike belyning ) . Verwysings Kunsmatige intelligensie