De siste dagene har flere falske bilder og sitater narret nordmenn. NRK har nå kartlagt noen av de som står bak. Eksperter peker på to mulige motiver bak slike poster.

«Bare litt til – og vi kunne ha feiret 58 år sammen, jeg ville hatt en så gledelig feiring ... Hvorfor lot du meg være alene?».

Sitatet er tillagt dronning Sonja på Facebook-siden Sveriges Kändisnyheter og ble lagt ut etter kong Haralds død.

En tavle med utskrifter av innlegg publisert på Facebook. Lapper med "KI-generert" er teipet over flere av bildene som ser ut til å vise kong Harald, kong Haakon, dronning Sonja, og dronning Mette-Marit sterkt preget i det som ser ut som ulike situasjoner
Her er poster fra Facebook-sidene NRK har kartlagt. NRK har fotografert innleggene, og merket bildene som er KI-genererte. Foto: Truls Skram Lerø / NRK

I posten er det en bildekollasj av dronning Sonja og daværende kronprins Haakon som gråter. I kollasjen er det også et bilde av Haakon som våker over kong Harald i sykesenga, mens han holder faren i hånda.

Det lenkes til en nettside med logoen Dailynews.

En tavle med utskrifter av innlegg publisert på Facebook. Lapper med "KI-generert" er teipet over flere av bildene som ser ut til å vise kong Harald, kong Haakon, dronning Sonja, og dronning Mette-Marit sterkt preget i det som ser ut som ulike situasjoner
De tre første bildene er KI-genererte. Bildet helt til venstre av dronning Sonja er ekte, men speilvendt. NRK har fotografert innleggene, og merket bildene som er KI-genererte. Foto: Truls Skram Lerø / NRK

Men det er mye i Facebook-innlegget som ikke stemmer:

  • Dronning Sonja har ikke uttalt seg offentlig etter ektemannens bortgang.
  • Ingen medier slapp inn på kongens rom på sykehuset. Slottet har heller ikke delt bilder fra hans sykehusopphold.

I forbindelse med kongens død har det flommet over av poster med falske bilder av kong Harald på sykehuset. KI-genererte bilder av gråtende medlemmer av kongefamilien spres.

En tavle med utskrifter av innlegg publisert på Facebook. Lapper med "KI-generert" er teipet over flere av bildene som ser ut til å vise kong Harald, kong Haakon, dronning Sonja, og dronning Mette-Marit sterkt preget i det som ser ut som ulike situasjoner
Flere av innleggene har publisert KI-genererte bilder som har blitt laget til forveksling lik ekte bilder fotografert i helt andre sammenhenger. NRK har fotografert innleggene, og merket bildene som er KI-genererte. Foto: Truls Skram Lerø / NRK

Postene startet for alvor å dukke opp dagen det ble annonsert at kong Haralds helse var forverret – torsdag 27. august – ett døgn før Slottet kunngjorde at han var død.

Men hvor kommer postene fra? Sporene peker mot Vietnam.

Falske sider

Det er vanskelig å fastslå hvor mange slike Facebook-sider som finnes. NRK har undersøkt ni sider som den siste uka har postet falskt innhold om kongefamilien.

NRK har kontaktet eierne av Facebook-sidene uten å få svar.

Facebook-eier Meta har fått tilsendt sidene NRK har undersøkt.

– Vi undersøker innholdet vi er gjort oppmerksomme på, skriver presseavdelingen.

De viser til at Facebook har retningslinjer for merking av KI-bilder, og at de jobber med å fjerne innhold fra koordinert spredning av feilinformasjon.

NRK har vist spesialrådgiver Eskil Grendahl Sivertsen i Forsvarets forskningsinstitutt (FFI) flere av sidene NRK har undersøkt.

Han tror de som står bak sidene har et økonomisk motiv.

– Det er utrolig mye penger å tjene på det vi kaller clickbait og ragebait-innhold, som vekker mye engasjement. Og mange har spesialisert seg på å spre denne type ting, nettopp for å tjene penger, sier Sivertsen til NRK.

To menn sitter i et rom med mange skjermer som viser KI-generte bilder
NRK viser forsker Eskil Grendal Sivertsen (til venstre) et av Facebook-innleggene. Foto: Truls Skram Lerø / NRK

Sivertsen forklarer at de som står bak sidene, lokker brukere i sosiale medier til å gå inn på dem. Dermed tjener de penger på annonser på nettsidene.

Men hvem står bak?

Peker mot nettverk

Noen av sidene har registrert norske telefonnummer. Men numrene leder ikke til eierne av sidene.

Norge Puls360 har registrert et nummer til Rådhusets forvaltningstjeneste i Oslo kommune. Hurtig Nytt har registrert et telefonnummer tilhørende LO-forbundet Styrke.

Styrke sier at dette er lureri, og at de har rapportert inn siden.

Oslo kommune takker for at NRK har gjort dem oppmerksomme på siden:

I kommentarfeltene deles artikler fra domenenavn som vietwedding.net og hvmtdby.com.

Flere av domenene NRK har sett på, kan knyttes til de samme Facebook-sidene som alle ble opprettet i sommer. Det viser undersøkelser utført ved hjelp av tjenesten Similarweb.

Slik ser en av nettsidene som blir lenket til i Facebook-innleggene ut.
Slik ser en av nettsidene som blir lenket til i Facebook-innleggene ut.

En av nettsidene som går igjen i flere Facebook-innlegg, er kjernedomenet i et nettverk av sju domener med identisk infrastruktur og operasjonsmønster. Det viser en analyse NRK har gjort ved hjelp av KI-tjenesten Claude.

Dette, i tillegg til det lignende innholdet på de ulike Facebook-sidene, tyder på at mange av sidene kan stamme fra samme nettverk.

– Jeg trodde det var ekte

Facebook-sidene NRK har undersøkt, har mellom 3000 og 16.000 følgere hver.

En gjennomgang tyder på at ikke alle følgerne er ekte mennesker:

xx
Et utvalg av følgerne til Norges Puls360. Svært mange av følgerne har samme profilbilde og tilsynelatende tilfeldig sammensatte ord på engelsk og vietnamesisk som navn. Faksimile: Norges puls360

Men norske brukere har likevel likt, delt og kommentert innholdet.

Skjønner de at det de ser på er falskt?

– Jeg har trodd det er ekte. Det er så mye, og det er vanskelig å se om det er ekte eller ikke, sier Jens Erik Bogstad til NRK.

Han er en av dem som har sett bilder med falskt innhold.

– Hva tenker du om at det ligger så mye falske nyheter ute på nettet?

– Det synes jeg er noe dritt. Det liker jeg ikke. Det er ikke bra med så mye falske ting, svarer Bogstad.

Herdis Midje sendte sine tanker til dronning Sonja i et av kommentarfeltene.

– Det er svært mye falskt innhold på sosiale medier, men her tenkte jeg ikke på at det var falskt. De som står bak dette må jo fjerne sånt innhold, sier Midje.

En annen kvinne NRK har snakket med, som ønsker å være anonym, blir gråtkvalt når NRK forteller henne at mye av innholdet hun har fått opp på Facebook de siste dagene kan være falsk informasjon.

– Jeg var veldig glad i kongen. Jeg skal blokkere sidene, sier hun.

NRK har stilt Slottets kommunikasjonsavdeling flere spørsmål om KI-bildene, uten å få svar.

Hvorfor Vietnam?

Nærmest alle Facebook-sidene styres av brukere som blant annet befinner seg i Vietnam, viser Metas data.

I 2023 brukte den britiske fotografen Jack Latham en måned på å dokumentere fem klikkfabrikker i Vietnam. Bildene resulterte i en bok.

Fotografen dokumenterte klikkfabrikker i leiligheter og på hotellrom utenfor Hanoi. Der var det store mengder mobiltelefoner og datamaskiner som ble brukt til å skape kunstig aktivitet på sosiale medier.

De som jobbet der var dårlig betalte arbeidere, mange i 20- og 30-årene.

Bilde fra en klikkfarm i Vietnam.
Dette bildet fra en vietnamesisk klikkfabrikk viser en person som genererer kunstig aktivitet i sosiale medier. NRK er ikke kjent med at denne klikkfabrikk har noen sammenheng med Facebook-sidene vi har undersøkt. Foto: Jack Latham

Forsker Sivertsen i FFI er ikke overrasket over at Facebook-sidene har opphav i Vietnam.

– Det er over tid bygget opp kompetanse og kunnskap om det i land som Vietnam. Her er dette en forretningsmodell som også skaper et eget marked hvor de kan kjøpe og selge profiler og nettverk på en slags svartebørs, sier Sivertsen, og legger til:

– Det er i hvert fall ingen tvil om at dette er en multimilliardindustri.

Kongen levde – skrev han var død

Spredningen av falske nyheter skjer ikke bare på Facebook.

Ved å bruke Xs egen KI, kalt Grok, har NRK funnet en rekke poster om kong Haralds død, skrevet dagen før kongen faktisk døde.

NRK har ikke funnet sammenheng mellom X-kontoene og klikkfabrikkene.

To utskrifter av innlegg publisert på X som hevdet at kongen hadde dødd den 27. august.
To av innleggene publisert på X som hevdet at kongen var død, én dag før kongen gikk bort. Foto: Truls Skram Lerø / NRK

I postene kommer det også kritikk av mediene for å holde kongens påståtte død skjult for offentligheten. Men i virkeligheten var kongen fortsatt i live.

Sivertsen sier at et annet motiv for klikkfabrikker og deres kunder kan være å påvirke befolkningen og skape splid.

– Det samme innholdet kan lages av andre der motivet ikke er penger, men å skape forvirring, splid og utrygghet – og få oss til å tvile på om vi kan stole på redaktørstyrte medier. Formen og innholdet kan se helt likt ut, men motivasjonen kan være vidt forskjellig.

Portrett av en mann som ser i kamera. Han har brunt hår og skjegg og er klegg i en skjorte og t-skjorte
Foto: Truls Skram Lerø / NRK

Han sier falske nyheter kan være med på å skape ulike virkelighetsoppfatninger i befolkningen.

– Det fører til at det blir uklart hva som er sant og hva som er rykter. Da blir vi skeptiske. Vi har hørt at det er så mye desinformasjon der ute, så vi begynner å tvile på alt – også redaktørstyrte medier. Dermed dyrker man mistillit. På sikt ser vi at det kan få uheldige konsekvenser for demokratiet.

– Vi skal være uenige og krangle, men vi trenger en noenlunde lik virkelighetsoppfatning og evne til å skille mellom hva som er sant og usant.

PST: – Følger nøye med

NRK har vist noe av materialet vi sitter på til Politiets sikkerhetstjeneste (PST).

– Tror PST at slike påvirkningsoperasjoner skjer nå mens Norge er i landesorg?

– Vi følger ekstra godt med nå, ja, sier Atle Tangen, avsnittsleder i PSTs avdeling for statlige trusselaktører.

Tangen m lampe
Atle Tangen er avsnittsleder i PST. Foto: Alem Zebic / NRK

– Pågår slike påvirkningsoperasjoner nå?

– Det må vi forvente.

Både Russland og Kina har et omfattende påvirkningsapparat, sier Tangen.

– De utvikler stadig nye teknikker for å produsere og spre påvirkningsmateriale, og utnytter systematisk alle muligheter til å spre falske budskap for å spre tvil, uenighet og usikkerhet, sier avsnittslederen.

Folk kaster seg på

På flere av Facebook-sidene går diskusjonen om hvorvidt bildene er ekte eller ikke.

– Det viser at det funker. Folk kaster seg på, og det skaper engasjement – selv blant dem som påpeker at det er KI, sier forsker Sivertsen i FFI.

I dagene etter kongens bortgang har Facebook-sidene fortsatt å spre falske nyheter.

Torsdag 3. september, en uke etter kongens bortgang, hadde Facebook-siden Den Gode Stemningen, saken:

«AKUTT OPPDATERING: Kong Harald skal gjennomgå en hjerteoperasjon på fredag ved Rikshospitalet – Slottet har bekreftet planene».