Del 3
Ekstremisme i en digital tidsalder

12 Innledning

Norge er blant de mest digitaliserte landene i verden.1 Både voksne og barn lever store deler av sin hverdag på nettet, og med sosiale medier og ny medieteknologi blir mennesker stadig mer sammenflettet. En hyperkoblet verden der milliarder av mennesker kan kommunisere over høyhastighetsnett, gir mange muligheter. For eksempel åpner det for en bredere deltakelse i den offentlige debatten og mer involvering av befolkningen i demokratiske prosesser. Like fullt har den teknologiske utviklingen mange og store fallgruver, både for samfunnet generelt og for ekstremismefeltet spesielt.

Ekstremister bruker sosiale medier og ny teknologi til radikalisering, rekruttering, opplæring, terrorplanlegging, innsamling av informasjon, kommunikasjon, forberedelse, propaganda og finansiering.2 Den raske utviklingen innebærer at plattformene hvor ekstreme holdninger deles og videreutvikles, blir mer avanserte. Ny teknologi kan spre informasjon på nye måter som gjør at desinformasjon, hatefulle ytringer, voldelig ekstremisme eller annet skadelig innhold når ut til et bredere publikum og kan få større negative ringvirkninger enn tidligere. Nye ekstremistiske nettsamfunn og kommunikasjonsmåter dukker opp i stor skala og i et raskt tempo som gjør det utfordrende å holde seg oppdatert på trender og trusselbilder. Selve størrelsen på den digitale verdenen av tekst, videoer og bilder gjør det nærmest umulig å ha full oversikt i sanntid.

Teknologiutviklingen gjør at geografisk avstand betyr mindre. På mange samfunnsområder er denne delen av globaliseringen positiv. Når det gjelder drivere for radikalisering og ekstremisme, er bildet mer nyansert. Radikaliseringstrender kan raskere migrere eller «smitte» fra et land til et annet. Nye teknologiske instrumenter gjør det også enklere å oversette innhold fra og til norsk. Teknologiutviklingen gjør derfor at samfunnet i enda større grad smelter sammen med resten av verden. Det blir vanskeligere å «holde verden ute».

Revolusjonerende utvikling innen kunstig intelligens gjør også at metodene for å spre ytringer, meninger og tankegods endrer seg raskt. I 2021 viste den britiske MI6-sjefen i sin åpne trusselvurdering til at teknologiutviklingen det neste tiåret kunne gå lenger enn det siste århundret.3

Samtidig gir teknologiutviklingen nye redskaper i innsatsen mot radikalisering og ekstremisme. Ny teknologi, inkludert kunstig intelligens, gir styresmaktene kraftfulle verktøy til å kontrollere utviklingen gjennom preventive tiltak som overvåkning og kontroll av informasjon. Hensikten med tiltakene mot voldelig ekstremisme bør i siste instans være å bevare demokratiet og et sterkt menneskerettighetsvern for alle. Teknologien muliggjør likevel etter hvert så omfattende inngrep i borgernes sivile rettigheter at det ikke er ønskelig for samfunnet å ta i bruk alle virkemidler som finnes. Dersom samfunnet ikke finner en god balanse mellom rettighetsvern på den ene siden og inngrep med overvåkning og kontroll på den andre, kan iveren etter å beskytte samfunnet og grunnleggende verdier ende opp med å svekke menneskerettighetene og demokratiet som man søker å verne.

Det er vanskelig å forutse hvordan teknologiutviklingen vil påvirke radikalisering og voldelig ekstremisme. Myndighetenes tiltak og regulering blir derfor reaktiv og «hengende etter». Når styresmaktene benytter ny teknologi i kampen mot radikalisering og voldelig ekstremisme, må tempoet og omfanget kalibreres godt.

Det teknologiske landskapet er dynamisk og i stadig endring. Det samme gjelder måten ekstremistene utnytter teknologien. Kommisjonen har valgt å se nærmere på noen overordnede utviklingstrekk og trender. Denne delen handler om hvordan ekstremister bruker sosiale medier og andre digitale flater, hvordan kunstig intelligens og andre nye teknologier kan påvirke ekstremismefeltet, menneskerettslige utfordringer og hvordan myndighetene forsøker å møte disse utfordringene gjennom regulering.

13 Ekstremisme i sosiale medier og andre digitale flater

Den nye digitale hverdagen har gjort det mulig for mennesker som ellers ikke ville ha møtt hverandre, å finne sammen uavhengig av geografiske barrierer, sosiale identiteter og politiske forskjeller.4 Sosiale medier har senket terskelen for hvem som kan ytre seg og delta i det offentlige rom og bidra i meningsutvekslingen. Samtidig blir personer som ytrer seg på digitale flater imidlertid også utsatt for hatytringer, hets og trakassering på grunn av sitt engasjement og sin reelle eller antatte gruppetilhørighet.5

Sosiale medier blir stadig mer brukt av ekstremistiske partier, bevegelser, grupper og enkeltpersoner.6 Gratis eller rimelige strømmetjenester, fillagringsplattformer og ende-til-ende-krypterte kommunikasjonsapplikasjoner har gjort det enklere å dele ekstremistisk propaganda.7 Ulike ekstremistiske aktører kan raskt og rimelig nå ut med sitt budskap og alternative virkelighetsforståelser til et stort, globalt publikum.8

Sosiale medier kan legge til rette for ekstremisme ved å muliggjøre hurtig og ofte anonym spredning av propaganda. Det er lett å komme over hatytringer og oppfordringer til ekstremistisk vold på ulike sosiale medier som TikTok, Instagram, YouTube, Meta og X. En studie av TikTok basert på et utvalg av 1030 videoer viste hvordan videodelingsappen brukes til å spre rasistiske konspirasjonsfortellinger om hvit overmakt, instruksjonsvideoer om våpenproduksjon, glorifisering av ekstremister og terrorister, målrettet hets av minoriteter og holocaustbenektelse.9

Kunstig intelligens kan forsterke denne utviklingen. Ekstremister kan benytte sofistikerte redskaper for tekstbehandling eller manipulasjon av lyd, bilde og video for å skreddersy sine budskap. Kunstig intelligens kan også øke rekkevidden til ekstremistiske grupperinger fordi det vil gi dem mulighet til å nå ut i et helt annet omfang, til nye grupper og på nye språk. Kunstig intelligens omtales videre i kapittel 14.

13.1 Ytre høyre og høyreekstremisme på internett

13.1.1 Alternative medier og klikkåte

I lys av digitaliseringen de siste tiårene har det både i Norge og internasjonalt vokst frem en rekke alternative medier som opererer i yttergrensene av journalistikken. Alternative medier kjennetegnes av at de har en tydelig ideologisk profil og et uavklart forhold til etiske retningslinjer.10 I Norge har alternative medier som document.no, det nedlagte resett.no og rights.no mobilisert mot det politiske etablissementet og mediene samt mot islam og mot at muslimsk kultur skal være en del av den norske offentligheten.11 I kommentarfelt med ulik grad av moderering er det mange nettdebattanter som deler sterkt muslimfiendtlig og konspiratorisk tankegods.

Alternative medier produserer ofte ragebaits eller klikkåte, som det kan kalles på norsk. Klikkåte er saker som har som formål å fange publikums oppmerksomhet og gjøre folk opprørte eller sinte og slik skape interaksjon med en lenke eller sak.12 Med viral spredning kan dette gå ut over enkeltpersoner og bidra til polarisering. I Norge ble resett.no anklaget for å skape uriktige narrativer og forfølge enkeltpersoner.13 Tidligere redaksjonssjef Lars Akerhaug har skrevet følgende om sin tid i Resett:

Resett vart ein trykkokar for rasistiske haldningar. Desse nettstadene eksisterer i ein slags symbiose. Ein gjev lesarane det dei vil ha, og dei reagerer i form av kommentarar, likes, delingar og ikkje minst donasjonar. Det er sjølvsagt ein negativ spiral. Og til skilnad frå politiske parti som FrP har du ikkje noko incentiv for å skyva dei mest ekstreme vekk frå deg. Mitt inntrykk var at det var denne gruppa som gav mest pengar. (Akerhaug, 2022)

En del av dette bildet er også trolling, altså grenseoverskridende og sjokkerende utsagn på nettet. Målet er å skape negative emosjonelle reaksjoner hos en annen person eller gruppe. Trolling foregår også som større kampanjer organisert av land eller andre aktører, blant annet såkalte trollfabrikker. Trolling kan komme i form av memer, typisk bilder eller videoer som spres og utvikler seg gjennom kopier og etterligning, som spiller på temaer som skaper følelser, for eksempel rasisme eller kvinnehat.

Mange internettbrukere som troller, mener ikke det de poster eller sier, og synes først og fremst det er gøy at andre tror på dem og blir fornærmet.14 Like fullt kan trolling påvirke opinionen ved at desinformasjon spres i stor skala. Desinformasjon er feil informasjon som spres bevisst for å villede folk.15 Derfor er desinformasjon et nyttig redskap i politiske påvirkningskampanjer. Desinformasjon er utbredt i tilknytning til væpnede konflikter slik en ser i krigen mellom Hamas og Israel og under Russlands krigføring i Ukraina.16 Desinformasjonskampanjer blir også stadig vanligere i forbindelse med demokratiske valg.17

13.1.2 Subkultur på internett

Organiserte høyreekstreme organisasjoner og ytre-høyre-aktører har åpne digitale plattformer som de bruker til å spre propaganda og kommunisere med tilhengere. En studie av ytre høyre i Norge har vist at alle de sentrale grupperingene har egne sider på Facebook.18

Andre høyreekstreme subkulturer består av løst definerte nettverk uten sentralisert ledelse, hierarkiske strukturer og kriterier for medlemskap. I ulike subkulturer blir høyreekstrem propaganda produsert og spredt i transnasjonale internettfellesskap.19 Brukerne knyttes sammen av en subkulturell identitet, verdier og subkulturelle symboler og et språk hvor både vold og humor spiller en sentral rolle. Bruken av humor gjør også grensen mellom ekstreme ytringer og vitser mer flytende, og deling av ekstremt innhold kan enkelt bortforklares med at ytringene er ment som humor.

Særlig på umodererte plattformer produserer og konsumerer anonyme brukere store mengder ekstremistisk innhold og propaganda. I slike fora kan brukere i mange land forme fiendebilder i fellesskap, i det som kan kalles global medproduksjon av innhold. Vold og dehumanisering blir trivialisert og promotert gjennom subkulturell internettatferd som trolling og produksjon av humor og memer. Memer er «formbare», noe som betyr at de får en ekstremistisk mening når de blir plassert innenfor en bredere ekstremistisk kontekst.20 Det krever et visst nivå av digital og teknologisk kompetanse å produsere og forstå memer som fremmer vold og konspirasjonsfortellinger. Dette innebærer også at ekstremistisk innhold dermed ikke alltid vil identifiseres av nærstående, moderatorer eller myndigheter.

Trolling oppsto som et fenomen på ulike nettfora som 4chan, 8chan og Endchan. Innholdet ble mer og mer ekstremt, og grensene mellom humor og reelle høyreekstreme ytringer og oppfordringer til vold ble stadig mer uklare. Hvit-makt-terrorister som var inspirert av Christchurch-angrepet i 2019, hadde omgang med hverandre på chan-fora. Det var også her terroristene forhåndsannonserte angrepene sine med manifester som inneholdt memer som sirkulerer på diverse plattformer som 4chan, 8chan, Discord eller Twitch. Hvit-makt-memer blander rasistiske og nazistiske symboler med referanser fra populærkultur, spillkultur og incel-kultur.21 Ekstremistiske ideologier, fiendebilder og konspirasjonsfortellinger blir promotert gjennom humor og memer, og terror og terrorister glorifiseres.22

13.2 Ekstrem islamisme på internett

Sosiale medier er en sentral arena for rekruttering og spredning av ekstrem islamistisk propaganda.23 I 2013 var sosiale medier som Facebook og YouTube avgjørende for at gruppen Profetens Ummah nådde ut med sitt budskap i Norge. De var i utgangspunktet en Facebook-gruppe, og det var der de startet med å mobilisere til demonstrasjoner organisert av gruppen. En av metodene Profetens Ummah brukte for å rekruttere unge muslimer til innsats og kamp, var å dele voldsomme bilder av døde eller sårede muslimer i krigssoner som Syria på Facebook.24

Terrororganisasjonen IS har vært kjent for å produsere propaganda som glorifiserer livet i Den islamske stat, og formidle informasjon om hvordan man kan bli fremmedkriger. De har også delt videoer om hvordan barn blir trent opp til å bli IS-soldater,25 og oppskrifter på eksplosiver. Videoer av vold og henrettelser utført av IS har også blitt spredt på nett og gått viralt. IS har også brukt nettet til å oppfordre muslimer til soloterrorisme i landene de holder til i.26

Fra forskningen er det også kjent at sosiale medier spilte en viktig rolle i IS’ operasjonelle strategi i Syria og Irak.27 Spesielt daværende Twitter var viktig for vestlige fremmedkrigere i disse områdene. Egenprodusert materiale ble spredt via Twitter til andre sosiale medier. Innholdet ble delt av fremmedkrigere på bakken og av deres allierte i Europa, inkludert den britiske organisasjonen Al Muhajiroun og den London-baserte predikanten Anjem Choudary, som også var i kontakt med medlemmene i Profetens Ummah.

Uken før 25. juni-angrepet i 2022 på London pub og Per på hjørnet i Oslo sentrum hadde den terrorsiktede Arfan Bhatti lagt ut et budskap på sin åpne Facebook-profil om at homofile burde drepes. Innlegget inneholdt et brennende pride-flagg.28 Også al-Qaida har via sin mediekanal As-Sahab oppfordret til angrep mot Sverige og Danmark etter gjentatte koranbrenninger i 2023.29

13.3 Gaming og ekstremisme

Akkurat som sosiale medier har gaming (dataspill) blitt en integrert del av hverdagen for barn og voksne verden over. Spesielt unge «digitalt innfødte» har på en helt annen måte enn tidligere generasjoner vokst opp med tilgang til og forståelse for ny teknologi.30 Spillsamfunn skaper fellesskap, lek, mening og mestring. Mange unge har trygge og gode hverdager i spillsamfunn som er verdifulle fellesskap for mange.

Flere aktører har understreket at gaming bør anerkjennes på lik linje med fotball og andre tradisjonelle fritidsaktiviteter. Gaming har også blitt mindre stigmatisert og mer anerkjent enn tidligere.31 Utdaterte antakelser om en sammenheng mellom vold i spill og aksept for vold er tilbakevist. I regjeringens dataspillstrategi beskrives dataspill som en kulturform som blant annet kan stimulere til kreativitet, læring og tekniske ferdigheter. Strategien omtaler også viktigheten av trygge digitale møteplasser og at dette bør finnes i et samspill med fysiske møteplasser.32 Det finnes flere spillhus rundt omkring i landet hvor unge kan spille sammen med trygge voksenpersoner til stede.

Samtidig kan spillkultur inkludere ekstremistiske uttrykksformer. Kvinnehat er for eksempel utbredt innen flere spillmiljøer.33 Fellesskap rundt slike holdninger skaper engasjement hos brukerne. Mens noen brukere forblir passive vitner til hatefullt innhold i spillmiljøer eller fora, er andre aktive deltakere og produserer selv innhold. Fellesskapsfølelsen som skapes i digitale subkulturer, er en sentral årsak til at deltakerne forblir aktive. For noen brukere er et slikt digitalt fellesskap eller brorskap en vei ut av ensomhet og isolasjon. Anonymitet kan bidra til at frustrasjon, krenkelser eller sinne som er rettet mot storsamfunnet, får utløp og støttes av meningsfeller. De digitale subkulturene og spillmiljøene tilbyr sosiale forbindelser og fyller et menneskelig behov: ønsket om å høre til. Man produserer kollektive identiteter som overskrider landegrenser. Dette gjelder særlig høyreekstreme nettsamfunn.34

Ekstremister og radikalisatorer benytter seg av den omfattende rekkevidden til spillplattformer og spillkultur til rekruttering, spredning av propaganda, mobilisering og vold. Discord, en av de mest populære kommunikasjonsplattformene for spillmiljøer, fungerer som en møteplass for sosialisering og bygging av digitale fellesskap. Den blir også utnyttet av ekstremister. Det høyreekstreme partiet Alliansens skjulte server brukes til å spre antisemittisk og rasistisk innhold og rekruttere unge følgere.35

Twitch, en strømmeplattform for spillinnhold, har også blitt brukt til å spre innhold som fremmer ideer om hvit makt. Steam, en nettplattform hvor man kan kjøpe, spille og lage egne spill, har vært tilholdssted for en rekke servere laget av høyreekstreme og nynazistiske grupper.36

Bruk av spill og spillkultur i rekruttering og propaganda gjelder ikke kun høyreekstreme miljøer. «Spillifisering» av ekstrem islamisme er pekt på som en voksende trend, og det er tatt til orde for mer forskning for å finne ut hvor utbredt problemet er, og hvor effektivt gaming er som et verktøy for voldelige ekstremistiske organisasjoner.37

Spill kan imidlertid også brukes i arbeidet med å forhindre og forebygge radikalisering og ekstremisme. Det EU-finansierte pilotprosjektet GameD forsøker å bruke spill til positive intervensjoner for å styrke og fremme demokratiske holdninger og toleranse.38 Spillkjendiser og influensere kan også bruke sin påvirkningskraft i forebyggende arbeid i spillmiljøer. Det er viktig at spillere er med på å utvikle forebyggende tiltak med spillsamfunn som målgruppe. Når gamerne myndiggjøres, kan de enklere gripe inn og ta til motmæle mot ekstremisme, rasisme, hets og trakassering.

13.4 Digitale miljøers betydning for «enslige aktører» og soloterrorister

De senere årene har en rekke terrorangrep blitt gjennomført av såkalte enslige aktører. Selv om gjerningspersonene har utført handlingen alene, har de hatt kontakt med meningsfeller i virtuelle samfunn hvor propaganda og oppfordring til terror deles på tvers av land og kontinenter.

Brenton Tarrant, terroristen bak moskéangrepene i Christchurch på New Zealand i 2019, var inspirert av Anders Behring Breivik. I likhet med Breivik så Tarrant ut til å ha blitt radikalisert på nettet uten samhandling med organiserte høyreekstreme grupper. Tarrants angrep inspirerte i sin tur til en rekke terrorangrep som ble begått av enslige aktører i USA og Europa. Philip Manshaus, som selv har sagt at han ble radikalisert på nettet før drapet på stesøsteren og angrepet på Al-Noor-moskeen i Bærum i 2019, var også inspirert av Tarrant.39 Da Manshaus forhåndsannonserte angrepet, varslet han dette med en referanse til incel-ideologien gjennom et meme.40 I memet ble tre andre terrorister hyllet og fremstilt som chads, en incel-referanse som beskriver en «alfahann», altså en med dominant maskulinitet som befinner seg øverst i hierarkiet på kjønnsmarkedet. I digitale subkulturer dyrker man både en offerrolle og heroisk maskulinitet ved å glorifisere hvit-makt-terrorister.41

Når det gjelder ekstreme islamister, klarte europeisk kontraterror etter hvert å demme opp for de største og dødeligste IS-angrepene i Europa etter Bataclan-angrepet i Frankrike i 2015. Etter dette gikk ekstremistene over til å bruke soloterrorisme i større grad. En rekke av disse soloterroristene ble rekruttert, radikalisert og instruert gjennom kommunikasjonsapper som Telegram.42 Terroristen som gjennomførte det dødelige angrepet i Drottninggatan i Stockholm i 2018, fikk instrukser på øret mens han gjennomførte terroren. Instruksene kom fra en person i utlandet via kommunikasjonsappen Zello. Bakmannen, eller entreprenøren, la også føringer på hva slags mål han skulle angripe.43 App-styrte jihadister ble såpass vanlig at bakmennene fikk navnet «virtuelle entreprenører» i forskningen.44

13.5 Direktestrømming av ekstremisme og terror

Ekstremister bruker sosiale medier på flere måter i forbindelse med terrorangrep. Direktestrømming av terrorangrep og muligheten til å se angrep gir en langvarig propagandaeffekt.

En rekke høyreekstreme terrorister, fra New Zealand til Bærum, har fulgt en slags oppskrift bestående av forhåndsannonsering av angrepet, sirkulering av manifest og direktestrømming av terrorangrepene. Både Christchurch-terroristen og Halle-terroristen i Tyskland direktestrømmet angrepene for å dele dem på høyreekstreme nettfora og la meningsfeller «delta» i voldsutøvelsen gjennom tilbakemelding, spredning og rangering av angrepet. Christchurch-terroristen kunngjorde angrepene på forhånd i nettfora og direktesendte massedrapene i 17 minutter på Facebook Live.45 I de første 24 timene etter terrorangrepet på New Zealand fjernet Facebook 1,5 millioner opplastede videoer som skulle vise angrepet.46 Videoer og bilder fra terrorangrepet i Christchurch i 2019 er fremdeles lett å finne på TikTok.47

Også Philip Manshaus la ut meldinger i lukkede fora på nettet kort tid før angrepet på moskeen i 2019, og han gjorde mislykkede forsøk på å direktesende angrepet på YouTube.48

Et annet eksempel på direktestrømming av angrep fra ekstreme islamister er terroristen som i 2016 gjennomførte et jihadistisk terrorangrep og dobbeltdrap i Magnanville i Frankrike. Han erklærte lojalitet til IS og direktesendte en video av drapene på Facebook Live.49 Da Hamas gjennomførte terrorangrepet mot Israel 7. oktober 2023, brukte de en ny terrortaktikk. De brøt seg inn i private hjem og tok kontroll over de sivile ofrenes smarttelefoner. Flere av overgrepene og drapene på sivile ble direktestrømmet på ofrenes egne kontoer i sosiale medier.50

Også direktesendt dekning av rettssaker med terrordømte kan bli brukt som propagandamateriale på nettet. Under Breiviks prøveløslatelsesrettssak i 2022 tillot dommeren direktesending av rettsforhandlingene, med en innlagt forsinkelse. Noen medier, som Aftenposten og NRK, valgte å ikke sende direkte fra rettssalen. Flere medier videreformidlet imidlertid store deler av direktesendingen, og Breivik benyttet seg av dette til å formidle sitt høyreekstreme budskap til meningsfeller og følgere, med nazihilsen, appell og engelskspråklig budskap på papir, både på kofferten og på dressjakken. Noen medier sladdet bilder og videoer der budskapet var synlig. Hele Breiviks tale på én time ble sendt ut med kun to kutt i lyd. De to kuttene var begge på under et minutt.51 I ettertid har det vist seg at direktesendingen ble spredt til nettfora i løpet av få minutter.

Videoer og bilder av terrordømte blir brukt til å glorifisere terror og inspirere andre brukere i høyreekstreme nettsamfunn. Det er derfor viktig at redaksjoner har oppdatert kunnskap om hvordan ekstremister utnytter mediene, og at de viser etisk varsomhet i dekning av terror.

14 Ekstremisme og kunstig intelligens

Teknologiutviklingen gjør at enorme mengder digital informasjon kan samles inn, oppbevares, forvaltes og nyttiggjøres ved hjelp av maskiner. Kunstig intelligens kan analysere data og benyttes til beslutningsstøtte eller til maskingenererte beslutninger gjennom at maskinene programmeres til å utføre oppgaver som normalt krever menneskelig intelligens og skjønnsutøvelse. Ved hjelp av smart programvare kan maskiner gjenkjenne mønstre, drive med erfaringsbasert læring, trekke logiske slutninger, foreta prediksjoner eller treffe beslutninger om handlinger og deretter utføre dem.52

Kunstig intelligens kan produsere bilder, lyd og tekst som vil gjøre det lettere å forfalske og manipulere informasjon for å nå ut til et bredere publikum. Når generativ KI blir allemannseie, kan både enkeltpersoner og tunge kommersielle eller politiske krefter utnytte teknologien. Radikaliserte enkeltindivider, ikke-statlige grupper med en ekstrem ideologi og fremmede statlige aktører får kraftfulle redskap som kan brukes til å øke fabrikkering og spredning av manipulerende eller falskt innhold. Risikoen for manipulert informasjon har blitt forsterket av bølgen av generativ KI, noe som også fører med seg spørsmål om sannhetsgehalten til all informasjon som leveres digitalt. Utviklingen vil påvirke hele det digitale medieøkosystemet, og det vil trolig være behov for nye metoder for å avgjøre om informasjonen på internett er pålitelig.53

14.1 Ekstremisters bruk av kunstig intelligens

Kunstig intelligens kan benyttes av ekstreme krefter og personer med en radikaliseringsagenda, som får mer kraftfulle verktøy for å spre sitt budskap. Ekstreme grupper og fremmede stater kan utnytte kunstig intelligens til manipulering, påvirkning og desinformasjon. Ideologisk motiverte enkeltpersoner og grupper bruker spredning av desinformasjon og falske narrativer som verktøy til å rekruttere nye medlemmer eller radikalisere andre.54

Både høyreekstreme og ekstreme islamister eksperimenterer allerede med kunstig intelligens for å produsere og spre propaganda.55 Eksempelvis har en nynazistisk meldingskanal på Telegram spredt KI-genererte bilder som er skapt ved at rasistisk og antisemittisk innhold er limt inn i en app som er tilgjengelig i Google Play-butikken. Andre høyreekstreme aktører har utviklet en «guide til memetisk krigføring», som gir råd om hvordan man kan bruke KI-genererte bildeverktøy til å produsere ekstremistiske memer. IS har publisert teknisk støtteveiledning i hvordan man kan bruke KI-verktøy til å produsere propaganda. En annen IS-bruker har transkribert propaganda ved hjelp automatisk talegjenkjenning (ASR). Ekstremistenes bruk av KI er i en «eksperimentell fase», og høsten 2023 var det lav risiko for utbredt bruk.56 Like fullt utgjør ekstremistenes eksperimentelle bruk av KI en ny utfordring for sikkerhet og forebygging i tiden fremover.

14.2 Myndigheters bruk av kunstig intelligens

Kunstig intelligens gir styresmaktene nye redskaper i kampen mot ekstremisme. Etter hvert som bekymringene for nasjonal sikkerhet har vokst i Norge og Europa for øvrig, har styresmaktene fått stadig større ambisjoner om å nyttiggjøre seg ny teknologi. Kunstig intelligens gir store muligheter til å identifisere og overvåke ekstremister. Det kan dreie seg om å identifisere mulige sikkerhetstrusler, inkludert terrorisme eller kontoer som genererer ekstremistisk innhold på nettbaserte plattformer. Kunstig intelligens og maskinlæring kan også gjøre det enklere for myndighetene å forutsi (predikere) fremtidige handlingsmønstre og terrorhandlinger eller fange opp radikaliseringstendenser. For eksempel bruker det engelske nasjonale sikkerhetsprogrammet Prevent kunstig intelligens til å forsøke å forutsi hvem som kan utgjøre en trussel fremover i tid.57 Forutsigelsene er basert på datainnsamling og profilering utført av kunstig intelligens. Slike verktøy vil bli svært viktige i kampen mot radikalisering og ekstremisme fremover. Kunstig intelligens og andre teknologiske nyvinninger eksponerer samtidig samfunnet for virkemidler og effekter som gjør at digital overvåkning skjer i større omfang, raskere og mer effektivt. Iveren etter å beskytte demokratiet mot ekstreme krefter kan føre til at demokratiet svinner hen gjennom for mye overvåkning, kontroll og (forhånds)sensur.58

En viktig bekymring internasjonalt handler om at ny teknologi og ekstremisme vil gjøre at statlige myndigheter tar i bruk stadig mer potente verktøy til omfattende overvåkning. Selv om økt politisk kontroll og undertrykkelse også er en fare i Norge, er utfordringene gjerne de utilsiktede effektene av at styresmaktene tar i bruk ny teknologi.

Dersom verktøy basert på kunstig intelligens brukes til å overvåke miljøer som potensielt kan representere radikaliseringsfare, beveger man seg nær politisk overvåkning. Bruker man kunstig intelligens til profilering for å forhindre terror, kommer man raskt på kant med uskyldspresumpsjonen og andre menneskerettigheter som skal ivareta individets rettigheter i møte med en høyteknologisk stat. Kunstig intelligens gir for eksempel myndighetene muligheter til å drive med mer presise og subtile former for digital sensur. Overvåkningssystemer kan raskt tråle sosiale medier etter tegn til avvikende meninger, og store bulkinnsamlinger kan kobles til ansiktsgjenkjenningsteknologi for å identifisere og overvåke meningsmotstandere.59

En annen utfordring med KI-systemer er at de ikke blir bedre enn informasjonen de mates med. Dersom input-informasjonen er selektiv eller algoritmene er satt opp på måter som diskriminerer, vil også algoritmene diskriminere. Kunstig intelligens «arver» menneskenes fordommer og kan forsterke dem. I 2020 måtte britiske myndigheter trekke tilbake en kunstig intelligens-algoritme som var benyttet til visumbehandlinger, fordi den ble anklaget for å være rasistisk.60 I tillegg kan algoritmer identifisere nye mønstre i datagrunnlaget som gir grobunn for databasert diskriminering. I 2023 publiserte Likestillings- og diskrimineringsombudet en ny veileder for å avdekke og forebygge diskriminering i utvikling og bruk av kunstig intelligens.61

Teknologiens konsekvenser for demokratiet og menneskerettighetene er i stor grad upløyd mark for alle stater i verden, og det er et område hvor solid kunnskap er vanskelig, fordi effektene inntrer i samtiden og fremtiden. Sammenlignet med andre land ligger Norge svært langt fremme med digitalisering av offentlig forvaltning, og Norge er slik sett et slags testlaboratorium sammen med øvrige nordiske naboer. Små, åpne, demokratiske og gjennomdigitaliserte samfunn i Norden er dobbelt eksponerte. Norge er både sårbar for radikaliseringskrefter som tar i bruk ny teknologi, og for farene ved egen bruk av teknologien for å møte radikaliserings- og terrorfaren.

15 Menneskerettighetene og ny teknologi

«Ny teknologi» omfatter både teknologiske nyvinninger og velkjent teknologi som brukes på nye måter. Teknologiutviklingen fører til nye sikkerhetsutfordringer og utløser mer kraftfulle statlige inngrep som igjen kan undergrave menneskerettighetene.

15.1 Digital overvåkning

Digital overvåkning setter motsetningene mellom sikkerhet og demokrati på spissen. Begrunnelsen for overvåkning er borgernes sikkerhet og i siste instans retten til liv. Overvåkning gjør imidlertid inngrep i grunnpilarene i demokratiet: borgernes rett til å ha, gjøre seg opp og utveksle meninger og ideer fritt og uten statlig kontroll eller inngripen, altså retten til privatliv og personvern, tankefrihet, religionsfrihet og ytringsfrihet. Digital overvåkning fører derfor med seg en rekke menneskerettslige problemstillinger.

Digitale løsninger må anvendes på en ansvarlig måte. Statlige myndigheter i Norge har for eksempel tilgang på store datamengder om borgerne. Dersom dataene kobles sammen av kraftige teknologiske analyseverktøy, gir det myndighetene mulighet til å skaffe svært inngående informasjon om hver enkelt. Kunstig intelligens kan sammenstille og analysere data om borgerne på helt nye måter, og dermed identifisere trusler fra utvalgte miljøer eller enkeltpersoner. Selv om det er teknologisk mulig for myndighetene å benytte kunstig intelligens i utstrakt grad i arbeidet med å forebygge radikalisering og ekstremisme, er det menneskerettighetene, ikke teknologien, som setter grensene her. Staten er forpliktet til å unngå eller slutte å bruke teknologiske løsninger som bryter med menneskerettighetene.

Når det innføres ny teknologi, eller når teknologi brukes på nye måter, må staten sørge for å kartlegge de menneskerettslige konsekvensene av teknologibruken. En dansk rapport fra 2021 kartla rettighetsutfordringer ved bruk av profileringsteknologi i offentlig forvaltning, og konkluderte med at det burde innføres en rekke tiltak som sikrer at offentlige myndigheter benytter kunstig intelligens og profilering i samsvar med menneskerettighetene.62 Stater har ansvar for å forvalte sikkerhetsproblemer på nettet og sørge for at internett er et sikkert og tillitvekkende miljø hvor individer kan operere fritt, realisere sitt potensial og nyte godt av sine rettigheter.63 Det innebærer at staten har ansvaret for å hindre praksis som bryter med internettbrukernes rettigheter. Staten skal innføre sanksjoner mot overtredere64 og sørge for at ofre har tilgang til klageinstanser.65 Samtidig har staten negative menneskerettighetsforpliktelser, noe som innebærer at staten må avstå fra overvåkningsaktiviteter som bryter med menneskerettighetene. Staten må sørge for at overvåkning følges av effektive kontrollmekanismer.66 Dette må omfatte innsamling og oppfanging (interception) av data. Det gjelder også for ansamling av metadata og salg av persondata.67

EMD har gjort det klart at stater som ligger langt fremme i utviklingen og bruken av ny teknologi, har et særlig ansvar for å finne en god balanse mellom teknologien og menneskerettighetene, særlig retten til privatliv.68 Overvåkning, innsamling, oppfanging av data, bulkdata og videresalg av persondata vil bare være i tråd med menneskerettighetene dersom inngrepet har hjemmel i lov, ikke er vilkårlig og tilfredsstiller kravene til nødvendighet og proporsjonalitet.

Masseinnsamling og lagring av elektroniske data anses for å være et inngrep i retten til privatliv selv om innsamlingen ikke er knyttet til enkeltindivider.69 Slik masseinnsamling er kun tillatt dersom overvåkningen er i tråd med de begrensningene i retten til privatliv som menneskerettighetene tillater.

I to dommer fra 2021, Big Brother Watch og andre mot Storbritannia og Centrum för rättvisa mot Sverige, tok storkammeret i EMD stilling til lovligheten av hemmelig overvåkning av kommunikasjon i transitt, der både innholdet i kommunikasjonen og metadata samles inn. EMD la i disse avgjørelsene til grunn at masseinnsamling er en gradvis prosess. Omfanget av inngrepet i retten til privatliv tiltar etterhvert som man nærmer seg identifisering av enkeltindivid.70 Behovet for rettssikkerhetsmekanismer vil være størst mot slutten av prosessen, når personer kan identifiseres og innholdet i kommunikasjonen blir nærmere undersøkt.71 Også når innhentingen og lagringen ikke er rettet mot konkrete individer, vil inngrepet rammes av EMK artikkel 8 om retten til privatliv, og det må foreligge rettssikkerhetsmekanismer fra informasjonen samles inn til den slettes.

PSTs og Etterretningstjenestens nye hjemler til informasjonsinnhenting omtales i del V.

15.2 Ekstremistisk innhold

En rekke terrorister har de siste årene benyttet seg av plattformer med svake eller ingen regler for innholdsmoderering i radikaliseringsforløpet. På slike plattformer har de dannet nettsamfunn, spredt propaganda og planlagt terror. For eksempel har 8chan hatt som forretningsmodell å ikke drive med innholdsmoderering.72 Mange ekstremister opererer anonymt og bruker ulike typer krypterte nettplattformer og meldingsapper som Telegram og Signal for å unngå å bli sporet og oppdaget. Ekstremistisk og terroroppfordrende innhold blir ofte delt på tjenester med kryptering, noe som gjør det utfordrende å forebygge og forhindre terror.

Ekstremister kan også «overliste» og manipulere algoritmiske rangeringsmetoder ved å lage titler og beskrivelser som sikrer at innleggene deres vises nær toppen av søkeresultatene for ikke-kontroversielle temaer. Høyreekstremister har eksempelvis merket Tiktok-videoer med #konservativ eller #trump for at de skal vises sammen med mer konvensjonelle innlegg. Ekstreme islamister bruker lignende strategier for å rekruttere, inkludert bruken av #katt for å nå ut med videoer til brukere som ellers ikke ville oppsøkt slikt innhold.73 Andre ekstremister kan ta over populære emneknagger. Ekstremister bruker også en rekke unnvikelsesteknikker som kommunisering i private grupper, opprettelse av flere kontoer og feilstaving av emneknagger for å unngå algoritmisk gjenkjenning.

I møtet med ulovlig eller skadelig innhold kan stater ty til verktøy som å blokkere utvalgte IP-adresser for enkelte individer, ta ned nettsider, benytte filterteknologi for å nekte tilgang til sider med bestemt innhold, blokkere e-poster og foreta andre typer inngrep i ytringsfriheten. Slike virkemidler kan imidlertid lett misbrukes. Inngrep av denne typen vil være i strid med ytringsfriheten etter EMK dersom de ikke har hjemmel i lov og ikke er nødvendige og proporsjonale.74

Enkelte typer ytringer har et særlig sterkt menneskerettighetsvern. Det gjelder ytringer som angår myndighetenes maktbruk, politikk og demokratiske valg, samt rapportering av menneskerettigheter, myndighetsaktiviteter og korrupsjon. Inngrep fra myndighetene vil raskere anses for å bryte med EMK og menneskerettighetene når slike ytringer blir rammet. Direkte sensur fra myndighetene av politiske meningsytringer vil kunne komme på kant med retten til ytringsfrihet eller retten til fri meningsdannelse. Det gjelder selv om innholdet er sjokkerende, krenkende eller ekstremt. Statlig inngripen i ytringer krever hjemmel i lov. I tillegg kan økt statlig digital overvåkning medføre at borgerne modererer seg, bevisst eller ubevisst (nedkjølingseffekten). Digital kontroll, som lett blir oppfattet som sensur, kan også ha andre utilsiktede effekter. Når det er kunstig intelligens som står for sensuren, kan den kunstige intelligensen moderere bort innhold publisert av personer som tilhører den gruppen man ønsker å beskytte mot hatefulle ytringer, slik som minoriteter. En annen uheldig virkning er at dersom mer ytterliggående holdninger og strømninger fjernes, finnes det andre digitale plattformer som er mer utilgjengelige, for eksempel på «det mørke nettet». Dersom det brer seg en forestilling om at myndighetene driver med politisk sensur, kan denne typen nettverk få større oppslutning.

Digitale plattformer eies, styres og kontrolleres gjerne av store utenlandske teknologiselskaper. Teknologiselskapene er samtidig kommersielle aktører som innretter sine plattformer for å maksimere inntjening. Innhold som er spisset eller radikalt, blir delt i større tempo og omfang enn innhold som er saklig. Spisset innhold er dermed også mer profitabelt. Denne mekanismen har gjort at man gjerne omtaler digitale plattformer som drivere for polarisering – forretningsmodellen og algoritmene legger til rette for, og belønner, stadig mer spisset, polariserende og radikalt innhold. Ytringsfrihetskommisjonen drøfter for eksempel om teknologiselskapenes egne algoritmer i seg selv kan forsterke polarisering.75

Samtidig har teknologiselskapene i økende grad innført regler for moderering av innhold på sine plattformer. Store teknologiselskaper har utviklet brukerretningslinjer og protokoller for å motvirke at plattformene deres blir brukt til voldelig ekstremistisk aktivitet på nett. Likevel har modereringen og egenreguleringen på plattformene blitt kraftig kritisert. Ytringsfrihetskommisjonen påpekte for eksempel at selskapene skal vurdere en enorm mengde innhold. Menneskelige moderatorer har også svært krevende arbeidsforhold siden de er vitne til store mengder poster som kan inneholde overgrep, drap og selvmord. Avgjørelser om hvilke poster plattformselskapene sletter, og hvilke brukere som utestenges fra plattformer, skaper stadig debatter.76

Selskapene baserer seg ofte på hel- eller delautomatiserte systemer for å avdekke og blokkere uønsket innhold. Slike verktøy kan være med på å beskytte mot ulovlig og skadelig innhold. Dersom modereringspraksisen blir for utbredt, vil den derimot komme på kant med ytringsfriheten. En betydelig utfordring ligger i at retningslinjene som et stort teknologiselskap legger til grunn for sin plattform ikke nødvendigvis sammenfaller med det som er tillatt eller forbudt i Norge. Den mest effektive måten å få kontroll med de digitale plattformene, er derfor gjennom å regulere selskapene som står for plattformtjenestene.

16 Regulering av ekstremisme på nettet

Store, multinasjonale selskaper står i spissen for å utvikle, forvalte og styre teknologiutviklingen. Amerikanske selskaper som Google, Amazon, Meta, Apple og Microsoft og kinesiske selskaper som Tiktok, Beidu, Alibaba, Tencent og Xiaomi leder an i en teknologiutvikling på nettet som verken Norge eller EU har direkte lovgivningsmyndighet over. Det er teknologiselskapene som setter rammene for den digitale aktiviteten. De står i stor grad selv for modereringen av sine flater. Teknologiselskapene representerer dermed en form for «regulerende myndighet» som på mange måter kontrollerer nettaktivitet både sterkere og mer direkte enn statlige myndigheter.

EU har satt seg fore å begrense teknologiselskapenes makt. EUs digitale strategi Shaping Europe’s Digital Future fra 2020 inneholder lovgivningspakken Europe Fit for the Digitial Age som sikter på å regulere hvordan plattformer og digital infrastruktur utvikles, og pålegger samtidig statene både rett og plikt til å regulere teknologiske nyvinninger. Pakken består blant annet av EUs forordninger om data, dataforvaltning, digitale markeder, digitale tjenester og kunstig intelligens. Særlig de siste to har relevans for ekstremisme i det digitale rommet.

EUs forordning om kunstig intelligens, Artificial Intelligence Act (AI Act(AIA)), som ble vedtatt av EU- kommisjonen høsten 2023, er verdens første omfattende regulering av teknologien kunstig intelligens. Hensikten med forordningen er å redusere risikoen som kunstig intelligens kan utgjøre for EU borgernes helse, sikkerhet og grunnleggende rettigheter. Forordningen deler teknologi basert på kunstig intelligens inn i fire ulike kategorier ut fra en risikovurdering: forbudt, farlig, kontrollert og ufarlig. Forordningen legger også opp til at kunstig generert innhold skal merkes, som ledd i kampen mot manipulering gjennom desinformasjon og feilinformasjon.77 AIA vil tre i kraft først i 2026, men allerede i 2024 får den effekt. EU-kommisjonen har blant annet oppfordret teknologiselskapene til å merke kunstig generert innhold allerede nå, som et ledd i oppfølgingen av de eksisterende retningslinjene for håndtering av desinformasjon på nettet.78

Forordningen vil trolig anses som EØS-relevant og dermed innarbeides i norsk lov.79 AIA forutsetter nye reguleringsinstanser i hvert land, og etablerer et eget «kontor for kunstig intelligens» sentralt under EU-kommisjonen. Forordningen vil ikke gjelde for kunstig intelligens som benyttes til militære, forsvarsmessige eller nasjonale sikkerhetsformål. Den klare avgrensningen innebærer at forordningens strenge regime ikke vil gjelde bruk av kunstig intelligens hos de norske sikkerhetstjenestene. USA, Kina og andre sentrale teknologiske stater arbeider med å vedta lover som vil etablere lignende regimer de neste årene. I tillegg finnes det en rekke initiativer og samarbeidsfora hvor disse problemstillingene behandles, og som er omtalt i del VII Internasjonal forebyggende praksis.

16.1 EUs forordning om digitale tjenester

Forordning om digitale tjenester, (Digital Services Act(DSA)), retter seg særlig mot plattformselskapene. Den adresserer nye utfordringer som plattformøkonomien fører med seg, blant annet presiserer den plattforselskapenes plikter når det gjelder å fjerne ulovlig innhold.

Formålet til DSA er blant annet å begrense spredning av falske nyheter, desinformasjon og ulovlig innhold på nettet. Forordningen stiller strenge krav til kontroll og innsyn, og pålegger plattformselskapene ansvar for innhold som spres på egne plattformer. De største selskapene må blant annet vurdere, håndtere og minimere risikoen ved tjenestene de tilbyr. Risikoen kan være forbundet med hvordan tjenestene er utformet, hvilke funksjoner de har, og hvordan de brukes. Risiko-regimet som EU oppretter under forordningen om kunstig intelligens vil inngå som en del av risikobildet som plattformselskapene må forholde seg til.

DSA i kombinasjon med AIA innebærer at internettbaserte plattformer, særlig de store selskapene, pålegges en rekke krav. Plattformene må sørge for mekanismer som gjør det enkelt å fjerne ulovlig innhold og gå til anmeldelse. De må også kunne begrunne hvorfor noe fjernes, de må gi klageadgang, og de må rapportere hvor mye innhold som er blitt fjernet og redigert. Plattformselskapene må videre sikre at selgere på nettet kan spores på handelsplattformer. De største internettbaserte plattformene skal dessuten utarbeide risikovurderinger i forbindelse med systemiske trusler mot samfunnet. Pålegg går også ut på å dele data med myndigheter og forskere.80

DSA skal håndheves delvis av statene og delvis sentralt av EU. Hver stat skal utpeke kompetente myndigheter som gis tilsynsoppgaver nasjonalt. I tillegg skal hvert medlemsland utpeke en uavhengig nasjonal DSA-koordinator, som skal føre tilsyn med andre aktører som faller inn under DSA. På europeisk nivå gir DSA EU-kommisjonen fullmakt til å føre direkte tilsyn med de største selskapene, det vil si selskaper som når ut til mer enn ti prosent av EUs befolkning, omtrent 45 millioner mennesker.81 DSA utfordrer plattformenes utilstrekkelige egenregulering og «er den klart viktigste lovmessige nyvinningen for selskapenes innholdsansvar».82 Til tross for forbedringer som gir mer innsyn i hvordan selskapene opererer, og hvordan de bruker og behandler data, vil DSA ikke løse alle utfordringer med å redusere ekstremisme på nettet. Forordningen kan også ha noen negative virkninger.83

For det første pålegger DSA også mindre selskaper ansvar. De kan imidlertid mangle nok ressurser til å bekjempe ekstremisme på nettet. De største plattformene som Meta, Instagram, YouTube, Tiktok og X og Amazon har store teknologiske og menneskelige ressurser, og kan raskt fjerne ekstremistisk innhold. Mindre plattformer og oppstartsbedrifter kan derimot få utfordringer med å implementere og følge forskriftene. Kravene kan få en nedkjølende effekt på innovasjon og oppstartsbedrifter i teknologibransjen. Mangel på moderatorer kan gjøre det enkelt for ekstremistiske aktører å unngå moderering.84

DSA forbyr ekstremistisk innhold. Ekstremister bruker imidlertid sosiale medier og ny teknologi til å promotere ekstremistisk innhold og påvirke brukere, og er fleksible i sine metoder. De tilpasser seg raskt nye regler og utvikler strategier for å unngå utestengelse fra plattformer. Både høyreekstremister og ekstreme islamister kan unngå å bli sensurert eller utestengt fra plattformer ved å tilpasse budskapet, for eksempel ved å endre begreper. Det gjør at vanlige strategier for moderering på nett (forby ord, begreper og symboler) raskt blir ineffektive. Et eksempel er den før nevnte videoen av Christchurch-terroren i 2019, som Facebook Live fjernet kort tid etter hendelsen. Støttespillere la imidlertid ut kopier av opptaket på YouTube, LiveLeak, BitChute og forskjellige arkivsider. Moderatorene slet med å fjerne de forskjellige innleggene fordi brukere manipulerte videoen nøye ved å endre videokvaliteten og spille inn videoen på nytt for å unngå enkel gjenkjenning.

DSAs modell for innholdsmoderering kan også gå glipp av enkelte av de metoder som brukes til å spre ekstremisme på sosiale medier. Algoritmiske rangeringsendringer kan dempe promotering av hatefullt innhold, men de hindrer ikke influensere i å spre ekstremistisk innhold på plattformene sine. For eksempel har høyreekstreme kvinner og alt-right-influensere utnyttet strukturen til sosiale medier for å nå ut med sin ideologi til et stort publikum.85 YouTube kan også brukes til å påvirke brukere til å bevege seg videre mot plattformer med svakere eller få regler for innholdsmoderering. Selv om DSA vil gi viktige redskaper for å forebygge spredning av ekstremistisk innhold på nett, vil også ekstreme krefter tilpasse seg og finne nye veier til å formidle og spre sitt budskap.

Forordningen er for tiden til vurdering i Norge og de andre EFTA-landene, og det er opprettet en arbeidsgruppe ledet av Digitaliserings- og forvaltningsdepartementet.86 Arbeidsgruppen har blant annet begynt prosessen med å vurdere mulige modeller for den nasjonale håndhevingen. Av Norges posisjonsnotat om forordningen følger det at regjeringen anser det som en fordel om forordningen blir en del av EØS-avtalen.87 I september 2023 ble det publisert en rapport om DSA og aktører i det norske internettmarkedet. Rapporten fremhevet omfanget av aktører og kompleksiteten i markedet for internettbaserte plattformer. Rapporten fremhevet at nasjonal håndheving av forordningen er avhengig av høy teknologi- og regelverkskompetanse. Rapporten er bestilt av Nasjonal kommunikasjonsmyndighet, som er en mulig aktuell kandidat som DSA-koordinator og nasjonal tilsynsmyndighet.88