Vårvintern 2023 började jag se en ny typ av bilder i mitt Instagramflöde. De liknade ganska mycket fotografier, men hade någon slags mjuk jämnhet (här vill jag säga ”smoothness” eftersom jag inte kommer på exakt motsvarande ord på svenska…) som fick mig att höja på ögonbrynen.Och sen var det ju själva motiven som kändes lite … osannolika. Jag menar, en dance-off mellan Trump och Biden. Eller Putin och påven. Njaeee.

Nyfiken som jag är började jag googla efter information om de här märkliga bilderna. De visade sig vara genererade med AI, artificiell intelligens. Det fanns tydligtvis program på nätet där man kunde testa att generera den här typen av bilder själv genom att skriva in en textbeskrivning (prompt) av motivet i sökfältet, trycka på enter och invänta resultatet.

Klart jag ville testa. Jag hittade några program som det (åtminstone inledningsvis) var gratis att testa, bland annat DALL-E och Stable Diffusion. Himmel så roligt! Jag gladdes bland annat åt att prompta fram enhörningar med dubbla horn och sex ben i pastellfärgade sagolandskap med självlysande flugsvampar. Ett annat motiv jag laborerade med var väldigt märkliga (och ibland ärligt talat rätt så oaptitliga) nykomponerade maträtter i grälla färger och udda utformningar. Med det sistnämnda motivet spelade jag förresten mina Facebookvänner ett spratt. Jag skrev ett inlägg där jag berättade att jag skulle inleda en ny karriär som matbloggare. Och så la jag upp ett antal av de fejkade rätterna jag genererat. Otroligt nog gick väldigt många på lurendrejeriet, jag fick ett beaktansvärt antal hjärtevärmande lyckönskningar till mitt nya yrkesval. Hahaha!

Efter att ha lekt runt hejvilt med DALL-E Stable Diffusion i några veckor kom jag till någon slags sans och började fundera på om det skulle gå att använda de här bildgenereringsverktygen mer seriöst i min konstnärliga verksamhet. 

Miljöer som inte finns

Den första idén jag kom på var att generera bakgrunder till mina självporträtt. Därmed skulle jag inte längre vara begränsad till den tid jag lever i och de platser jag fysiskt sett har tillgång till. Jag blev alldeles uppspelt av tanken på att försätta mig själv i miljöer som inte existerar i den s.k. verkliga världen. Det första självporträtt jag genererade med denna metod var What Lies Ahead där jag fick fram bakgrunden (en öde hotell-/kontorskorridor) genom en prompt i DALL-E (nja, kanske inte en enda prompt … jag fick modifiera den ett antal gånger för att få ett resultat jag tyckte om).

What Lies AheadA collaboration with DALL-E 2. Departure

Ett annat exempel på ett självporträtt med AI-genererad bakgrund är Departure.

Jag har även använt AI för att generera olika detaljer i bilder. Som i bilden Summer nedan. Jag hade inga passande bilder av fjärilar att använda mig av utan bad Midjourney att generera ett antal till mig.

Summer Midjourney butterflies

AI tolkar Annie

Någon månad efter att jag börjat experimentera med AI som verktyg för att generera bakgrunder upptäckte jag Midjourney, och det har kommit att bli det AI-bildverktyg jag använder mest. I dag använder jag det bland annat för att generera nya motiv. Förutom att förse programmet med en prompt laddar jag upp mina egna konstfotografiska bilder så att Midjourney ska "lära känna" mig, mina motivval och uttryckssätt. Jag gör det även för att i högre grad känna mig som "medskapare" till bilderna som genereras, så att de känns som "Annie Weibull-bilder" även om AI har hjälpt mig att skapa den. 

Jag tänker inte påstå att Midjourney är bättre än något annat bildverktyg. Vilket AI-bildverktyg som blir ens weapon of choice har mycket med tycke och smak att göra. Jag blev från början förtjust i Midjourney-bildernas generella estetik och kvalitet, programmets förmåga att skapa bilder som är inspirerade av olika konstinriktningar (inte minst surrealism, som jag alltid haft en dragning åt) och dess olika funktionaliteter, som Describe där man laddar upp egna bilder och ber programmet att tolka dem. Här kan man få lika oväntade som fascinerande resultat. Nedan är ett exempel, med min originalbild till vänster (på en dator, annars är det första bilden nedan) och Midjourneys tolkning till höger/andra bilden nedan:

Winter Winter - AI Interpretation

Hur beskrev då Midjourney bilden till vänster i ord? Jo, så här:

"a piece of snow and a tree image, with a small girl standing inside it, in the style of double exposure, surrealistic portraiture, uhd image, reflections, fragmented portraiture, illuminated landscapes, symbolic self-portraits" 

Och man kan fortsätta på den inslagna banan om man vill – varför inte be Midjourney göra en tolkning av bilden den nyss genererat,, den till höger? När jag kör "describe" på den blir ett av resultaten blir följande:

AI Winter Variation

Annie + Annie + Annie, ur AI:s synvinkel

En annan intressant Midjourney-funktion som jag då och då experimenterar med är Blend, som går ut på att ladda upp två eller fler bilder och låta programmet kombinera dem. Här är ett exempel, där jag använt följande tre bilder:

Miracles I Carry My Heaven With Me Upside Down 2

... och ett av resultaten blev bilden nedan ... som visserligen är mycket intressant, men som jag nog inte kommer att gå vidare med. Fast man vet ju aldrig ...

  Anniex3

... hursomhelst, min erfarenhet av "Blend" så här långt är att funktionen producerar de mest användbara resultaten om input-bilderna är hyfsat likartade (till skillnad från de tre jag använt ovan).

Annie tolkar AI

Ibland kan AI-verktyget utifrån en prompt generera ett resultat som jag kanske inte vill använda som det är, men som jag blir inspirerad att göra min egen, fotografiska tolkning av. Ett exempel syns nedan, med Midjourneys bild till vänster (på datorn, annars överst) och min tolkning till höger/nederst.

In The Mirror – AIIn The Mirror – Annieverse In The Mirror – Inspired by Midjourney

Midjourney liksom andra AI-bildverktyg utvecklas i en rasande takt, med frekventa uppgraderade versioner och ständigt tillkommande funktioner. Hur det kommer att påverka mitt bildskapande om en månad, ett halvår eller ett år har jag ingen aning om, annat än att jag kommer att fortsätta experimentera ...

Kanske har du missat att jag skrivit ytterligare två inlägg om AI och bildgenerering?

Det ena handlar om hur AI skapar bilder, du hittar det här: Så skapar AI bilder

Det andra handlar om upphovsrätt och användarrättigheter: AI, upphovsrätt och användarrättigheter

Trevlig läsning, och lycka till med dina egna AI-experiment!
 

Den 13 mars 2024 röstade EU-parlamentet igenom den nya EU-förordningen om AI – EU AI Act. Detta kommer att resultera i världens första lag som ska reglera AI och användningen av generativ AI.

Nu ska jag backa bandet lite. I augusti 2022 lämnade programmeraren Jason Allen in verket Théâtre D'opéra Spatial till en konsttävling vid Colorado State Fair i USA. Bilden kammade hem förstapriset i tävlingskategorin digital konst. Detta rönte stor uppmärksamhet och även kritik, inte minst från andra deltagare som anklagade Allen för fusk och plagiarism, och som ansåg att förstaplaceringen var oetisk. Anklagelsen grundade sig i att han framställt verket med AI-bildverktyget Midjourney. Allen å sin sida hävdade att han varit öppen med att hans tävlingsbidrag är genererat med AI. Dessutom hade han, enligt egen utsago, arbetat i cirka 80 timmar för att generera en bild som han var nöjd med. Textprompten fick modifieras åtskilliga gånger, och den genererade bilden bearbetade han dessutom i Photoshop. Tilläggas bör att tävlingsjuryn trots kritiken stått fast vid sitt val av förstapristagare.

Den hisnande snabba utvecklingen av generativ AI ställer upphovsrätten inför helt nya frågeställningar och har resulterat i flera rättsfall de senare året. Dessa rör bland annat följande två viktiga punkter:

• upphovsrättsskyddat material ska ha hämtats från internet för att träna generativa AI-modeller utan att personerna som äger upphovsrätten har godkänt detta
• företag som tillhandahåller tjänster inom AI-bildgenerering och personer som använder deras tjänster anklagas för att göra sig skyldiga till plagiarism, något som också strider mot upphovsrätten.

Flera AI-bildverktyg är ”upplärda” på material (text och bilder) från LAION, en ideell organisation som tillhandahåller dataset, verktyg och modeller för forskning om maskininlärning. Vad LAION tillhandahåller är egentligen inte en databas utan URL-listor till bilder i kombination med texter som är kopplade till bilderna. Det kan bl.a. röra sig om material på Pinterest eller Fine Art America. I främst USA har flera stämningsansökningar lämnats in från konstnärer som hävdar att LAION och AI-företagen som säljer AI-bildgenereringstjänster har använt deras verk utan deras samtycke och därmed inkräktar på deras immateriella rättigheter. Stämningsansökningar har även inkommit från bildbyråer

. Flower PowerEN AI-genererad bild kan vara inspirerad av oändligt många bilder som ligger ute på Internet. Den här bilden är komponerad av flera olika fotografier, dock alla från mitt eget fotoarkiv. Men jag har säkert omedvetet inspirerats av bilder jag sett på internet.

Bildtext: AI-genererade bilder kan hämta inspiration från mängder av bilder som ligger ute på Internet, och flera bildkonstnärer anklagar olika bildgenereringstjänster för kränkning av deras upphovsrätt.  "Flower Power"-bilden ovan har jag komponerat av flera olika fotografier, dock alla från mitt eget fotoarkiv. Men jag har säkert omedvetet inspirerats av bilder jag sett på internet...

Här i Europa prövas nu i vår (detta skrivs i mars 2024) för första gången träning av diffusionsmodeller i domstol. Det är den tyske fotografen Robert Kneschke som har stämt LAION för upphovsrättsintrång, med anledning av att man utan tillstånd använt hans bilder i sitt dataset som används för träning av generativ AI. LAION åberopar existerande upphovsrättsliga undantag som finns och menar att dessa tillåter användningen. Hur domen utfaller kommer sannolikt att påverka kommande mål i andra länder, till exempel Sverige.

När det gäller rättsliga tvister kring själva bildgenereringen är en frågeställning om diffusionsmodellerna när de tränas skapar replikor av existerande, upphovsrättsskyddade verk eller om bilderna som genereras har omvandlats i grunden. Hur domstolarna kommer att döma i pågående och framtida mål är svårt att sia om. I sammanhanget är det dock viktigt att påpeka att upphovsrätten skyddar specifika verk, inte idéer, tankar, stilar eller tekniker.

Vem äger då rättigheterna till bilder som genererats med AI-bildverktyg? Enligt svenska Patent- och registreringsverket kan ingen ha upphovsrätt till en bild som till 100 % är framställd med ett AI-bildverktyg utifrån en prompt. Upphovsrätt kräver att ett verk är skapat av en människa som kunnat göra fria, kreativa val. Det är dock inte helt omöjligt att verk som innehåller AI som en av flera beståndsdelar (t.ex. i kombination med fotografier eller målat material) skulle kunna upphovsrättsskyddat.

De enskilda AI-bildverktygens användarrättigheter skiljer sig åt. De finns i användarvillkoren som man godkänner när man ingår avtal med företaget som tillhandahåller tjänsten, till exempel Stable Diffusion, Midjourney och Dall-E.

Åter till EU AI Act. Denna delar in AI-material i fyra riskklasser, varav generativ AI hamnar i klassen ”Begränsad risk”. Den här typen av system måste informera tydligt om sin karaktär och sitt syfte. Därtill måste slutanvändarna informeras om att de interagerar med AI och kunna välja bort att använda detta. 

Vidare bygger system som använder generativ AI för att generera eller manipulera bilder, ljud eller videor på så kallade ”AI-modeller för allmänna ändamål”. Alla som tillhandahåller de här modellerna måste kunna lämna ut teknisk dokumentation och bruksanvisningar. De måste även efterleva EU:s upphovsrättsdirektiv och publicera en sammanfattning om innehållet som används för att träna modellerna. Företag som utvecklar eller använder AI-system måste tillhandahålla dokumentation som visar att systemen uppfyller kraven i lagen.

När det specifikt gäller innehåll som genereras eller modifieras med AI (bilder, ljud, video, t.ex. deepfakes) måste detta tydligt märkas som AI-genererat.

EU har inrättat den Europeiska AI-byrån (European Artificial Intelligence Office) som bland annat ska övervaka genomförandet och tillämpningen av regler om AI-modeller och AI-system för allmänna ändamål. Vilken svensk myndighet som kommer att få det nationella, övergripande ansvaret för EU AI Act är i skrivande stund inte klart, och hur den nya lagstiftningen ska implementeras konkret samt påverka lagstiftningen i de enskilda europeiska länderna återstår också att se.

Det här är mitt första inlägg i en serie om AI som konstnärligt verktyg.

AI-program som genererar bilder är ett av de verktyg som jag använder för att skapa min konst. De här programmen kallas bland annat även AI-bildgenererare, AI-konstappar, AI-konstplattformar och AI-bildverktyg.

AI-bildverktygen är i grunden mycket enkla att använda. Man matar in en text som beskriver motivet man vill få fram, och så får AI tolka och generera bilder utifrån detta. Beskrivningen – som kallas prompt – kan bestå av några få ord eller vara hur lång och detaljerad som helst. Man kan t.ex. ange önskat bildformat, perspektiv, färgskala, konststil (t.ex. renässansen) och många andra parametrar. 

Här följer ett exempel med två prompter som jag har matat in i AI-bildverktygtet Midjourney (v6) – en kortfattad och en lite mer beskrivande:

1. A squirrel on roller skates at Brandenburger Gate
2. A cute, smiling albino squirrel on roller skates at Brandenburger Gate, wearing i Gucci motorcycle helmet, summer, blue sky, cumulus clouds, 1960’s esthetics, portrait lighting, pastel colors, many details, epic wide shot, surreal mood, award-winning image, flickr

Resultaten:

Midjourney, ekorre 1 Midjourney ekorre 2

Detaljerade prompter och uppladdade bilder är dock ingen garanti för att man får exakt det resultat man önskar sig, vilket framgår om man jämför ekorr-prompt 2 med ekorrbild 2 ovan. AI ”tänker” trots allt (ännu) inte fullt ut som vi människor och har vare sig våra allmänmänskliga eller personliga referensramar. Hur detaljerade prompter vi än tycker att vi skriver är de inte alltid exakta nog för appen helt ska förstå vad vi är ute efter. Jag tror till exempel inte den riktigt begrep ”Gucci motorcycle helmet” i prompt 2.

Att AI:n ibland tycks ha väldigt svårt att förstå mina beskrivningar (även om jag bemödar mig om att vara så tydlig som möjligt) är ibland rejält frustrerande, men det kan också resultera i fascinerande, helt oväntade tolkningar som inte sällan trotsar en eller annan naturlag, eller åtminstone vår mänskliga uppfattning om hur saker och ting bör te sig. För för mig personligen, som dras till det oväntade, det surrealistiska, drömska och inte alltid helt ”naturliga” är det här naturligtvis ofta en charmerande fördel.

Hur blir AI-bilder till?

AI-bildverktyg bygger på maskininlärning. Det är ett område inom artificiell intelligens som handlar om att maskiner själva ”lär sig” att utföra olika uppgifter, utan att man behöver programmera dem specifikt för just dessa uppgifter. Inlärningen sker med hjälp av stora mängder data och algoritmer (systematiska procedurer som i ett antal steg anger hur man löser olika problem). Den ”kunskap” maskinerna tillägnar sig använder de för att göra förutsägelser och ta självständiga beslut.  

När det gäller AI-bildverktyg specifikt lär de sig genom att dela upp enorma mängder bildmaterial (t.ex. målningar, foton och 3D-modeller) och texter (beskrivningar av bilder i textform) i småbitar, hitta mönster i materialet och sedan skapa nya bilder utifrån informationen de har analyserat.

En av modelltyperna som flera välkända AI-bildverktyg bygger på (t.ex. Midjourney, DALL-E 2 och Stable diffusion) kallas diffusionsmodeller. De tränas på att avlägsna brus som lagts till en bild och att fylla tomrummet efter bruset med det som de tror saknas. Först adderar man så mycket brus till en bild att man inte längre kan se vad den föreställer (tänk ”Myrornas krig” på teve). En ”brusindikator” får sedan analysera hur mycket brus som lagts till originalbilden, och bruset avlägsnas därefter i flera steg, varpå modellen via ens prompt fyller på det innehåll som den tror saknas, med syftet att ”hitta tillbaka” till originalbilden. I det här skedet hämtar modellen ”inspiration” från andra bilder som den har tränats på. 

När modellen är ”färdigutbildad” och ska användas som bildverktyg för att generera nya skapelser utgår den från en helt ny bild, som bara innehåller slumpmässigt brus, och en prompt. Den får sedan arbeta med att ta bort bruset och fylla i med detaljer tills den har genererat en bild som den ”tycker” överensstämmer med användarens prompt.

Över till själva prompten: detta är alltså textbeskrivningen av motivet man vill få fram, och den översätts till en kod som modellen använder för att förstå våra mänskliga ord (så kallade textinbäddningar). Med den här tekniken placeras ord tillsammans med andra ord som har liknande betydelser.

Ett exempel på hur det kan fungera: användaren skriver in prompten ”grön katt”. Den delas upp i inbäddningarna ”grön” och ”katt”. Modellen söker genom alla bilder den har tillgång till som innehåller de här inbäddningarna och använder dem som input när den genererar den nya bilden. I varje steg av processen där bruset avlägsnas från bilden avgör ”grön” och ”katt” vilka detaljer som kommer att fylla tomrummet efter det borttagna bruset.

Annie Weibull, mars 2024 (här på bild både med och utan brus)