Bekijk profielpagina

Text to image - Super Vision #14

Text to image - Super Vision #14
Door Laurens Vreekamp • Editie #14 • Bekijk online
Hi 👋 lezer,
In deze nieuwsbrief zet ik een aantal nieuwe gereedschappen op een rij waarmee je als ontwerper en schrijver beelden genereert puur en alleen op basis van tekst. Met deze tools en technieken kun je:
  • AI als assistent of inspiratiebron aan het werk zetten,
  • Oneindig veel collages en illustraties maken
  • Je visuele onderzoek verrijken op een totaal nieuwe manier.
Waar heb je het dan over, Laurens?
AI-toepassingen die beelden genereren op basis van tekstuele input, worden text-to-image (TTI) genoemd. (Wellicht ken je DALL-E al, maar die is helaas niet opengesteld om zelf te gebruiken.)
Er is ondertussen, ooit begonnen als subreddit, een heel fenomeen om TTI heen ontstaan dat ‘prompt engineering’ heet: op zoveel mogelijk manieren proberen je tekstuele invoer zo te verfijnen dat de AI het door jou gewenste beeld genereert.
(Note: dit gissen heeft waarschijnlijk vooral te maken met het feit dat ondoorzichtig is met welke visuele data de onderliggende AI is getraind.)
AI designer Nadia Piet legde me afgelopen week uit wat ze leerde van anderen die ook met TTI experimenteren:
Als je ‘unreal’ toevoegt, blijk je meer gepolijste 3D-beelden te krijgen, en type je ‘8bit’ dan krijg je meer die lo-fi aesthetic.
Je moet volgens Nadia dan ook een beetje omgekeerd leren denken en werken. De kunst wordt om te bedenken welke woorden je erin moet stoppen om er ongeveer dat uit te krijgen wat je zoekt. Hoe wil je precies die zonsondergang in de stad met op de voorgrond twee fietsers hebben?
Mand? Doe!
Dit is verder een echte doe-brief. Ik ga niet veel meer zeggen over text-to-image AI; je moet het vooral zelf uitproberen! Dat is ook wat ik de afgelopen week heb gedaan, en ik vond het waanzinnig interessant. Ik heb tools voor je die direct werken, die eenvoudig, simpel en soms ook beperkt zijn. Er is er een die qua interface wat geduld vergt maar heel veel mogelijkheden heeft. En, voor de diehards hier, deel ik een stuk code waarmee je zelf aan de slag kunt.
Welke tool je ook kiest, bereid je voor op een aantal goed bestede doch verloren uurtjes 😉 #thatshowyoulearn
S/O'tje
Even nog een shout-out naar vier ‘vrienden van de brief’: zonder de tips van lezers Rolf, Nadia, Casper en Jeroen had ik deze editie niet kunnen maken. Many thanks 👏🏼 En, oproep aan jou: tip me!
Lieve lezer, vele uren happy prompt engineering toegewenst! Tot volgende week. Dan behandel ik ‘Adversarial AI’… denk ik.
Ps. check de twee live events bij ‘Further Attending’ aan het einde.

Tell, then show: text-to-image
Hier zie je het resultaat van een van mijn eerste experimenten met text-to-image AI. Ik typte bij Night Cafe de volgende tekst in het invoerveld:
sheep dancing on a volcano
Text-to-image generatie met Nightcafe: 'sheep dancing on a volcano'
Text-to-image generatie met Nightcafe: 'sheep dancing on a volcano'
Khroma - The AI color tool for designers
Vervolgens ‘gooide’ ik de Night Cafe creatie in Khroma, dat o.a. beelden (kleuren, kleurvlakken en gradients) genereert door conceptuele namen van kleuren te verzinnen in het invoerveld:
Khroma genereert gradients op basis van zelfbedachte kleurnamen
Khroma genereert gradients op basis van zelfbedachte kleurnamen
Replicate.ai van Mehdi Cherti
Nadat ik wat gespeeld had met Night Cafe en Khroma, ontdekte ik the original AI achter text-to-image: VQGAN-CLIP. Ik typte bij de tool van Cherti in het ‘prompt’-veld wat dingen in, zoals
nike coca-cola en nrc volkskrant.
Dat leverde dit op:
nike coca-cola
nike coca-cola
nrc volkskrant
nrc volkskrant
Vlaamse eilanden maken met GauGan2
'Flemish Island' - Text-to-image met GauGan2
'Flemish Island' - Text-to-image met GauGan2
Het beeld hierboven is gegenereerd door GauGAN2 - de tool met die pittige interface. Vier tips voordat je ‘m gaat gebruiken:
  1. Open GauGAN2 op je desk- of laptop.
  2. Bekijk eerst de video-tutorial (linkje rechtsboven).
  3. Cookie-settings? Helemaal linksonder!
  4. Druk niet op 'Enter’! Je moet dat dobbelsteen-icoon hebben.
Het is even puzzelen, maar dan: uren plezier!
Text-to-image met NeuralBlender
Probeer ook NeuralBlender (vergelijkbaar met Night Cafe).
'A road cyclist looking at birds' - Text-to-image met NeuralBlender
'A road cyclist looking at birds' - Text-to-image met NeuralBlender
Onder de motorkap
Voor de diehard die eens met the actual code wil spelen of degene die gewoon eens onder een AI-motorkap wil kijken:
Beeldbewerking met AI
Mocht je klaar zijn met tekst, dan heb ik hier nog drie AI-powered tools om beeld mee te bewerken:
StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
ArtBreeder
Final thought
Jeroen Disch tipt in zijn jongste Halfvet-nieuwsbrief een artikel van IBM’s AI designer Jessica Rae Vergara over creatieve machines. Ik vind vooral de laatste twee alinea’s spot on:
Machines weren’t supposed to be creative, but now we’re teaching them to write the next Avatar, paint the next DaVinci, or produce the next Hey Jude. AI is a tool. It is another pen, another paintbrush, another instrument. We want to find the right balance between machines and humans. […]
As an AI designer, I see AI as a way to build better experiences. When I see work solely created by AI, I don’t see any innovation. When I see humans and machines working together, I see a symbiosis and a glimpse of what the future of art and design can be.
✅ Dat was’ m weer.
Further attending:
2+3 dec. JournalismAI Festival 2021
Vond je deze editie leuk?
Laurens Vreekamp

Iedere donderdagochtend schrijf ik over één thema, techniek of tool die je -hopelijk- inspireert en helpt machine learning & AI beter te begrijpen en toe te passen in je werk. (Geen kennis van programmeren, wiskunde of statistiek vereist!)

Je vindt dit en meer in het boek The Art of AI ( www.artofai.nl ) - een praktische introductie in machine learning voor mediamakers. Hierin zijn technieken, tools en thema’s rondom creatieve AI-toepassingen gebundeld, komen 12 creatieve AI-pioniers uit Nederland en Vlaanderen aan het woord en delen we stappenplannen en tips om zelf te beginnen met AI.

Klik hier om je uit te schrijven.
Als deze nieuwsbrief doorgestuurd is en je wilt je aanmelden, klik dan hier.
Gemaakt door Laurens Vreekamp met Revue.
Laurens Vreekamp, Amsterdam, Nederland