Si chiama FRIDA il braccio robotico con un pennello attaccato ad esso, che utilizza l'intelligenza artificiale per collaborare con gli esseri umani con lo scopo di dipingere opere d'arte
Il Robotics Institute della Carnegie Mellon University (1) ha un nuovo artista residente. Si chiama FRIDA (2) il braccio robotico con un pennello attaccato ad esso, che utilizza l'intelligenza artificiale per collaborare con gli esseri umani su opere d'arte. Chiedi a FRIDA di dipingere un quadro e si mette al lavoro mettendo il pennello sulla tela.
«C'è questo dipinto di una rana ballerina che penso sia venuto davvero bene», ha detto il dottor Peter Schaldenbrand (3), Ph.D. alla School of Computer Science e studente presso l'Istituto di Robotica che lavora con FRIDA ed esplora l'intelligenza artificiale e la creatività. «È davvero sciocco e divertente, e penso che la sorpresa di ciò che FRIDA ha generato in base al mio contributo sia stata davvero divertente da vedere».
FRIDA, dal nome di Frida Kahlo, sta per Framework and Robotics Initiative for Developing Arts. Il progetto è guidato da Schaldenbrand con i membri della facoltà del RI Jean Oh e Jim McCann e ha attirato studenti e ricercatori in tutta la Carnegie Mellon University.
Gli utenti possono dirigere FRIDA inserendo una descrizione testuale, inviando altre opere d'arte per ispirarne lo stile o caricando una fotografia e chiedendogli di dipingerne una rappresentazione. Il team sta sperimentando anche altri input, incluso l'audio. Hanno suonato “Dancing Queen” degli ABBA e hanno chiesto a FRIDA di dipingerla.
«FRIDA è un sistema di verniciatura robotico, ma FRIDA non è un artista», ha affermato Schaldenbrand. «FRIDA non sta generando le idee per comunicare. FRIDA è un sistema con cui un artista potrebbe collaborare. L'artista può specificare obiettivi di alto livello per FRIDA e quindi FRIDA può eseguirli».
Il robot utilizza modelli di intelligenza artificiale simili a quelli che alimentano strumenti come ChatGPT e DALL-E 2 di OpenAI, che generano rispettivamente testo o un'immagine in risposta a un prompt. FRIDA simula il modo in cui dipingerebbe un'immagine con pennellate e utilizza l'apprendimento automatico per valutarne l'avanzamento mentre funziona.
I prodotti finali di FRIDA sono impressionistici e stravaganti. Le pennellate sono audaci. Mancano della precisione ricercata così spesso negli sforzi robotici. Se FRIDA commette un errore, ci si rifà sopra, incorporando la macchia di vernice errante nel risultato finale.
«FRIDA è un progetto che esplora l'intersezione tra creatività umana e robotica», ha affermato McCann. «FRIDA sta utilizzando il tipo di modelli di intelligenza artificiale che sono stati sviluppati per fare cose come le immagini di didascalie e comprendere il contenuto della scena e applicarlo a questo problema artistico generativo».
FRIDA attinge più volte all'intelligenza artificiale e all'apprendimento automatico durante il suo processo artistico. Per prima cosa, impiega un'ora o più per imparare a usare il suo pennello. Quindi, utilizza grandi modelli di linguaggio visivo addestrati su enormi set di dati che accoppiano testo e immagini prelevati da Internet, come Contrastive Language-Image Pre-Training (CLIP) (4) di OpenAI, per comprendere l'input. I sistemi di intelligenza artificiale utilizzano questi modelli per generare nuovo testo o immagini in base a un prompt.
Altri strumenti di generazione di immagini, come DALL-E 2 di OpenAI, utilizzano grandi modelli di linguaggio visivo per produrre immagini digitali. FRIDA fa un ulteriore passo avanti e utilizza il suo sistema robotico incorporato per produrre dipinti fisici. Una delle maggiori sfide tecniche nella produzione di un'immagine fisica è ridurre il divario tra simulazione e realtà, la differenza tra ciò che FRIDA compone nella simulazione e ciò che dipinge sulla tela. FRIDA utilizza un'idea nota come real2sim2real. Le effettive pennellate del robot vengono utilizzate per addestrare il simulatore a riflettere e imitare le capacità fisiche del robot e dei materiali di verniciatura.
Il team di FRIDA cerca anche di affrontare alcune delle limitazioni negli attuali grandi modelli di linguaggio visivo perfezionando continuamente quelli che usano. Il team ha fornito ai modelli i titoli degli articoli di notizie per dargli un'idea di ciò che stava accadendo nel mondo e li ha ulteriormente addestrati su immagini e testi più rappresentativi delle diverse culture per evitare un pregiudizio americano o occidentale (5). Questo sforzo di collaborazione multiculturale è guidato da Zhixuan Liu e Beverley-Claire Okogwu, studenti del primo anno del master del RI, e Youeun Shin e Youngsik Yun, studenti del master in visita dall'Università di Dongguk in Corea. I loro sforzi includono contributi di dati sulla formazione da Cina, Giappone, Corea, Messico, Nigeria, Norvegia, Vietnam e altri paesi.
Una volta che l'utente umano di FRIDA ha specificato un concetto di alto livello del dipinto che desidera creare, il robot utilizza l'apprendimento automatico per creare la sua simulazione e sviluppare un piano per realizzare un dipinto per raggiungere gli obiettivi dell'utente. FRIDA mostra una tavolozza di colori sullo schermo di un computer che un essere umano può mescolare e fornire al robot. La miscelazione automatica della vernice è attualmente in fase di sviluppo, guidata da Jiaying Wei, uno studente di master presso la School of Architecture (6), con Eunsu Kang, docente del Machine Learning Department. (7)
Armata di pennello e vernice, FRIDA farà le sue prime pennellate. Ogni tanto, il robot utilizza una telecamera dall'alto per catturare un'immagine del dipinto. L'immagine aiuta FRIDA a valutare i suoi progressi e a perfezionare il suo piano, se necessario. L'intero processo richiede ore.
«La gente si chiede se FRIDA accetterà il lavoro degli artisti, ma l'obiettivo principale del progetto FRIDA è esattamente l'opposto. Vogliamo davvero promuovere la creatività umana attraverso FRIDA», ha detto la dottoressa Jean Hyaejin Oh. «Ad esempio, personalmente volevo essere un artista. Ora posso effettivamente collaborare con FRIDA per esprimere le mie idee nella pittura».
Riferimenti:
(1) The Robotics Institute Carnegie Mellon University
(2) FRIDA
(4) Contrastive Language-Image Pre-Training (CLIP)
(6) CMU School of Architecture
(7) Machine Learning Department
(8) Jean Hyaejin Oh
Descrizione foto: FRIDA, un progetto artistico e robotico collaborativo presso il Robotics Institute della Carnegie Mellon University, lavora su un dipinto. / Una collezione di dipinti completata da FRIDA, un progetto artistico e di robotica collaborativo presso il Robotics Institute della Carnegie Mellon University. - Credit: Carnegie Mellon University.
Autore traduzione riassuntiva e adattamento linguistico: Edoardo Capuano / Articolo originale: Carnegie Mellon's AI-Powered FRIDA Robot Collaborates With Humans To Create Art