Usando il senso del tatto, una mano robotica può manipolare al buio o in condizioni di illuminazione difficili.
Mano robotica che unisce il senso del tatto avanzato con algoritmi di apprendimento motorio senza basarsi sulla visione per manipolare gli oggetti
Pensa a cosa fai con le mani quando sei a casa la sera a premere i pulsanti sul telecomando della TV o in un ristorante usando tutti i tipi di posate e bicchieri. Queste abilità si basano tutte sul tocco, mentre guardi un programma TV o scegli qualcosa dal menu. Le nostre mani e le nostre dita sono meccanismi incredibilmente abili e altamente sensibili all'avvio.
I ricercatori di robotica hanno cercato a lungo di creare una “vera” destrezza nelle mani dei robot, ma l'obiettivo è stato frustrantemente sfuggente. Le pinze dei robot e le ventose possono prelevare e posizionare gli oggetti, ma compiti più abili come l'assemblaggio, l'inserimento, il riorientamento, l'imballaggio, ecc. sono rimasti nell'ambito della manipolazione umana. Tuttavia, stimolato dai progressi sia nella tecnologia di rilevamento che nelle tecniche di apprendimento automatico per elaborare i dati rilevati, il campo della manipolazione robotica sta cambiando molto rapidamente.
La mano robotica altamente abile funziona anche al buio
I ricercatori della Columbia Engineering hanno dimostrato una mano robotica altamente abile, che combina un senso del tatto avanzato con algoritmi di apprendimento motorio per raggiungere un alto livello di destrezza.
Come dimostrazione di abilità, il team ha scelto un difficile compito di manipolazione: eseguire una rotazione arbitrariamente ampia di un oggetto afferrato dalla forma irregolare mantenendo sempre l'oggetto in una presa stabile e sicura. Questo è un compito molto difficile perché richiede il costante riposizionamento di un sottoinsieme di dita, mentre le altre dita devono mantenere stabile l'oggetto. Non solo la mano è stata in grado di svolgere questo compito, ma lo ha fatto anche senza alcun feedback visivo, basato esclusivamente sul rilevamento del tocco.
Oltre ai nuovi livelli di destrezza, la mano ha funzionato senza telecamere esterne, quindi è immune da illuminazione, occlusione o problemi simili. E il fatto che la mano non faccia affidamento sulla visione per manipolare gli oggetti significa che può farlo in condizioni di illuminazione molto difficili che confonderebbero gli algoritmi basati sulla visione: può persino operare al buio.
«Mentre la nostra dimostrazione riguardava un'attività di prova, intesa a illustrare le capacità della mano, riteniamo che questo livello di destrezza aprirà applicazioni completamente nuove per la manipolazione robotica nel mondo reale», ha affermato il dottor Matei Ciocarlie (1), professore associato presso i Departments of Mechanical Engineering (2) and Computer Science (3). «Alcuni degli usi più immediati potrebbero essere nella logistica e nella movimentazione dei materiali, contribuendo ad alleviare i problemi della catena di approvvigionamento come quelli che hanno afflitto la nostra economia negli ultimi anni, e nella produzione avanzata e nell'assemblaggio nelle fabbriche».
Sfruttando le dita tattili basate sull'ottica
In un lavoro precedente, il gruppo di Ciocarlie ha collaborato con il dottor Ioannis (John) Kymissis (4), professore di ingegneria elettrica, per sviluppare una nuova generazione di dita robot tattili basate sull'ottica (5). Queste sono state le prime dita robotiche a ottenere la localizzazione dei contatti con una precisione inferiore al millimetro, fornendo al tempo stesso una copertura completa di una complessa superficie multi-curva. Inoltre, l'imballaggio compatto e il basso numero di fili delle dita hanno consentito una facile integrazione nelle mani robot complete.
Insegnare alla mano a svolgere compiti complessi
Per questo nuovo lavoro, guidato dal dottor Gagan Khandate, ricercatore del team di Ciocarlie, gli ingegneri hanno progettato e costruito una mano robotica con cinque dita e 15 articolazioni azionate in modo indipendente: ogni dito era dotato della tecnologia di rilevamento del tocco del team. Il passo successivo è stato testare la capacità della mano tattile di eseguire complesse attività di manipolazione. Per fare ciò, hanno utilizzato nuovi metodi per l'apprendimento motorio o la capacità di un robot di apprendere nuovi compiti fisici attraverso la pratica. In particolare, hanno utilizzato un metodo chiamato apprendimento per rinforzo profondo, potenziato con nuovi algoritmi che hanno sviluppato per un'esplorazione efficace di possibili strategie motorie.
Robot ha completato circa un anno di pratica in sole poche ore di tempo reale
L'input per gli algoritmi di apprendimento motorio consisteva esclusivamente nei dati tattili e propriocettivi del team, senza alcuna visione. Utilizzando la simulazione come campo di addestramento, il robot ha completato circa un anno di pratica in sole poche ore di tempo reale, grazie a moderni simulatori fisici e processori altamente paralleli. I ricercatori hanno quindi trasferito questa abilità di manipolazione addestrata nella simulazione alla vera mano del robot, che è stata in grado di raggiungere il livello di destrezza sperato dal team.
Il dottor Matei Ciocarlie ha osservato che «l'obiettivo direzionale per il campo rimane la robotica assistiva in casa, l'ultimo banco di prova per la vera destrezza. In questo studio, abbiamo dimostrato che le mani dei robot possono anche essere molto abili in base al solo rilevamento tattile. Dopo aver aggiunto al mix anche il feedback visivo insieme al tocco».
Obiettivo finale: unire l'intelligenza astratta con l'intelligenza incarnata
In definitiva, ha osservato il professor Ciocarlie, un robot fisico per essere utile nel mondo reale ha bisogno sia di un'intelligenza semantica astratta (per capire concettualmente come funziona il mondo), sia di un'intelligenza incarnata (l'abilità di interagire fisicamente con il mondo). Modelli di linguaggio di grandi dimensioni come GPT-4 di OpenAI o PALM di Google mirano a fornire il primo, mentre la destrezza nella manipolazione ottenuta in questo studio rappresenta progressi complementari nel secondo.
Ad esempio, quando gli viene chiesto come preparare un panino, ChatGPT scriverà un piano passo dopo passo in risposta, ma ci vuole un robot abile per prendere quel piano e realizzare effettivamente il panino. Allo stesso modo, i ricercatori sperano che i robot dotati di abilità fisiche siano in grado di estrarre l'intelligenza semantica dal mondo puramente virtuale di Internet e metterla a frutto in compiti fisici nel mondo reale, forse anche nelle nostre case.
Conference: Robotics: Science and Systems Conference (Daegu, Korea, July 10-14, 2023)
Il titolo dello studio: “Sampling-based Exploration for Reinforcement Learning of Dexterous Manipulation.”
Gli autori sono tutti della Columbia Engineering: Gagan Khandate e Tristan Luca Saidi (Informatica), Siqi Shang, Eric Chang, Johnson Adams e Matei Ciocarlie (Ingegneria meccanica). I sensori tattili sono stati sviluppati in collaborazione con Ioannis Kymissis (Ingegneria elettrica).
Questo lavoro è stato sostenuto in parte dall'Office of Naval Research grant N00014-21-1-4010 e dalla National Science Foundation grant CMMI-2037101.
Gli autori non dichiarano conflitti di interessi finanziari o di altro tipo.
Riferimenti:
(1) Matei Ciocarlie
(2) Department of Mechanical Engineering, Columbia University
(3) Department of Computer Science, Columbia University
(5) A Tactile Robot Finger With No Blind Spots
Descrizione foto: Usando il senso del tatto, una mano robotica può manipolare al buio o in condizioni di illuminazione difficili. - Credit: Columbia University ROAM Lab.
Autore traduzione riassuntiva e adattamento linguistico: Edoardo Capuano / Articolo originale: Highly Dexterous Robot Hand Can Operate in the Dark — Just Like Us