Inżynierowie z MIT nauczyli roboty tworzyć obiekty na żądanie. Po zwykłym poleceniu głosowym

Spis treści:

1. Zrób mi krzesło
2. Algorytm budowy przedmiotu
3. Tworzenie na żądanie

Generatywna sztuczna inteligencja oraz robotyka nieustannie przybliżają nas do dnia, w którym będziemy mogli poprosić o dowolny obiekt i mieć go w ciągu kilku minut. Oczywiście drukarki 3D, niekoniecznie powiązane z systemami SI, są powszechnie używane nie tylko w pracowniach inżynieryjnych, ale też w szkołach i mieszkaniach. Pozwalają nawet budować całe domy, a możliwości ich zastosowań wciąż rosną. Mamy też łatwy dostęp do wszelkiego rodzaju opartych na SI programów graficznych generujących obrazy i filmy jedynie na podstawie opisu słownego. Ale to, czego udało się dokonać inżynierom MIT, wykracza poza wszystko, z czym się do tej pory zetknęliśmy.

Zbuduj mi krzesło

Specjaliści MIT opracowali system „speech-to-reality”, który łączy SI z robotyką i pozwala przekazywać polecenia robotycznemu ramieniu po prostu poprzez ich wypowiedzenie. Ramię potrzebuje zaledwie kilku minut, by stworzyć żądany obiekt. Do tej pory badacze zbudowali w ten sposób stołki, półki, krzesła, niewielki stolik, a nawet dekoracje takie jak statuetka psa.

– Łączymy przetwarzanie języka naturalnego, generatywną SI 3D oraz robotyczny montaż. Do tej pory nie udało się zintegrować tych dziedzin, by móc tworzyć fizyczne obiekty na podstawie poleceń głosowych. Jednak należy zaznaczyć, że ten obszar badań szybko się rozwija — powiedział Alexander Htet Kyaw, doktorant MIT oraz stypendysta Morningside Academy for Design (MAD).

To właśnie Alexander Htet Kyaw stoi za pomysłem systemu, którego idea przyszła mu do głowy podczas kursu profesora Neila Gershenfelda „Jak zrobić prawie wszystko”. Właśnie w ramach tego kursu Kyaw zbudował pierwszy prototyp systemu „speech-to-reality”.

Algorytm budowy przedmiotu

Proces tworzenia rozpoczyna się od rozpoznania mowy. System przetwarza polecenie użytkownika z pomocą dużego modelu językowego w typie ChatGPT. Następnie generatywna SI 3D tworzy cyfrową reprezentację obiektu w postaci siatki, a algorytm wokselizacji rozkłada tę siatkę na elementy montażowe. Kolejnym krokiem jest przetwarzanie geometryczne, które modyfikuje wygenerowany przez SI projekt, uwzględniając ograniczenia związane z możliwościami ramienia i fizyką. Na tej podstawie tworzy się algorytm budowy przedmiotu, czyli kolejność montażu i konieczne ruchy robotycznego ramienia.

Dlaczego jest to przełom? Ponieważ dzięki „speech-to-reality” odpada konieczność uczenia się modelowania 3D oraz programowania robotów. Z systemów tego typu będą mogły korzystać nawet osoby bez doświadczenia technicznego.

Tworzenie na żądanie

– Zbudowaliśmy coś w rodzaju interfejsu łączącego ludzi, sztuczną inteligencję i roboty. Interfejs pozwalający realnie współtworzyć otaczający nas świat. To krok do rzeczywistości jak z filmów science fiction, w którym mówisz: chcę krzesło, a ono po kilku minutach materializuje się przed tobą — mówi Kyaw.

Do tej pory do budowania „wypowiedzianych przedmiotów” zespół używał modułów magnetycznych. Jednak zamierza poszerzyć wachlarz modułów o znacznie solidniejsze rozwiązania. Zespół opracował również pipeline’y umożliwiające przekształcanie struktur wokselowych w wykonalne sekwencje montażowe dla niewielkich, rozproszonych robotów mobilnych, co może pomóc w skalowaniu tej technologii do struktur dowolnej wielkości.
Celem zastosowania modułowych komponentów jest wyeliminowanie odpadów powstających przy produkcji obiektów fizycznych – można je rozmontować i złożyć jako coś innego, np. przekształcić sofę w łóżko, kiedy sofa przestanie być potrzebna.

– Dążę do przyszłości, w której istota materii znajdzie się naprawdę pod ludzką kontrolą. Do świata, w którym rzeczywistość można wytworzyć na żądanie – podsumowuje naukowiec.

Źródło: techxplore.com

Nasza autorka

Ewelina Zambrzycka-Kościelnicka

Dziennikarka i redaktorka zajmująca się tematyką popularnonaukową. Związana z magazynami portali Gazeta.pl oraz Wp.pl. Współautorka książek „Człowiek istota kosmiczna”, „Kosmiczne wyzwania” i „Odważ się robić wielkie rzeczy”.