System pomaga robotom skupić się na tym, co ważne, używając dźwięków i obrazów, aby odgadnąć ludzkie cele i zapewnić odpowiednią pomoc szybko i bezpiecznie.
Roboty są trudne do zrozumienia świata rzeczywistego.MIT stworzył system zwany „znaczeniem”, aby pomóc robotom skupić się na tym, co ważne.Wykorzystuje dźwięki i obrazy, aby zgadnąć, czego chce osoba, i szybko oferuje pomoc.
Zespół przetestował go z bufetem śniadaniowym.Robot, używając aparatu i mikrofonu, wręczył ludziom kawę, oglądając i słuchając.Odgadło to, że cele w 90%, wybrało odpowiednie obiekty w 96% przypadków i miał 60% mniej wypadków.
Znalezienie ostrości
Zespół zbudował robota, który działa jak RAS mózgu, pomagając skupić się na ważnych rzeczach i ignorowanie reszty.Po pierwsze, robot obserwuje i słucha za pomocą aparatu i mikrofonu, wysyłając to, co widzi i słyszy do sztucznej inteligencji, która znajduje ludzi, obiekty, działania i słowa kluczowe.Po drugie, sprawdza, czy dzieje się coś ważnego, jak osoba wchodząca do pokoju.Jeśli widzi osobę, rozpoczyna się trzeci krok: robot wymyśla, czego osoba chce, i znajduje odpowiednie przedmioty, które pomogą, takie jak zbieranie filiżanek i śmietany zamiast owoców i przekąsek.
Tryb pomocniczy
Naukowcy przetestowali swój nowy system z eksperymentami, które symulowały bufet śniadaniowy.Wybrali tę konfigurację ze względu na publicznie dostępny zestaw danych dotyczących działań śniadaniowych, który zawiera filmy i zdjęcia przedstawiające wspólne zajęcia śniadaniowe, takie jak robienie kawy, naleśniki do gotowania, tworzenie płatków i jajka do smażenia.Każde wideo i obraz są oznaczone konkretną akcją i ogólnym celem, takim jak „Robienie kawy” lub „jajka smażenia”.
Korzystając z tego zestawu danych, zespół trenował i przetestował różne algorytmy w swoim zestawie AI, aby rozpoznać ludzkie działania, ustalić cel osoby i identyfikować obiekty potrzebne do pomocy.W swoich eksperymentach ustawili robotyczne ramię i chwytak, a następnie poprosili robota o pomoc ludziom, którzy zbliżali się do stołu wypełnionego napojami, przekąskami i zastawy stołowej.Kiedy nikogo nie było, sztuczna inteligencja robota cicho działała w tle, etykietując i klasyfikując obiekty na stole.Ale kiedy wykryto człowieka, robot natychmiast przeszedł na fazę trafności, szybko znajdując obiekty, które najlepiej pomogłyby osobie na podstawie tego, co AI przewidywało ich cel.
