В научно-исследовательском институте Toyota (TRI) использовали генеративный ИИ, чтобы научить робота манипуляциям по приготовлению завтрака. При этом исследователям не потребовалось сотен часов кодирования и исправления ошибок. Они оснастили робота сенсорными датчиками, дав «осязание», подключили к системе ИИ и показали, что надо делать. Именно осязание дает устройству необходимую информацию, что позволяет эффективно выполнять поставленные задачи.
Бен Бурчфил, сотрудник лаборатории: «Это невероятно — видеть, как робот взаимодействует с тем, что его окружает. Сначала «учитель» демонстрирует набор движений, а затем, в течение нескольких часов, робот обучается им в фоновом режиме. Мы обучаем роботов во второй половине дня, чтобы обработка информации происходила ночью, а утром мы уже могли видеть новые освоенные навыки».
Исследователи говорят, что они пытаются создать «большие модели поведения» или LBM, как большие языковые модели (LLM), когда система обучается видя закономерности в тексте. Так и LBM сначала наблюдают, а затем обобщают полученный опыт и получают в результате новый навык, которому его не учили.
Используя эту систему, исследователи уже обучили роботов более 60 сложным манипуляциям, таким как наливание жидкостей, использование приборов и работа с деформируемыми объектами. В планах исследователей до конца 2024 года увеличение числа освоенных манипуляций до 1000.
Конечно, подобные роботы на наших кухнях вряд ли появятся в ближайшее время (в отличие от роботов на предприятиях), однако данные разработки все активнее используются компаниями. Например, в том же направлении двигается Google, работая с ИИ-моделью RT-2 (Robotics Transformer 2), которая использует полученный опыт для освоения новых умений, а также Tesla в работе с TeslaBot.