ARMAR, Assisting Robot: Number 6 Learning

Article within the current edition of the KIT magazine lookKIT on information at the Karlsruhe Institute of Technology, Edition 4/2018. The text was written in English, an excerpt is available in German at the end of the text.

Robots working in factories and warehouses have become commonplace. They perform many jobs there, such as completing consignments, welding, or assembling. However, they usually specialize in one specific job and are separated from human operators by cages or barriers. ARMAR-6, however, can work directly with its human colleagues. The youngest member of the humanoid robot family at KIT is not limited to one particular task, but can learn new tasks, for instance, by observing human workers.

“The robot was developed to support technicians in industrial maintenance and repair jobs,” explains Tamim Asfour, Professor of High-Performance Humanoid Technologies (H2T) at the Institute for Anthropomatics and Robotics. ARMAR-6’s arms, which resemble human limbs, possess versatile abilities which allow providing help to technicians by handing them maintenance tools such as hammers or power drills, or assisting them in other ways. Thanks to machine learning and artificial intelligence methods, ARMAR-6 is able to continuously improve its capabilities based on observation of humans, own experience, and spoken instructions. The robot thus can be deployed in a variety of environments without the need for additional programming, and assist human workers in difficult, strenuous or dangerous jobs.

“The special feature of ARMAR-6 is the ability to understand situations, in particular those in which a technician needs help, and to provide help in a proactive way,” says Tamim Asfour. For instance, if the task is to carry a heavy and/ or bulky object, ARMAR-6 will recognize that help is needed and offer help by proposing to perform the task collaboratively. “In this process, the robot will continuously evaluate the best strategy for support based on different sensor information such as haptics and forces applied on the object, visual scene understanding including human activities as well as understanding natural language dialogs.”

To perform these tasks, four computers handle high-frequency control, motion planning, sophisticated image processing for object and human detection, and natural human-robot interaction. Dedicated on-board hardware provides the computing power for machine learning and artificial intelligence algorithms. ARMAR-6 perceives the environment using five cameras in the head and two laser sensors in the mobile platform. A battery allows completely autonomous, untethered operation. Highly integrated sensor-actor-controller units enable ARMAR-6 to handle objects of more than ten kilograms. Despite this power, torque sensors in each arm joint and intelligent control strategies ensure safety when closely collaborating with humans.

In a live demonstration shown at CEBIT 2018, ARMAR-6 assists a human technician in cleaning an industrial conveyer system. Once the worker indicates the need of a tool, ARMAR-6 autonomously identifies the requested tool and brings it to the technician. When the task is finished, the robot takes the tool back and stows it away.

“Most of the abilities and movements are not programmed,” stresses Asfour. “The robot learned them by observing human demonstrations and is able to transfer this learnt knowledge to new, previously unseen situations”. ARMAR-6 learned by watching how maintenance tasks are carried out by human technicians.

“The abilities of ARMAR-6 can be applied in other application areas,” says Asfour. “This includes household tasks as well as tasks in the healthcare sector.”

Contact: tamim asfour ∂does-not-exist.kit edu

Excerpt in German

Das jüngste Mitglied der ARMAR-Familie erfasst selbstständig Situationen und hilft

Translation: Ralf Friese

Dass Roboter in Fabrik- und Lagerhallen eingesetzt werden, ist inzwischen Alltag. Sie erfüllen dort vielfältige Aufgaben. Doch sind sie meist spezialisiert und arbeiten durch Käfige oder Absperrungen getrennt vom Menschen. ARMAR-6 hingegen kann direkt mit seinen menschlichen Kollegen zusammenarbeiten. Das jüngste Mitglied der am KIT beheimateten Familie humanoider Roboter ist dazu nicht auf eine bestimmte Aufgabe festgelegt, sondern kann durch Beobachtung des Menschen neue Fähigkeiten erlernen, zum Beispiel den Gebrauch neuer Werkzeuge.

„Der Roboter wurde entwickelt, um Techniker bei Wartungs- und Reparaturaufgaben in industriellen Anlagen zu unterstützen“, sagt Tamim Asfour, der die Professur für Hochperformante Humanoide Technologien (H2T) am Institut für Anthropomatik und Robotik innehat. Mit seinen menschlichen Gliedmaßen ähnelnden Armen kann ARMAR-6 seinen Kollegen mit Hammer oder Bohrmaschine buchstäblich zur Hand gehen, ihnen die Gerätschaften anreichen oder auf andere Weise assistieren. Das funktioniert nicht nur mit wenigen vorprogrammierten Arbeitsgeräten, denn dank Methoden des Maschinellen Lernens und Künstlicher Intelligenz ist der Robo-Helfer in der Lage, seine Fähigkeiten kontinuierlich zu verbessern – durch Beobachtung, sprachliche Anweisung oder aus eigener Erfahrung. So kann er ohne zusätzlichen Programmieraufwand in unterschiedlichsten Umgebungen eingesetzt werden und Menschen bei schwierigen oder stark belastenden Arbeiten unterstützen.

Im Roboter befinden sich vier Computer, die mit den entsprechenden Algorithmen für Regelung, Bildverarbeitung und Interaktion sorgen. Sie liefern die Rechenleistung für Maschinelles Lernen und Künstliche Intelligenz. In seiner Umgebung orientiert sich ARMAR-6 mithilfe von fünf Kameras im Kopf und zwei Lasersensoren in seiner mobilen Plattform. Ein Akku ermöglicht den kabellosen und völlig autonomen Betrieb. Drehmomentsensoren in den Armgelenken sorgen dafür, dass er seine Kraft, die es ihm ermöglicht, selbst mit ausgestrecktem Arm ein Gewicht von über zehn Kilogramm anzuheben, so feinfühlig und sicher einsetzt, dass er gefahrlos mit Menschen zusammenarbeiten kann.

„Viele dieser Fähigkeiten und Bewegungen sind nicht einprogrammiert“, betont Asfour. „Der Roboter hat sie durch Beobachtung von Technikern bei der Arbeit gelernt.“ Das funktioniere, indem ARMAR-6 beim Zusehen menschliche Handlungen interpretiert und in generalisierter Form repräsentiert. „Diese werden an neue Situationen adaptiert, ausgeführt und durch die Bewertung von deren Erfolg kontinuierlich verbessert.“

Kontakt: tamim asfour ∂does-not-exist.kit edu