In einem Artikel, der am 23. Februar 2022 in veröffentlicht wurde Die Intelligenz natürlicher Maschinenstellt ein Team von Wissenschaftlern des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) einen leistungsstarken und flexiblen haptischen Sensor namens „Insight“ vor, der mithilfe von Computer Vision und einem tiefen neuronalen Netzwerk genau abschätzt, wo Objekte mit dem Sensor in Kontakt kommen und wie groß die aufgebrachten Kräfte sind. Das Forschungsprojekt ist ein wichtiger Schritt hin zu Robotern, die ihre Umwelt genauso genau wahrnehmen können wie Menschen und Tiere. Wie sein normales Gegenstück ist der Fingerspitzensensor hochempfindlich, leistungsstark und hochpräzise.
Der daumenförmige Sensor besteht aus einem flexiblen Gehäuse, das um ein leichtes starres Skelett herum aufgebaut ist. Dieses Skelett hält die Struktur aufrecht, so wie die Knochen die Weichteile der Finger stabilisieren. Die Schale besteht aus einem flexiblen Material, das mit einer dunklen, aber reflektierenden Aluminiumfolie gemischt ist, was zu einem undurchsichtigen Grau führt, das verhindert, dass Licht von außen eindringt. In diesem fingergroßen Gehäuse verbirgt sich eine kleine 160-Grad-Fisheye-Kamera, die Farbaufnahmen aufnimmt, die von einem Ring aus LEDs beleuchtet werden.
Wenn ein Objekt das Sensorgehäuse berührt, ändert sich das Erscheinungsbild des Farbmusters im Inneren des Sensors. Die Kamera nimmt mehrmals pro Sekunde Bilder auf und speist diese Daten in ein tiefes neuronales Netzwerk ein. Der Algorithmus erkennt selbst kleinste Lichtveränderungen in jedem Pixel. In Sekundenbruchteilen kann ein trainiertes maschinelles Lernmodell genau bestimmen, wo ein Finger ein Objekt berührt, die Größe der Kräfte bestimmen und die Richtung der Kraft angeben. Das Modell leitet sich von dem ab, was Wissenschaftler eine Kraftkarte nennen: Es liefert einen Kraftvektor für jeden Fingerspitzenpunkt in drei Dimensionen.
„Wir haben diese hervorragende Erkennungsleistung dank eines innovativen mechanischen Designs des Gehäuses, eines maßgeschneiderten Bildgebungssystems im Inneren, einer automatischen Datenerfassung und modernstem Deep Learning erreicht“, sagt George Martius, Präsident der Max-Planck-Forschungsgruppe bei MPI-IS, wo er die Selbstlerngruppe leitet. Promotion. Student Huanpo Sun fügt hinzu: “Unsere einzigartige Hybridstruktur aus einer weichen Hülle, die ein hartes Skelett umgibt, gewährleistet eine hohe Empfindlichkeit und Haltbarkeit. Unsere Kamera kann die geringste Oberflächenverzerrung in einem einzigen Bild erkennen. Tatsächlich stellten die Forscher beim Testen des Sensors fest, dass dies der Fall war.” empfindlich genug, um seine Ausrichtung zu spüren.
Dritte im Team ist Katherine J. Kuchenbecker, Direktorin der Abteilung Haptische Intelligenz am MPI-IS. Sie versichert, dass der neue Sensor nützlich sein wird: „Frühere weiche taktile Sensoren hatten nur kleine Erfassungsbereiche, waren empfindlich und schwierig herzustellen und spürten oft nicht die Kräfte parallel zur Haut, die für Robotermanipulationen wie das Halten von Glas erforderlich sind aus dem Wasser holen oder eine Münze auf den Tisch ziehen“, sagt Kuchenbecker.
Aber wie lernt dieser Sensor? Huanbo Sun entwarf eine Testbasis, um die Trainingsdaten zu generieren, die für das maschinelle Lernmodell benötigt werden, um die Korrelation zwischen der Änderung des Rohbildpixels und den aufgebrachten Kräften zu verstehen. Der Prüfstand tastet den Sensor vollflächig ab und erfasst den wahren Kontaktkraftvektor mit dem Kamerabild im Inneren des Sensors. Auf diese Weise wurden ca. 200.000 Messwerte generiert. Die Datenerfassung dauerte ungefähr drei Wochen und einen weiteren Tag, um das maschinelle Lernmodell zu trainieren. Das Überleben dieses langen Versuchs mit vielen verschiedenen Kontaktkräften demonstrierte die Stärke des mechanischen Designs von Insight, und Tests mit einer größeren Sonde demonstrierten die Reichweite des Erkennungssystems.
Eine weitere Besonderheit des daumenförmigen Sensors ist, dass er einen nagelförmigen Bereich mit einer dünnen Schicht aus synthetischem Gummi besitzt. Dieser taktile Klick wurde entwickelt, um selbst die subtilen Kräfte und Formen detaillierter Objekte zu erkennen. Für diesen hochsensiblen Bereich wählten die Wissenschaftler eine Dicke von 1,2 mm Elastomer statt der 4 mm, die sie für den Rest des Fingersensors verwendeten.
“Das Hardware- und Softwaredesign, das wir in unsere Arbeit einführen, kann auf eine Vielzahl von Roboterteilen mit unterschiedlichen Formen und Präzisionsanforderungen übertragen werden. Die Architektur des maschinellen Lernens, das Training und der Inferenzprozess sind alle generisch und können auf viele andere Sensordesigns angewendet werden. “ schließt Huanbo Sun ab.
Video: https://youtu.be/lTAJwcZopAA
Geschichte Quelle:
Material zur Verfügung gestellt von Max-Planck-Institut für Intelligente Systeme. Hinweis: Inhalt kann je nach Stil und Länge geändert werden.