Wie KI dank TinyML verbundene Objekte übernimmt


Eine neue Schule des maschinellen Lernens wurde geboren, um KI-Modelle an das Internet der Dinge und kleine Geräte anzupassen.

Es ist nicht einfach, Modelle für maschinelles Lernen (ML) für IoT-Geräte zu erstellen. Die Sicherstellung der Portabilität bei Ultra-Low-Power-Kraftwerken umfasst die Optimierung sowohl des Gewichts als auch der Verfügbarkeitsleistung. Angesichts dieser Herausforderung wurde ein neuer Ansatz für maschinelles Lernen geboren. Es heißt TinyML und zielt darauf ab, ML-Modelle an kleine Geräte anzupassen. TinyML ist auch der Name der Organisation, die diesen Ansatz fördert. Sein Präsident, Yevgeny Gusev, Director of Engineering bei Qualcomm, ist auch einer seiner Gründer.

TinyML gilt in erster Linie für Deep Learning und seine künstlichen neuronalen Netze, deren Größe tendenziell explodiert, um an Genauigkeit zu gewinnen. “Das Prinzip von TinyML besteht darin, künstliche neuronale Netze zu entwerfen, die auf Hochleistungsservern trainiert werden, um sie auf Maschinen mit wenig Speicher und geringer Rechenleistung einzusetzen. Sie sind im Gegensatz zu Computern physisch oft nicht sehr modular aufgebaut. “, erklärt Manuel Capel, Chief Technology Officer von Parcoor, einem Experten für IoT-Sicherheit eines französischen Unternehmens.

Druckmodelle

Um die Größe eines neuronalen Netzwerks zu reduzieren, existieren mehrere Techniken. Das Pruning besteht beispielsweise darin, Knoten aus dem Netzwerk zu entfernen, deren Gewicht niedrig oder null ist. „Wir können 10 %, 20 % oder mehr entfernen“, sagt Carlos Hernandez-Vaquero, Direktor des datengesteuerten SW-Programms bei Bosch und Leiter der TinyML-Community in Deutschland. Ein anderes Verfahren: Fließkommaquantisierung, die darin besteht, Netzwerkknoten auf weniger Bits zu codieren, zB auf 8 Bits anstelle von 32 oder 64 Bits. Letztendlich wird das Gitter je nach Ausgangsgröße um den Faktor 10 bis 1000 aufgehellt, um einen relativ geringen Auflösungsunterschied zu erzielen (siehe Inference Tiny Benchmark v0.5).

Carlos warnt vor Hernández-Vaquero, dass “es auch möglich ist, die Größe eines neuronalen Netzes zu reduzieren, indem man seine Architektur ändert, insbesondere durch Reduzierung der Anzahl der Schichten und Knoten. Aber das zu erreichen ist deutlich komplexer, weil man bei Null anfangen muss”. fügt hinzu: „Außerdem: Der Software-Ansatz, es gibt auch Hardware-Optimierungstechniken, die den Einsatz von Prozessoren beinhalten, um neuronale Netze zu beschleunigen, oder einen Beschleuniger für neuronale Netze, der eine viel schnellere Verarbeitung ermöglicht als ein einfacher Mikrocontroller.“ An Bereich, in dem die Forschung sehr aktiv ist.

„Amazon Echo und Google Nest sind hervorragende Beispiele für TinyML-Apps“

Für das Internet der Dinge stehen große Deep-Learning-Bibliotheken zur Verfügung. In Bezug auf TensorFlow ist es TensorFlow Lite. Ein Framework, das Lernmodelle für das Fahren auf Smartphones oder eingebetteten Systemen wie dem Rassberry Py optimiert. Terminals, die in einigen Fällen mit einer GPU oder sogar einer NPU-Grafikkarte (Neural Processing Unit) ausgestattet werden können. Für Mikrocontroller, die auf eine CPU und eine Mindestmenge an Arbeitsspeicher beschränkt sind, komprimieren TensorFlow Lite-Mikrocontroller Modelle, damit sie zu diesem Gerätetyp passen. Carlos Hernandez-Vaquero erklärt, dass „es sich jedoch auf Maulkörbe beschränkt und keine Beschneidung durchführt“.

Pytorch bietet Pytorch Mobile an. Labneh zielt auf Android-, iOS- und Linux-Systeme ab. Wie TensorFlow Lite basiert es auf Quantisierung. Zu den von den befragten Experten erwähnten TinyML-Frameworks gehört Apache TVM. Ein Open-Source-Framework zum Kompilieren von ML-Modellen für verschiedene Arten von Inferenzkonfigurationen (CPU, GPU, NPU…).

Viele Start-ups nutzen diese verschiedenen Open-Source-Technologien oft, positionieren sich im TinyML-Sektor und bieten gebündeltere oder spezialisiertere Lösungen an, um Modelle für das Internet der Dinge anzupassen. Darunter CartasianAI, Edge Impulse, OctoML und sensiML. Aber auch CocoPie, FogHorn oder Neural Magic.

Von Predictive Maintenance bis Medtech

In welchen Regionen wird TinyML bereitgestellt? Carlos Hernandez-Vaquero erklärt: „Amazon Echo und Google Nest sind hervorragende Anwendungsbeispiele. Diese Kopfhörer integrieren ein vektorisiertes neuronales Netz zur Spracherkennung, das kontinuierlich vor Ort läuft und mit der Cloud kommuniziert, die ihnen die passende Antwort zurückgibt.“ „Einfacher gesagt kann ein Mikrocontroller, der in eine angeschlossene Glühbirne eingebaut ist, Sprachbefehle übernehmen, um die Glühbirne dank eines kleinen eingebetteten neuronalen Netzwerks ein- oder auszuschalten“, fügt Manuel Capel hinzu. Weitere Einsatzgebiete von TinyML: Bildklassifizierung oder Objekterkennung auf Smartphones oder über Industriekameras zur Qualitätskontrolle an Montagelinien.

Auch in der Industrie werden TinyML-Technologien häufig verwendet, um Anomalien in Geräten zu erkennen, sobald sie eingesetzt werden. Beispielsweise ginge es bei Aufzügen darum, auf Basis eines Lernmodells, das die Produktionshistorie von Ausfallerscheinungen verinnerlicht hat, zu erkennen, um bereits vor dem Auftreten einzugreifen. Kurz gesagt, führen Sie vorausschauende Wartung durch. „Das Modell kann auf Datenflüssen von Druck- und Temperatursensoren basieren, die auf dem Gerät installiert sind“, erklärt Manuel Capel. Schließlich ist TinyML in den Bereichen Wellness und Gesundheit weit verbreitet. Durch die Analyse der Bewegungen von Smartphones ermittelt es zum Beispiel die ausgeübte Sportart. In verbundenen Stunden erkennen Sie die frühen Anzeichen der Parkinson-Krankheit. Mit verbundenen Gurten sagt es Herzinfarkte voraus, indem es den Herzrhythmus usw. analysiert.

Zugegeben, Gesundheitsdaten sind sehr persönlich. Aber indem die Benutzerinformationen auf dem Gerät gespeichert werden, beantwortet TinyML gleichzeitig genau diese Frage.

Leave a Comment