MAMOC – Machine Learning Application for Motion Capture

Vortrag im Arbeitskreis "KI im Mittelstand" von Arthur Krieger (DMC)

Problemstellung

Handarbeitsplätze mit einem hohen Grad an repetitiven Vorgängen werden oft mit Zeitaufnahmen/-erfassung strukturiert um Schulungen und Dokumentationen zu vereinfachen und Fehler bei Arbeitsschritten besser zu erkennen. Wurde ein Arbeitsschritt richtig durchgeführt? Wurde das richtige Werkzeug verwendet? Wird vom optimalen Montageprozess abgewichen? Dies sind häufige Fragen für die ein Prozess an einem Handarbeitsplatz mit substantiellen manuellen Aufwand durch einen menschlichen Experten erfasst und strukturiert wird. 

KI-Fragestellung

  1. Die Erkennung von Werkzeugen, Bauteilen und anderen relevanten Objekten.
  2. Die Erkennung von Handpositionen
  3. Darauf aufbauend die Erkennung von Aktionen 

Lösungsansätze

  1. Die visuelle Erkennung von Objekten ist ein mittlerweile gut etablierter Bereich und hierfür sind zahlreiche vortrainierte Open Source Algorithmen verfügbar. Mit einem Datensatz von etwa 8.000 markierten Bildern hat das Team einen bestehenden Algorithmus durch Transfer Learning weiter trainiert und die Erkennung von Werkzeugen, Bauteilen und Objekten gut lösen können.
  2. Die Erkennung von Handpositionen erforderte Tests von einigen existierenden Ansätzen und Algorithmen. Am Ende konnte die Erkennung von Handpositionen mit Google’s MediaPipe Hands gut gelöst werden. Andere Algorithmen funktionierten teilweise überhaupt nicht.
  3. Die Erkennung von Aktionen ist komplexer und im KI-Bereich noch nicht so gut etabliert. Das Team hat hier einen eigenen Ansatz zur Markierung von Daten entwickeln müssen. Der Trainingsdatensatz ist aufgrund der limitierten Projektressourcen noch nicht umfangreich genug aber der aktuelle Stand erlaubt bereits den Schluss, dass Erkennung von Aktionen an einem Handarbeitsplatz mit diesem Ansatz funktioniert und mit mehr Trainingsdaten zuverlässiger wird.

Lernergebnisse

  1. Die Kombination mehrerer neuronaler Netze zur Erkennung von Aktionen an einem Handarbeitsplatz, wie zB das Zusammenschrauben einer Box, kann mit existierender Open Source Technologie realisiert werden. 
  2. Über die bereits etablierte Erkennung von Objekt- und Handpositionen hinaus müssen verstärkt eigene Tools zur Datengenerierung und -markierung experimentell entwickelt werden. 
  3. Die Hardware-Kosten für eine zukünftige Computer Vision Lösung an Handarbeitsplätzen ist sehr überschaubar und dadurch gut skalierbar.
  4. (Semi-)Akademische Methoden zur Erkennung von Handpositionen scheitern häufig sobald eine stark kontrollierte Laborumgebung verlassen wird. Manchmal sind umfangreiche Anpassungen notwendig.

Meine Beurteilung

Ein sehr spannendes Projekt im Bereich Computer Vision mit einer erfolgversprechenden Blaupause für die automatisierte Erkennung von Arbeitsschritten. Der Trainingsaufwand für die Anpassung an unterschiedliche Handarbeitsplätze scheint überschaubar zu sein und mit der entwickelten Methode zur Datengenerierung wahrscheinlich kostenschonend. Auf Basis dieser Technologie lassen sich nicht nur Lösungen für Zeitaufnahmen/-erfassung entwickeln sondern zB auch Lösungen zur Qualitätssicherung durch ein Vier-Augen-Prinzip (Mensch + Maschine).