Untersuchungen zur KI-gestützten Materialklassifikation aus Punktwolken und Bilddaten
Investigations on AI-Supported Material Classification from Point Clouds and Image Data
Simon Albers, Mike Engel, Frederik Hülsewede, Martina Göring, Thomas Luhmann
Im Rahmen eines studentischen Masterprojekts werden Ansätze und Ideen hinsichtlich des Potenzials für die automatisierte Materialklassifikation anhand von Punktwolken und Bilddaten erarbeitet und bewertet. Es werden erste Verfahren innerhalb eines begrenzten zeitlichen Rahmens evaluiert, ohne den Anspruch auf die Entwicklung eines vollumfänglichen Systems. Primär soll eine Grundlage für weitere mögliche Forschungsarbeiten gelegt werden. Menschen unterscheiden Materialien anhand von optischen und haptischen Reizen. Unter der Annahme, dass durch Laserscanning und Bilddaten diese Reize ausreichend reproduziert werden können, soll eine automatisierte Klassifikation anhand mehrerer durch Laserscanning erfasster Materialien erfolgen. Diese sind Klinker, Putz, Beton, Holz, Metall und Kunststoff, die sich an Gebäudeoberflächen befinden. Als Merkmale dienen die Intensität aus dem Laserscanning, die in den HSV-Raum übertragenen Farbwerte der integrierten Kamera sowie drei beschreibende Attribute für die Oberflächenrauheit. Zur automatisierten Klassifikation werden zwei etablierte Machine-Learning- Methoden verwendet. Für einen punktbasierten Ansatz werden Support Vector Machines (SVM) genutzt, wobei jeder Punkt einen Merkmalsvektor zugeschrieben bekommt. Das System wird durch eine Menge von gelabelten Punkten trainiert und validiert, bevor es für beliebige Punktwolken angewendet werden kann. Bei dem zweiten Ansatz wird ein Convolutional Neural Network (CNN) zur Klassifikation verwendet, welches aus dem Bereich des Deep Learnings stammt. Hierbei werden die Punktwolken in Bilddaten übertragen. Die einzelnen Merkmale werden zudem – entsprechend des 8-bit-Formats – auf einen Bereich zwischen 0 und 255 skaliert. Die einzelnen Merkmalsbilder werden dann zu mehrkanaligen TIFF-Dateien zusammengeführt, welche sortiert nach Materialien als Trainingsdaten für ein CNN dienen. Nach dem Training dieser Modelle können vollständige Gebäudefassaden materialspezifisch klassifiziert und eingefärbt werden. Als Untersuchungsobjekte dienen verschiedene Objektfassaden auf dem Campus der Jade Hochschule Oldenburg. Beide Klassifikationsverfahren erreichen während des Systemtrainings innere Genauigkeiten von über 95 %. Durch weitere Genauigkeitsuntersuchungen ergeben sich zudem äußere Genauigkeiten von über 80 % bei ähnlichen Fassaden, wobei der CNN-Ansatz zuverlässigere Ergebnisse liefert. Insgesamt lässt sich feststellen, dass materialspezifische Klassifikationen aus Laserscandaten mithilfe von Methoden der künstlichen Intelligenz grundsätzlich möglich sind und erste verwertbare Ergebnisse erreicht werden.
Within the scope of a student master project, approaches and ideas regarding the potential for automated material classification based on point clouds and image data are developed. First methods are evaluated within a limited time frame, without the claim to develop a fully comprehensive system. Primarily, a basis for further possible research work is to be laid. People distinguish materials on the basis of optical and haptic stimuli. Assuming that these stimuli can be sufficiently reproduced by laser scanning and image data, an automated classification is to be carried out on the basis of several materials detected by laser scanning. These are clinker, render, concrete, wood, metal and plastic located at building surfaces. The intensity from the laser scanning, the colour values of the integrated camera transferred to the HSV space and three descriptive attributes for surface roughness serve as features. Two established machine learning methods are used for automated classification. For a point-based approach, Support Vector Machines (SVM) are used, where each point is assigned a feature vector. The system is trained and validated by a set of labelled points before it can be applied to any point clouds. The second approach uses a Convolutional Neural Network (CNN) for classification, which comes from the field of Deep Learning. Here, the point clouds are transferred into image data. The individual features are also scaled – according to the 8-bit format – to a range between 0 and 255. The individual feature images are then merged into multi-channel TIFF files, which, sorted by material, serve as training data for a CNN. After training these models, complete building facades can be classified and coloured according to material. Various object facades on the campus of the Jade University of Applied Sciences Oldenburg serve as objects of investigation. Both classification methods achieve internal accuracies of over 95 % during system training. Further accuracy tests give external accuracies of over 80 % for similar facades, whereby the CNN approach delivers more reliable results. Overall, it can be stated that material-specific classifications from laser scan data using artificial intelligence methods are possible in principle and that usable first results can be achieved.
Schlüsselwörter: Künstliche Intelligenz, Support Vector Machines, Convolutional Neural Networks, Klassifikation, Materialerkennung, Punktwolken, Bilddaten, Laserscanning
Keywords: Artificial intelligence, Support Vector Machines, Convolutional Neural Networks, classification, material recognition, point clouds, image data, laserscanning
Download PDF