Semantic-Driven Single-Image 3D Reconstruction: A Neuro-Symbolic Approach
Semantikgestützte 3D-Rekonstruktion aus einem Einzelbild: Ein neuro-symbolischer Ansatz
Claire Ponciano, Jean-Jacques Ponciano
Generating high-fidelity 3D models from a single 2D image remains a persistent challenge in computer vision. Traditional approaches rely heavily on photogrammetry or multi-view reconstruction, making reconstruction difficult in scenarios where such data is unavailable. To address this limitation, we propose a pipeline that integrates multiple AI-driven techniques for structured single-image 3D reconstruction. The pipeline begins with segmentation using the Segment Anything Model (SAM), ensuring precise object isolation. Object classification follows, employing the KnowDIP knowledge-driven framework, which combines ontology-based reasoning, rule-based algorithms, and feature extraction to enhance classification accuracy. Linked Open Data (LOD) sources, such as DBpedia and Wikidata, provide geometric constraints and contextual knowledge, guiding the reconstruction process. These constraints refine the output of the Large Reconstruction Model (LRM), which generates an initial single-view 3D mesh. The final stage applies mesh repair and semantic refinement, ensuring the reconstructed model is manifold and suitable for visualization, holography, and 3D printing. The evaluated pipeline generates accurate 3D models, providing an effective alternative based on a single image for 3D reconstruction when traditional multi-view approaches are infeasible. However, it exhibits a slight bias toward orthogonal perspectives, which can occasionally cause minor geometric errors under extreme perspective distortions. This approach is deployed at shinai3d.com, allowing free testing of the method. Future work will focus on refining perspective correction techniques to further improve geometric accuracy in challenging cases.
Die Erzeugung von hochwertigen 3D-Modellen aus einem einzigen 2D-Bild stellt eine bekannte Herausforderung in der Bildverarbeitung dar. Traditionelle Verfahren basieren auf photogrammetrischen Ansätzen bzw. Mehrbildmethoden, was die Rekonstruktion in Szenarien erschwert, in denen solche Daten nicht verfügbar sind. Um dieser Einschränkung zu begegnen, wird eine Pipeline vorgeschlagen, die mehrere KI-gesteuerte Techniken für die strukturierte 3D-Rekonstruktion mit einem einzigen Bild integriert. Die Pipeline beginnt mit der Segmentierung unter Verwendung des Segment Anything Model (SAM), das eine präzise Objektisolierung gewährleistet. Die Objektklassifizierung folgt unter Verwendung des wissensbasierten Frameworks von KnowDIP, das ontologiebasiertes Denken, regelbasierte Algorithmen und Merkmalsextraktion kombiniert, um die Klassifizierungsgenauigkeit zu verbessern. Linked-Open-Data-(LOD-)Quellen wie DBpedia und Wikidata bieten geometrische Einschränkungen und kontextbezogenes Wissen, das den Rekonstruktionsprozess leitet. Diese Einschränkungen verfeinern die Ausgabe des Large Reconstruction Model (LRM), das ein anfängliches 3D-Netz mit einer einzigen Ansicht erzeugt. In der letzten Phase werden Mesh-Reparatur und semantische Verfeinerung angewendet, um sicherzustellen, dass das rekonstruierte Modell vielfältig, z. B. für Visualisierung, Holographie und 3D-Druck, geeignet ist. Die Pipeline generiert exakte 3D-Modelle und bietet eine effektive Alternative, die auf einem einzigen Bild für die 3D-Rekonstruktion basiert, wenn herkömmliche Multi-View-Ansätze nicht möglich sind. Es zeigt jedoch eine leichte Tendenz zu orthogonalen Perspektiven, was gelegentlich zu geringfügigen geometrischen Fehlern bei extremen Perspektivverzerrungen führen kann. Dieser Ansatz wird auf shinai3d.com eingesetzt und ermöglicht kostenlose Tests der Methode. Zukünftige Arbeiten werden sich auf die Verfeinerung von Perspektivenkorrekturtechniken konzentrieren, um die geometrische Genauigkeit in schwierigen Fällen weiter zu verbessern.
Keywords: AI 3D generation, single image to 3D, Generative AI, computer vision, Segment Anything Model, 3D modeling, 3D printing, digital twin, automated design, tech innovation
Schlüsselwörter: KI-3D-Generierung, Einzelbild zu 3D, generative KI, Computer Vision, Segment Anything Model, 3D-Modellierung, 3D-Druck, digitaler Zwilling, automatisiertes Design, technologische Innovation
DOI: 10.14627/avn.2026.3.3
Der Volltext der aktuellen Artikel (< 3 Monate) aus dem Artikelarchiv steht für
avn-Abonnenten
nach dem Login
zur Verfügung.