Une compréhension approfondie des principes de l'imagerie visuelle 3D

L'imagerie par vision 3D est l'une des méthodes les plus importantes pour la perception de l'information des robots industriels, qui peut être divisée en méthodes d'imagerie optique et non optique. À l'heure actuelle, les méthodes optiques les plus utilisées, notamment : la méthode du temps de vol, la méthode de la lumière structurée, la méthode de balayage laser, la méthode des franges moirées, la méthode du speckle laser, l'interférométrie, la photogrammétrie, la méthode de suivi laser, la forme à partir du mouvement, la forme à partir de l'ombre, et autres ShapefromX. Cet article présente plusieurs schémas typiques.

1. Imagerie 3D du temps de vol

Chaque pixel de la caméra à temps de vol (TOF) utilise la différence de temps dans le vol de la lumière pour obtenir la profondeur de l'objet.

Dans la méthode classique de mesure TOF, le système de détection démarre l'unité de détection et de réception au moment où l'impulsion optique est émise. Lorsque le détecteur reçoit l'écho optique de la cible, le détecteur stocke directement le temps aller-retour.

Également connu sous le nom de Direct TOF (DTOF), le D-TOF est couramment utilisé dans les systèmes de télémétrie à point unique, où la technologie de numérisation est souvent nécessaire pour obtenir une imagerie 3D à l'échelle d'une zone.

La technologie d’imagerie 3D TOF sans balayage n’a été réalisée que ces dernières années, car il est très difficile de mettre en œuvre une synchronisation électronique inférieure à la nanoseconde au niveau des pixels.

L'alternative au D-TOF à temporisation directe est le TOF indirect (I-TOF), dans lequel le temps aller-retour est indirectement extrapolé à partir de mesures temporelles de l'intensité lumineuse. I-TOF ne nécessite pas de synchronisation précise, mais utilise à la place des compteurs de photons temporels ou des intégrateurs de charge, qui peuvent être implémentés au niveau des pixels. I-TOF est la solution actuellement commercialisée pour les mélangeurs électroniques et optiques basés sur des caméras TOF.

L’imagerie TOF peut être utilisée pour l’acquisition d’images 3D à grand champ de vision, longue distance, de faible précision et à faible coût. Ses caractéristiques sont : vitesse de détection rapide, grand champ de vision, longue distance de travail, prix bon marché, mais faible précision, facile à perturber par la lumière ambiante.

2. Scannez pour une imagerie 3D

Les méthodes d'imagerie 3D de numérisation peuvent être divisées en télémétrie de numérisation, triangulation active, méthode confocale de dispersion, etc. En fait, la méthode confocale de dispersion est une méthode de balayage et de télémétrie, étant donné qu'elle est actuellement largement utilisée dans l'industrie manufacturière telle que les téléphones mobiles et les écrans plats, elle est présentée séparément ici.

1. Numérisation et télémétrie

La mesure de la distance de balayage consiste à utiliser un faisceau collimaté pour scanner toute la surface cible grâce à une mesure de distance unidimensionnelle afin d'obtenir une mesure 3D. Les méthodes de numérisation typiques sont :

1, méthode de temps de vol à un point unique, telle que la télémétrie par modulation de fréquence à ondes continues (FM-CW), la télémétrie par impulsions (LiDAR), etc.

2, interférométrie à diffusion laser, telle que les interféromètres basés sur les principes d'interférence multi-longueurs d'onde, d'interférence holographique, d'interférence de tache de lumière blanche, etc.

3, méthode confocale, telle que dispersion confocale, auto-focalisation, etc.

Dans la méthode 3D de balayage à portée unique, la méthode de temps de vol à point unique convient au balayage longue distance et la précision des mesures est faible, généralement de l'ordre du millimètre. D'autres méthodes de balayage à point unique sont : l'interférométrie laser à point unique, la méthode confocale et la méthode de triangulation active laser à point unique, la précision de mesure est plus élevée, mais la première a des exigences environnementales élevées ; Précision de balayage linéaire modérée, haute efficacité. La méthode de triangulation laser active et la méthode confocale de dispersion sont plus adaptées pour effectuer des mesures 3D à l’extrémité du bras robotique.

2. Triangulation active

La méthode de triangulation active est basée sur le principe de la triangulation, utilisant des faisceaux collimatés, un ou plusieurs faisceaux plans pour scanner la surface cible afin de réaliser une mesure 3D.

Le faisceau est généralement obtenu des manières suivantes : collimation laser, expansion de faisceau angulaire cylindrique ou quadrique, lumière incohérente (telle que lumière blanche, source de lumière LED) à travers le trou, projection par fente (réseau) ou diffraction de lumière cohérente.

La triangulation active peut être divisée en trois types : numérisation à point unique, numérisation à ligne unique et numérisation multiligne. La plupart des produits actuellement commercialisés pour être utilisés à l’extrémité des bras robotisés sont des scanners à point unique et à ligne unique.

Dans la méthode de balayage multiligne, il est difficile d’identifier de manière fiable le numéro des pôles marginaux. Afin d'identifier avec précision les numéros de bandes, une imagerie alternée à grande vitesse de deux ensembles de plans optiques verticaux est généralement adoptée, qui peut également réaliser un balayage par « FlyingTriangulation ». Le processus de numérisation et de reconstruction tridimensionnelle est illustré dans la figure suivante. Une vue 3D clairsemée est générée par imagerie stroboscopique à projection multiligne, et plusieurs séquences de vues 3D sont générées par balayage par projection de franges longitudinales et horizontales. Ensuite, un modèle de surface 3D complet et compact à haute résolution est généré par correspondance d'images 3D.

3. Méthode confocale par dispersion

La dispersion confocale semble être capable de scanner et de mesurer des objets opaques et transparents rugueux et lisses, tels que des miroirs réfléchissants, des surfaces en verre transparent, etc., et est actuellement très populaire dans le domaine de la détection tridimensionnelle des plaques de protection des téléphones portables.

Il existe trois types de balayage confocal dispersif : le balayage à distance absolue unidimensionnelle en un seul point, le balayage en réseau multipoint et le balayage en ligne continue. La figure suivante répertorie respectivement deux types d'exemples de balayage à distance absolue et de balayage en ligne continue. Parmi eux, le balayage en ligne continue est également un balayage en réseau, mais le réseau a un réseau de plus en plus dense.

Dans les produits commerciaux, le capteur confocal spectral à balayage le plus connu est le STILMPLS180 de la France, qui adopte 180 points de réseau pour former une ligne avec une longueur de ligne maximale de 4,039 mm (point de mesure 23,5 heures, espacement point à point de 22,5 heures). Un autre produit est le FOCALSPECULA de Finlande. La technique du triangle confocal de dispersion est adoptée.

3. Imagerie 3D avec projection de lumière structurée

L'imagerie 3D par projection de lumière structurée est actuellement le principal moyen de perception visuelle 3D du robot. Le système d'imagerie par lumière structurée est composé de plusieurs projecteurs et caméras. Les formes structurelles couramment utilisées sont : projecteur unique-caméra unique, projecteur unique-caméra double, projecteur unique-multiple. caméra, caméra simple - double projecteur et caméra simple - projecteurs multiples et autres formes structurelles typiques.

Le principe de fonctionnement de base de l'imagerie 3D de projection de lumière structurée est que les projecteurs projettent des modèles d'éclairage de lumière structurée spécifiques sur des objets cibles, et les images modulées par la cible sont capturées par la caméra, puis les informations 3D de l'objet cible sont obtenues via l'image. traitement et modèle visuel.

Les projecteurs couramment utilisés sont principalement des types suivants : projection à cristaux liquides (LCD), projection numérique à modulation de lumière (DLP : tels que les dispositifs à micromiroir numérique (DMD)), projection directe de motifs LED laser.

Selon le nombre de projections de lumière structurée, l'imagerie 3D de la projection de lumière structurée peut être divisée en méthodes de projection 3D unique et de projections 3D multiples.

1. Imagerie par projection unique

La lumière structurée à projection unique est principalement réalisée par codage à multiplexage spatial et codage à multiplexage de fréquence. Les formes de codage courantes sont le codage couleur, l'indice de gris, le codage de forme géométrique et les points aléatoires.

À l'heure actuelle, dans l'application du système œil-main du robot, pour les occasions où la précision des mesures 3D n'est pas élevée, comme la palettisation, la dépalettisation, la préhension 3D, etc., il est plus courant de projeter des points pseudo-aléatoires pour obtenir le Informations 3D de la cible. Le principe de l'imagerie 3D est illustré dans la figure suivante.

2. Imagerie à projection multiple

La méthode 3D multi-projection est principalement mise en œuvre par codage à multiplexage temporel. Les formes de codage de modèle couramment utilisées sont : le codage binaire, le codage par déphasage multifréquence τ35 et le codage mixte (tel que les franges de déphasage à dix phases du code gris).

Le principe de base de l’imagerie 3D par projection de franges est illustré dans la figure ci-dessous. Les modèles de lumière structurée sont générés par un ordinateur ou générés par un dispositif optique spécial, qui sont projetés sur la surface de l'objet mesuré via un système de projection optique, puis des dispositifs d'acquisition d'images (tels que des caméras CCD ou CMOS) sont utilisés pour collecter les images de lumière structurée déformée modulées par la surface de l'objet. L'algorithme de traitement d'image est utilisé pour calculer la relation correspondante entre chaque pixel de l'image et le point sur le contour de l'objet. Enfin, grâce au modèle de structure du système et à la technologie d'étalonnage, les informations de contour tridimensionnelles de l'objet mesuré sont calculées.

Dans les applications pratiques, la projection de code Gray, la projection de franges à déphasage sinusoïdal ou la technologie 3D de projection mixte à déphasage sinusoïdal à code Gray dix est souvent utilisée.

3. Imagerie de déviation

Pour les surfaces rugueuses, la lumière structurée peut être directement projetée sur la surface de l'objet pour une mesure d'imagerie visuelle. Cependant, pour la mesure 3D de surfaces lisses à grande réflectance et d'objets miroir, la projection de lumière structurée ne peut pas être directement projetée sur la surface mesurée, et la mesure 3D nécessite également l'utilisation d'une technologie de déviation de miroir, comme le montre la figure suivante.

Dans ce schéma, les franges ne sont pas projetées directement sur le contour mesuré, mais sont projetées sur un écran diffusant, ou un écran LCD est utilisé à la place de l'écran diffusant pour afficher directement les franges. La caméra retrace le trajet de la lumière à travers la surface brillante, obtient les informations de frange modulées par le changement de courbure de la surface brillante, puis résout le profil 3D.

4. Imagerie 3D en vision stéréo

La stéréovision fait littéralement référence à la perception d'une structure tridimensionnelle avec un ou les deux yeux, et fait généralement référence à la reconstruction de la structure 3D ou des informations de profondeur de l'objet cible en obtenant deux images ou plus provenant de points de vue différents.

Les signaux visuels de perception de la profondeur peuvent être divisés en signaux oculaires et signaux binoculaires (parallaxe binoculaire). À l'heure actuelle, la 3D stéréoscopique peut être réalisée grâce à la vision monoculaire, la vision binoculaire, la vision multioculaire, l'imagerie 3D en champ lumineux (œil composé électronique ou caméra réseau).

1. Imagerie visuelle monoculaire

Les indices de perception de profondeur monoculaire incluent généralement la perspective, la différence de distance focale, l'imagerie multi-vision, la couverture, l'ombre, la parallaxe de mouvement, etc. Dans la vision robotique, vous pouvez également utiliser le miroir 1 et une autre forme de X10 et d'autres méthodes pour y parvenir.

2. Imagerie de vision binoculaire

Les indices visuels de la perception binoculaire de la profondeur sont : la position de convergence des yeux et la parallaxe binoculaire. En vision industrielle, deux caméras sont utilisées pour obtenir deux images de vue à partir de deux points de vue sur la même scène cible, puis la parallaxe du même point dans les deux images de vue est calculée pour obtenir les informations de profondeur 3D de la scène cible. Le processus typique de calcul de stéréovision binoculaire comprend les quatre étapes suivantes : correction de la distorsion de l'image, correction des paires d'images stéréo, enregistrement de l'image et calcul de la carte de parallaxe de reprojection par triangulation.