Imagerie de diffusion sans mémoire basée sur des réseaux neuronaux convolutifs ultra-rapides

Le modulateur spatial de lumière est un composant dynamique capable de moduler l'amplitude, la phase et la polarisation de la lumière incidente en temps réel, sous le contrôle d'un signal externe. Son application dans le domaine de laImagerie par diffusionIl peut non seulement être utilisé pour générer un champ lumineux pseudo-thermique à la place du verre dépoli traditionnel, mais aussi comme objet cible pour la recherche en imagerie par diffusion. L'application d'un modulateur spatial de lumière permet une régulation proactive et maniable du champ lumineux diffusé.
Informations sur la thèse :

Les effets de mémoire optique constituent une base essentielle pour les méthodes d'imagerie macroscopique et microscopique dans les milieux diffusants complexes, notamment les tissus nuageux et les couches mouchetées. Cependant, la reconstruction d'images dans des milieux fortement diffusants sans effet de mémoire optique n'a pas été couronnée de succès. À cette fin, nous démontrons la possibilité de reconstruire des images dans une couche diffusante sans effet de mémoire optique en développant un réseau neuronal optique (RNO) convolutif multi-étages intégrant plusieurs cœurs parallèles fonctionnant à la vitesse de la lumière. Basé sur l'optique de Fourier et l'apprentissage du RNO par convolution parallèle en une étape, les caractéristiques sont extraites directement pour obtenir une reconstruction d'image sans mémoire.Champ de visionest extensible jusqu'à 271 fois. L'appareil peut être reconfiguré dynamiquement pour une reconstruction d'images multitâche ultra-rapide avec une puissance de calcul de 1,57 péta-opérations par seconde (POPS), établissant ainsi une plateforme d'apprentissage automatique optique ultra-rapide et efficace pour le traitement graphique.
Voici une partie du processus expérimental et des résultats :
Le dispositif expérimental du réseau convolutionnel ONN est illustré à la figure 1. Dans l'expérience, un modulateur d'intensité réflectif SLM0 (FSLM-HD70-A/P, taille de pixel 8 μm, 1920 × 1080) est utilisé pour générer l'entrée programmable au niveau du pixel du réseau convolutionnel ONN. Le champ lumineux modulé par SLM0 est ensuite transmis via un système 4f au plan d'entrée du réseau convolutionnel ONN. Ce système 4f est composé de deux lentilles.Distance focaleDes focales de 100 mm (L1) et 50 mm (L2) permettent un grossissement de 0,5x pour les objets codés en SLM0. Le plan d'entrée est ensuite envoyé vers le réseau optique convolutif à trois couches pour traitement ultérieur. Ce réseau optique à convolution est composé de trois SLM modulateurs de phase (notre modèle FSLM-4K70-P02). Le SLM de phase possède une résolution de 4 094 × 2 400 pixels et une taille de pixel de 3,74 μm × 3,74 μm. La première couche de convolution est codée en SLM1, et la distance entre le plan d'entrée et SLM1 est de 10 cm. Après avoir été modulé par SLM1, le faisceau est transmis à SLM2 par réflexion sur les séparateurs de faisceaux BS2 et BS3. La deuxième couche de convolution est codée en SLM2, et SLM1 et SLM2 mesurent 20 cm. Le faisceau modulé par SLM2 est ensuite transmis à SLM3. Une troisième couche entièrement connectée est codée dans SLM3, avec une distance de 10 cm entre SLM2 et SLM3. Le faisceau modulé par SLM3 est propagé vers le plan de sortie du réseau ONN convolutif par réflexion sur le séparateur de faisceau BS4, avec une distance de 20 cm entre SLM3 et le plan de sortie. La caméra d'acquisition (taille de pixel 4,8 μm, 1280 × 1024) a été placée sur le plan de sortie du réseau ONN convolutif pour enregistrer les résultats d'inférence. Il est important de noter qu'un désalignement entre les différentes couches d'un réseau ONN convolutif peut dégrader considérablement ses performances.

FIG. 1 Schéma de principe du dispositif expérimental d'un réseau convolutionnel ONN à trois couches. (A) Convoluer les paramètres et les coordonnées de chaque couche de l'ONN. (B) Appareil expérimental pour la convolution ONN. M, miroir ; POL, polariseur linéaire ; BS, séparateur de faisceau ; L, lentille ; SLM, modulateur spatial de lumière.

FIG. 2 Mécanisme de reconstruction d'image sans mémoire par empilement de couches de diffusion. (A) Diagramme de diffusion à travers plusieurs diffuseurs. Chaque diffuseur peut être modélisé comme une fine couche de diffusion, N représentant le nombre de diffuseurs et d l'espacement entre eux. (B) Motif de mouchetures produites dans différentes conditions de diffusion. La figure de gauche compare les spots avec effets de mémoire optique (N = 1, d = 0) et les spots sans effets de mémoire optique (N > 1, d > 0). La figure de droite montre les courbes de corrélation angulaire dans chaque cas, des lignes virtuelles représentant les courbes de corrélation angulaire pour une seule couche de verre plat. La mi-hauteur et la largeur de ces courbes déterminent le champ de vision de l'image. (C) Concept de reconstruction d'image sans mémoire dans un ONN convolutif à trois couches.

FIG. 3 Principe des réseaux de neurones convolutionnels optiques. (A) Un ONN convolutionnel à trois couches se compose de deux couches convolutionnelles optiques et d'une couche optique entièrement connectée. (B) La structure de la première couche de convolution contient neuf types de noyaux différents. Chaque noyau est constitué de trois structures : phase vortex, phase aléatoire et phase réseau. (C) La structure de phase de la deuxième couche de convolution est divisée en régions 3×3. La phase de chaque région est construite selon le même processus que la première couche de convolution, ce qui donne 81 noyaux. (D) Performances d'un ONN convolutionnel entraîné dans des tâches de classification par inférence basées sur les jeux de données MNIST et FashionMNIST. La figure ci-dessus illustre la courbe d'apprentissage dans chaque cas. La figure suivante présente les résultats de classification expérimentale sur le plan de sortie de l'ONN convolutionnel, les carrés pointillés rouges représentant la région du détecteur entraînée par le numéro correspondant.

FIG. 4 Vérification expérimentale de la reconstruction d'image sans mémoire. (A) Résultats expérimentaux de reconstruction d'un ONN de convolution entraîné avec deux couches de diffusion (N = 2). La première ligne montre l'image réelle de l'objet, et les deuxième à quatrième lignes correspondent aux résultats de reconstruction pour d = 3 cm, d = 4 cm et d = 5 cm, respectivement. (B) Résultats expérimentaux de reconstruction d'ONN de convolution entraînés avec plusieurs couches de diffusion (N > 2). Les première à quatrième lignes correspondent aux cas où N = 2, 3, 4 et 5, respectivement. (C) L'effet de la phase du vortex sur l'ONN de convolution est illustré. La figure de droite compare les courbes du noyau de convolution avec et sans phase du vortex pour une diffusion d = 5 cm et les résultats de reconstruction. La figure de gauche montre que différentes structures de phase du vortex peuvent être utilisées pour extraire différentes informations de bord directionnel de l'objet d'entrée.

La figure 5 illustre les performances dynamiques et multitâches des ONN convolutifs entraînables. (A) Processus d'inférence dynamique (S1 et S2) pour la reconstruction d'images sans mémoire à l'aide d'ONN convolutif. Le motif de points d'entrée est chargé sur le SLM 60 Hz. (B) Le cadre ONN convolutif de deux tâches est démontré en S3 pour l'inférence multitâche d'images vidéo afin d'obtenir une reconstruction d'images sans mémoire. Le contour de la troisième couche de trame entièrement connectée est présenté en Figure S17.

Les paramètres du modulateur spatial de lumière de type amplitude utilisé dans cette expérience sont les suivants :

Les paramètres du modulateur spatial de lumière de type phase utilisé dans cette expérience sont les suivants :

Écrivez à la fin :
Dans le domaine de l'imagerie computationnelle, les réseaux de neurones optiques sont largement utilisés pour résoudre des problèmes d'imagerie fantôme, d'holographie numérique, de microscopie à lamination de Fourier et d'autres domaines. Parallèlement, la puissante capacité d'ajustement des données et d'optimisation des solutions de l'apprentissage profond joue également un rôle majeur dans le domaine de l'imagerie par diffusion. Grâce à la modulation fine et au contrôle précis du modulateur spatial de lumière, la combinaison de ce dernier et du réseau de neurones optiques permettra de produire davantage d'étincelles.

Informations sur l'article :
DOI : 10.1126/sciadv.adn2205