Imaxe de dispersión sen memoria baseada en redes neuronais convolucionais ultrarrápidas

O modulador espacial de luz é un tipo de compoñente dinámico que pode modular a amplitude, a fase e o estado de polarización da luz incidente en tempo real baixo o control dun sinal externo. A aplicación do modulador espacial de luz no campo de Dispersión de imaxes Non só se pode empregar para xerar un campo de luz pseudotérmico en lugar do vidro esmerilado tradicional, senón que tamén se pode empregar como obxecto de destino para a investigación de imaxes de dispersión. A aplicación do modulador espacial da luz pode conseguir iniciativa e manobrabilidade na regulación do campo de luz dispersa.

Información da tese:

Os efectos de memoria óptica foron unha base clave para os métodos de imaxe macroscópica e microscópica en medios de dispersión complexos, incluíndo tecidos turbios e capas moteadas. Non obstante, a reconstrución de imaxes en medios de forte dispersión sen efecto de memoria óptica non tivo éxito. Para este fin, demostramos a capacidade de reconstruír imaxes nunha capa de dispersión sen efectos de memoria óptica mediante o desenvolvemento dunha rede neuronal óptica convolucional (ONN) multietapa que integra varios núcleos paralelos que funcionan á velocidade da luz. Baseándose na óptica de Fourier, no adestramento ONN de convolución paralela e dun só paso, as características extráense directamente para lograr unha reconstrución de imaxes sen memoria, e a Campo de visión amplíase ata 271 veces. O dispositivo pódese reconfigurar dinamicamente para a reconstrución de imaxes multitarefa ultrarrápida cunha potencia de cálculo de 1,57 petaoperacións por segundo (POPS), establecendo con éxito unha plataforma de aprendizaxe automática óptica ultrarrápida e eficiente para o procesamento de gráficos.

Os seguintes son parte do proceso experimental e dos resultados:
A configuración experimental da ONN convolucional móstrase na Figura 1. No experimento, utilízase un modulador de intensidade reflexiva SLM0 (FSLM-HD70-A/P, tamaño de píxel de 8 μm, 1920 × 1080) para xerar a entrada programable a nivel de píxel da ONN convolucional. O campo de luz modulado por SLM0 transmítese entón a través dun sistema 4f ao plano de entrada da ONN convolucional. O sistema 4f consta de dúas lentes con Lonxitude focals de 100 mm (L1) e 50 mm (L2) para proporcionar un aumento de 0,5x para os obxectos codificados como SLM0. O plano de entrada envíase entón ao ONN convolucional de tres capas para o seu posterior procesamento. O ONN de convolución consta de tres SLM moduladores de fase (o noso modelo FSLM-4K70-P02). Os SLM de fase teñen 4094 × 2400 píxeles e o tamaño do píxel é de 3,74 μm × 3,74 μm. A primeira capa de convolución está codificada como SLM1 e a distancia entre o plano de entrada e SLM1 é de 10 cm. Despois de ser modulado por SLM1, o feixe transmítese a SLM2 por reflexión desde os divisores de feixe BS2 e BS3. A segunda capa de convolución está codificada como SLM2 e SLM1 e SLM2 miden 20 cm. O feixe modulado por SLM2 transmítese entón a SLM3. Unha terceira capa totalmente conectada está codificada en SLM3, cunha distancia de 10 cm entre SLM2 e SLM3. O feixe modulado por SLM3 propágase ao plano de saída do ONN de convolución mediante a reflexión desde o divisor de feixe BS4, cunha distancia de 20 cm entre SLM3 e o plano de saída. A cámara de adquisición (tamaño de píxel de 4,8 μm, 1280 × 1024) colocouse no plano de saída do ONN convolucional para rexistrar os resultados da inferencia. É importante ter en conta que a desalineación entre as diferentes capas dun ONN de convolución pode degradar significativamente o seu rendemento.

FIG. 1 Diagrama esquemático da configuración experimental dunha rede convolucional ONN de tres capas. (A) Convolucionar os parámetros e as coordenadas de cada capa da ONN. (B) Aparato experimental para a convolución ONN. M, espello; POL, polarizador lineal; BS, divisor de feixe; L, lente; SLM, modulador espacial da luz.

FIG. 2 O mecanismo de reconstrución de imaxes sen memoria mediante o apilamento de capas de dispersión. (A) Diagrama de dispersión a través de múltiples dispersores. Cada dispersor pódese modelar como unha capa dispersora fina, onde N representa o número de dispersores e d representa o espazado entre eles. (B) O patrón de manchas producidas en diferentes condicións de dispersión. A figura da esquerda compara manchas con efectos de memoria óptica (N = 1, d = 0) e manchas sen efectos de memoria óptica (N > 1, d > 0). A figura da dereita mostra as curvas de correlación angular en cada caso, con liñas virtuais que representan as curvas de correlación angular para unha única capa de vidro plano. A metade da altura e a anchura destas curvas determinan o campo de visión da imaxe. (C) O concepto de reconstrución de imaxes sen memoria en ONN convolucional de tres capas.

FIG. 3 Principio das redes neuronais convolucionais ópticas. (A) Unha ONN convolucional de tres capas consta de dúas capas convolucionais ópticas e unha capa totalmente conectada óptica. (B) A estrutura da primeira capa de convolución contén nove tipos diferentes de núcleos. Cada núcleo consta de tres estruturas: fase de vórtice, fase aleatoria e fase de reixa. (C) A estrutura de fase da segunda capa de convolución divídese en rexións de 3 × 3. A fase de cada rexión constrúese mediante o mesmo proceso que a primeira capa de convolución, o que resulta en 81 núcleos. (D) Rendemento da ONN convolucional adestrada en tarefas de clasificación de inferencia baseadas en conxuntos de datos MNIST e FashionMNIST. A figura anterior mostra a curva de aprendizaxe en cada caso. A seguinte figura mostra os resultados da clasificación experimental no plano de saída da ONN convolucional, cos cadrados vermellos discontinuos que representan a rexión do detector adestrada polo número correspondente.

FIG. 4 Verificación experimental da reconstrución de imaxes sen memoria. (A) Resultados da reconstrución experimental dunha ONN de convolución adestrada con dúas capas de dispersión (N = 2). A primeira liña mostra a imaxe real do obxecto e as liñas segunda a cuarta corresponden aos resultados da reconstrución de d = 3 cm, d = 4 cm e d = 5 cm, respectivamente. (B) Resultados da reconstrución experimental de ONN de convolución adestradas con múltiples capas de dispersión (N > 2). As liñas primeira a cuarta corresponden aos casos nos que N = 2, 3, 4 e 5, respectivamente. (C) Móstrase o efecto da fase de vórtice na ONN de convolución. A figura da dereita compara as curvas do núcleo de convolución con e sen fase de vórtice na dispersión d = 5 cm e os resultados da reconstrución. A figura da esquerda mostra que se poden usar diferentes estruturas de fase de vórtice para extraer diferente información de bordo direccional do obxecto de entrada.

A figura 5 demostra o rendemento dinámico e multitarefa das ONN convolucionais adestrables. (A) Proceso de inferencia dinámica (S1 e S2) para a reconstrución de imaxes sen memoria usando ONN convolucional. O patrón de punto de entrada cárgase no SLM de 60 Hz. (B) A estrutura de ONN convolucional de dúas tarefas demóstrase na S3 para a inferencia multitarefa de fotogramas de vídeo para lograr a reconstrución de imaxes sen memoria. O esquema da terceira capa de ráster totalmente conectado móstrase na figura S17.

Os parámetros do modulador de luz espacial de tipo amplitude empregado neste experimento son os seguintes:

Os parámetros do modulador espacial de luz de tipo fase empregado neste experimento son os seguintes:

Escribe ao final:
No campo da imaxe computacional, as redes neuronais ópticas empregáronse amplamente para resolver problemas na imaxe pantasma, a holografía dixital, a microscopía de laminación de Fourier e outros campos. Ao mesmo tempo, a potente capacidade de axuste de datos e a capacidade de solución de optimización da aprendizaxe profunda tamén xogan un papel fundamental no campo da imaxe de dispersión. Coa modulación fina e o control preciso do modulador espacial da luz, a combinación do modulador espacial da luz e a rede neuronal óptica producirá máis faíscas.

Información do artigo:
DOI: 10.1126/sciadv.adn2205