Pencitraan paburencay bébas memori dumasar kana jaringan saraf convolutional ultrafast

Modulator cahaya spasial mangrupikeun komponén dinamis anu tiasa ngamodulasi amplitudo, fase sareng kaayaan polarisasi cahaya kajadian sacara real waktos dina kadali sinyal éksternal. Aplikasi modulator cahaya spasial dina widang Paburencay Imaging teu ngan bisa dipaké pikeun ngahasilkeun médan lampu pseudo-termal tinimbang kaca taneuh tradisional, tapi ogé bisa dipaké salaku obyek sasaran pikeun scattering panalungtikan Imaging. Aplikasi modulator cahaya spasial tiasa ngawujudkeun inisiatif sareng maneuverability dina pangaturan médan cahaya anu sumebar.

Inpormasi skripsi:

Épék mémori optik parantos janten dasar konci pikeun metode pencitraan makroskopis sareng mikroskopis dina média paburencay kompléks, kalebet jaringan mendung sareng lapisan bintik-bintik. Tapi, rekonstruksi gambar dina média paburencay kuat tanpa éfék mémori optik tacan suksés. Pikeun tujuan ieu, kami nunjukkeun kamampuan pikeun ngarekonstruksikeun gambar dina lapisan paburencay tanpa épék mémori optik ku cara ngembangkeun jaringan saraf optik convolutional multistage (ONN) anu ngahijikeun sababaraha inti paralel anu beroperasi dina laju cahaya. Dumasar kana élmu optik Fourier, paralel, hiji-léngkah latihan konvolusi ONN, fitur diekstrak langsung pikeun ngahontal rekonstruksi gambar bébas memori, sarta Medan Pandangan dilegaan nepi ka 271 kali. alat nu bisa dinamis reconfigured pikeun ultra-gancang multi-tugas rekonstruksi gambar kalawan kakuatan komputasi 1.57peta operasi per detik (POPS), hasil ngadegkeun hiji ultra-gancang tur efisien platform learning mesin optik pikeun ngolah grafik.

Ieu mangrupikeun bagian tina prosés ékspérimén sareng hasil:
Setélan ékspérimén tina ONN convolutional dipidangkeun dina Gambar 1. Dina percobaan, hiji modulator inténsitas reflective SLM0 (FSLM-HD70-A / P, ukuran piksel 8μm, 1920 × 1080) dipaké pikeun ngahasilkeun input tingkat piksel programmable tina ONN convolutional. Médan cahaya dimodulasi ku SLM0 lajeng dikirimkeun ngaliwatan sistem 4f ka pesawat input konvolusi ONN. Sistem 4f diwangun ku dua lénsa sareng Panjang fokuss tina 100 mm (L1) jeung 50 mm (L2) nyadiakeun 0,5x magnification pikeun objék disandikeun salaku SLM0. Pesawat input lajeng dikirim kana tilu-lapisan convolutional ONN pikeun ngolah salajengna. Konvolusi ONN diwangun ku tilu fase modulator SLMs (model urang FSLM-4K70-P02). Fase SLMs gaduh 4094 × 2400 piksel sareng ukuran piksel nyaéta 3.74μm × 3.74μm. Lapisan konvolusi munggaran disandikeun salaku SLM1, sareng jarak antara pesawat input sareng SLM1 nyaéta 10cm. Saatos dimodulasi ku SLM1, balok dikirimkeun ka SLM2 ku pantulan tina beam splitters BS2 sareng BS3. Lapisan konvolusi kadua disandikeun salaku SLM2, sareng SLM1 sareng SLM2 20cm. Beam dimodulasi ku SLM2 lajeng dikirimkeun ka SLM3. Lapisan katilu anu disambungkeun pinuh disandi kana SLM3, kalayan jarak 10 cm antara SLM2 sareng SLM3. Beam dimodulasi ku SLM3 ieu propagated ka pesawat kaluaran konvolusi ONN ku pantulan ti beam splitter BS4, kalawan jarak 20cm antara SLM3 jeung pesawat kaluaran. Kaméra akuisisi (ukuran piksel 4.8μm, 1280 × 1024) disimpen dina pesawat kaluaran ONN convolutional pikeun ngarékam hasil inferensi. Kadé dicatet yén misalignment antara lapisan béda hiji konvolusi ONN nyata bisa nguraikeun kinerja na.

BUAH ARA. 1 Diagram skéma tina setelan ékspérimén tina jaringan konvolusional tilu lapis ONN. (A) Convolve parameter jeung koordinat unggal lapisan ONN. (B) Aparat ékspérimén pikeun konvolusi ONN. M, eunteung; POL, polarizer linier; BS, beam splitter; L, lensa; SLM, modulator cahaya spasial.

BUAH ARA. 2 Mékanisme rekonstruksi gambar bébas memori ngaliwatan stacking lapisan scattering. (A) Scattering diagram ngaliwatan sababaraha scatters. Unggal scatterer bisa dimodelkeun salaku lapisan scatterer ipis, kalawan N ngalambangkeun jumlah scatterers jeung d ngalambangkeun jarak antara scatterers. (B) Pola speckles dihasilkeun dina kaayaan scattering béda. Sosok di kénca ngabandingkeun spot kalawan épék memori optik (N = 1, d = 0) jeung spot tanpa épék memori optik (N> 1, d> 0). Gambar di beulah katuhu nembongkeun kurva korelasi sudut dina unggal hal, kalayan garis maya ngagambarkeun kurva korelasi sudut pikeun lapisan kaca datar tunggal. Satengah jangkungna sarta rubak kurva ieu nangtukeun widang tempoan gambar. (C) Konsep rekonstruksi gambar memori bébas dina tilu-lapisan convolutional ONN.

BUAH ARA. 3 Prinsip jaringan saraf konvolusional optik. (A) Tilu-lapisan convolutional ONN diwangun ku dua lapisan convolutional optik sarta hiji lapisan optik disambungkeun pinuh. (B) Struktur lapisan konvolusi kahiji ngandung salapan tipena béda inti. Unggal inti diwangun ku tilu struktur: fase vortex, fase acak, jeung fase grating. (C) Struktur fase lapisan konvolusi kadua dibagi kana 3 × 3 wewengkon. Fase unggal daérah diwangun ku prosés anu sami sareng lapisan konvolusi munggaran, hasilna 81 inti. (D) Kinerja ONN Convolutional dilatih dina tugas klasifikasi inferensi dumasar kana datasets MNIST sareng FashionMNIST. Gambar di luhur nembongkeun kurva learning dina unggal kasus. Gambar di handap ieu nembongkeun hasil klasifikasi eksperimen dina pesawat kaluaran ONN convolutional, jeung kuadrat dashed beureum ngalambangkeun wewengkon detektor dilatih ku jumlah pakait.

BUAH ARA. 4 Verifikasi ékspérimén rekonstruksi gambar bébas memori. (A) Hasil rekonstruksi ékspérimén tina konvolusi dilatih ONN sareng dua lapisan paburencay (N = 2). Garis kahiji nembongkeun gambar sabenerna obyék, jeung garis kadua nepi ka kaopat pakait jeung hasil rekonstruksi masing-masing d = 3 cm, d = 4 cm, jeung d = 5 cm. (B) Hasil rekonstruksi ékspérimén ONNs convolution dilatih kalawan sababaraha lapisan scattering (N> 2). Garis kahiji nepi ka kaopat pakait jeung kasus dimana N = 2, 3, 4, jeung 5, masing-masing. (C) Pangaruh fase vortex dina konvolusi ONN ditémbongkeun. Angka di beulah katuhu ngabandingkeun kurva kernel konvolusi sareng sareng tanpa fase vortex dina paburencay d = 5 cm sareng hasil rekonstruksi. Gambar di kénca nunjukeun yen struktur fase vortex béda bisa dipaké pikeun nimba informasi ujung arah béda tina objék input.

Gambar 5 nunjukkeun kinerja dinamis sareng seueur tugas tina ONN convolutional anu tiasa dilatih. (A) prosés inferensi dinamis (S1 jeung S2) pikeun rekonstruksi gambar bébas memori maké convolutional ONN. Pola titik input dimuat kana 60Hz SLM. (B) Kerangka ONN convolutional dua pancén dibuktikeun dina S3 pikeun pigura video inferensi multitasking pikeun ngahontal rekonstruksi gambar bébas memori. Outline tina lapisan katilu raster disambungkeun pinuh ditémbongkeun dina Gambar S17.

Parameter tina modulator cahaya spasial tipe amplitudo anu digunakeun dina percobaan ieu nyaéta kieu:

Parameter tina modulator cahaya spasial tipe fase anu digunakeun dina percobaan ieu nyaéta kieu:

Tulis di tungtung:
Dina widang pencitraan komputasi, jaringan saraf optik geus loba dipaké pikeun ngajawab masalah dina pencitraan hantu, holografi digital, mikroskop laminasi Fourier jeung widang lianna. Dina waktos anu sami, kamampuan pas data anu kuat sareng kamampuan solusi optimasi diajar jero ogé maénkeun peran anu ageung dina widang panyebaran pencitraan. Kalayan modulasi anu saé sareng kontrol tepat tina modulator cahaya spasial, kombinasi modulator lampu spasial sareng jaringan saraf optik bakal ngahasilkeun langkung seueur sparks.

Inpormasi artikel:
DOI: 10.1126/sciadv.adn2205