Bezpaměťové rozptylové zobrazování založené na ultrarychlých konvolučních neuronových sítích

Prostorový modulátor světla je druh dynamické součástky, která dokáže modulovat amplitudu, fázi a polarizační stav dopadajícího světla v reálném čase pod kontrolou externího signálu. Aplikace prostorového modulátoru světla v oblasti Rozptylové zobrazování Lze jej použít nejen ke generování pseudotermálního světelného pole namísto tradičního matného skla, ale také jako cílový objekt pro výzkum rozptylového zobrazování. Aplikace prostorového modulátoru světla může realizovat iniciativu a manévrovatelnost při regulaci pole rozptýleného světla.

Informace o diplomové práci:

Optické paměťové efekty byly klíčovým základem pro makroskopické a mikroskopické zobrazovací metody v komplexních rozptylových prostředích, včetně zakalených tkání a skvrnitých vrstev. Rekonstrukce obrazu v silně rozptylových prostředích bez optického paměťového efektu však nebyla úspěšná. Za tímto účelem demonstrujeme schopnost rekonstruovat obrazy v rozptylové vrstvě bez optických paměťových efektů vývojem vícestupňové konvoluční optické neuronové sítě (ONN), která integruje více paralelních jader pracujících rychlostí světla. Na základě Fourierovy optiky, paralelního, jednokrokového konvolučního trénování ONN, jsou vlastnosti extrahovány přímo pro dosažení rekonstrukce obrazu bez paměti a... Zorné pole je až 271krát rozšířeno. Zařízení lze dynamicky překonfigurovat pro ultrarychlou rekonstrukci obrazu pro více úkolů s výpočetním výkonem 1,57 peta operací za sekundu (POPS), čímž se úspěšně vytvořila ultrarychlá a efektivní platforma optického strojového učení pro zpracování grafiky.

Následující část experimentálního procesu a výsledků je následující:
Experimentální uspořádání konvoluční ONN je znázorněno na obrázku 1. V experimentu se k generování programovatelného vstupu konvoluční ONN na úrovni pixelů používá modulátor intenzity odrazu SLM0 (FSLM-HD70-A/P, velikost pixelu 8μm, 1920×1080). Světelné pole modulované SLM0 je poté přenášeno systémem 4f do vstupní roviny konvoluční ONN. Systém 4f se skládá ze dvou čoček s Ohnisková vzdálenostVstupní rovina je poté odeslána do třívrstvé konvoluční ONN k dalšímu zpracování. Konvoluční ONN se skládá ze tří fázových modulačních SLM (náš model FSLM-4K70-P02). Fázové SLM mají rozlišení 4094×2400 pixelů a velikost pixelu je 3,74μm×3,74μm. První konvoluční vrstva je kódována jako SLM1 a vzdálenost mezi vstupní rovinou a SLM1 je 10 cm. Po modulaci pomocí SLM1 je paprsek odrazem od děličů paprsků BS2 a BS3 přenesen do SLM2. Druhá konvoluční vrstva je kódována jako SLM2 a SLM1 a SLM2 mají vzdálenost 20 cm. Paprsek modulovaný pomocí SLM2 je poté přenesen do SLM3. Třetí plně propojená vrstva je kódována do SLM3 se vzdáleností 10 cm mezi SLM2 a SLM3. Paprsek modulovaný SLM3 se šíří do výstupní roviny konvoluční ONN odrazem od děliče paprsku BS4 se vzdáleností 20 cm mezi SLM3 a výstupní rovinou. Akviziční kamera (velikost pixelu 4,8 μm, 1280×1024) byla umístěna na výstupní rovině konvoluční ONN pro záznam výsledků inference. Je důležité si uvědomit, že nesouosost mezi různými vrstvami konvoluční ONN může výrazně snížit její výkon.

Obr. 1 Schéma experimentálního uspořádání třívrstvé konvoluční sítě ONN. (A) Konvoluční parametry a souřadnice každé vrstvy ONN. (B) Experimentální zařízení pro konvoluční ONN. M, zrcadlo; POL, lineární polarizátor; BS, dělič paprsku; L, čočka; SLM, prostorový modulátor světla.

OBR. 2 Mechanismus bezpaměťové rekonstrukce obrazu pomocí vrstvení rozptylových vrstev. (A) Diagram rozptylu prostřednictvím více rozptylů. Každý rozptyl lze modelovat jako tenkou vrstvu rozptylu, kde N představuje počet rozptylů a d představuje vzdálenost mezi rozptyly. (B) Vzor skvrn vzniklých za různých podmínek rozptylu. Obrázek vlevo porovnává skvrny s efekty optické paměti (N = 1, d = 0) a skvrny bez efektů optické paměti (N > 1, d > 0). Obrázek vpravo ukazuje křivky úhlové korelace v každém případě, s virtuálními čarami představujícími křivky úhlové korelace pro jednu vrstvu plochého skla. Poloviční výška a šířka těchto křivek určují zorné pole obrazu. (C) Koncept bezpaměťové rekonstrukce obrazu v třívrstvé konvoluční ONN.

OBR. 3 Princip optických konvolučních neuronových sítí. (A) Třívrstvá konvoluční ONN se skládá ze dvou optických konvolučních vrstev a jedné optické plně propojené vrstvy. (B) Struktura první konvoluční vrstvy obsahuje devět různých typů jader. Každé jádro se skládá ze tří struktur: vírové fáze, náhodné fáze a mřížkové fáze. (C) Fázová struktura druhé konvoluční vrstvy je rozdělena do oblastí 3×3. Fáze každé oblasti je konstruována stejným procesem jako první konvoluční vrstva, což vede k 81 jádrům. (D) Výkon konvoluční ONN trénované v úlohách inferenční klasifikace na základě datových sad MNIST a FashionMNIST. Obrázek výše ukazuje křivku učení v každém případě. Následující obrázek ukazuje experimentální výsledky klasifikace na výstupní rovině konvoluční ONN, přičemž červené přerušované čtverce představují oblast detektoru trénovanou odpovídajícím číslem.

OBR. 4 Experimentální ověření rekonstrukce obrazu bez paměti. (A) Výsledky experimentální rekonstrukce trénované konvoluční ONN se dvěma rozptylovými vrstvami (N = 2). První řádek zobrazuje skutečný obraz objektu a druhý až čtvrtý řádek odpovídají výsledkům rekonstrukce pro d = 3 cm, d = 4 cm a d = 5 cm. (B) Výsledky experimentální rekonstrukce trénovaných konvolučních ONN s více rozptylovými vrstvami (N > 2). První až čtvrtý řádek odpovídají případům, kdy N = 2, 3, 4 a 5. (C) Je znázorněn vliv vírové fáze na konvoluční ONN. Obrázek vpravo porovnává křivky konvolučního jádra s vírovou fází a bez ní při rozptylu d = 5 cm a výsledky rekonstrukce. Obrázek vlevo ukazuje, že různé struktury vírové fáze lze použít k extrakci různých směrových informací o hranách vstupního objektu.

Obrázek 5 demonstruje dynamický a multitaskingový výkon trénovatelných konvolučních ONN. (A) Proces dynamické inference (S1 a S2) pro bezpaměťovou rekonstrukci obrazu pomocí konvoluční ONN. Vstupní bodový vzor je načten do 60Hz SLM. (B) V S3 je demonstrován rámec konvoluční ONN se dvěma úlohami pro multitaskingovou inferenci video snímků za účelem dosažení bezpaměťové rekonstrukce obrazu. Obrys třetí vrstvy plně propojeného rastru je znázorněn na obrázku S17.

Parametry amplitudového prostorového modulátoru světla použitého v tomto experimentu jsou následující:

Parametry fázového prostorového modulátoru světla použitého v tomto experimentu jsou následující:

Na konec napište:
V oblasti výpočetního zobrazování se optické neuronové sítě široce používají k řešení problémů v zobrazování duchů, digitální holografii, Fourierově laminační mikroskopii a dalších oblastech. Zároveň hraje v oblasti rozptylového zobrazování obrovskou roli výkonná schopnost fitování dat a optimalizace řešení hlubokého učení. Díky jemné modulaci a přesnému řízení prostorového modulátoru světla dokáže kombinace prostorového modulátoru světla a optické neuronové sítě produkovat více jisker.

Informace o článku:
DOI: 10.1126/sciadv.adn2205