การถ่ายภาพการกระเจิงแบบไร้หน่วยความจำโดยใช้เครือข่ายประสาทเทียมแบบคอนโวลูชั่นความเร็วสูง

ตัวปรับแสงเชิงพื้นที่เป็นส่วนประกอบแบบไดนามิกชนิดหนึ่งที่สามารถปรับแอมพลิจูด เฟส และสถานะโพลาไรเซชันของแสงตกกระทบแบบเรียลไทม์ภายใต้การควบคุมของสัญญาณภายนอก การประยุกต์ใช้ตัวปรับแสงเชิงพื้นที่ในสาขา การถ่ายภาพแบบกระเจิง ไม่เพียงแต่สามารถใช้สร้างสนามแสงความร้อนเทียมแทนกระจกพื้นแบบเดิมได้เท่านั้น แต่ยังสามารถใช้เป็นวัตถุเป้าหมายสำหรับการวิจัยการถ่ายภาพแบบกระเจิงได้อีกด้วย การประยุกต์ใช้ตัวปรับแสงเชิงพื้นที่สามารถทำให้เกิดความคิดริเริ่มและความคล่องตัวในการควบคุมสนามแสงกระเจิงได้

ข้อมูลวิทยานิพนธ์:

ผลกระทบของหน่วยความจำแสงเป็นพื้นฐานสำคัญสำหรับวิธีการถ่ายภาพทั้งในระดับมหภาคและจุลภาคในสื่อกระเจิงที่ซับซ้อน ซึ่งรวมถึงเนื้อเยื่อขุ่นและชั้นกระเจิง อย่างไรก็ตาม การสร้างภาพใหม่ในสื่อกระเจิงอย่างรุนแรงโดยไม่ใช้ผลกระทบของหน่วยความจำแสงยังไม่ประสบความสำเร็จ ด้วยเหตุนี้ เราจึงแสดงให้เห็นถึงความสามารถในการสร้างภาพใหม่ในชั้นกระเจิงโดยไม่ใช้ผลกระทบของหน่วยความจำแสง โดยการพัฒนาโครงข่ายประสาทเทียมเชิงแสงแบบคอนโวลูชัน (ONN) หลายขั้นตอนที่ผสานรวมแกนประมวลผลแบบขนานหลายแกนที่ทำงานด้วยความเร็วแสง บนพื้นฐานของออปติกฟูริเยร์ การฝึก ONN แบบคอนโวลูชันแบบขนานและขั้นตอนเดียว จะถูกดึงคุณสมบัติออกมาโดยตรงเพื่อสร้างภาพใหม่โดยไม่ต้องใช้หน่วยความจำ และ มุมมอง ขยายได้สูงสุด 271 เท่า อุปกรณ์นี้สามารถกำหนดค่าใหม่แบบไดนามิกเพื่อสร้างภาพมัลติทาสก์ที่รวดเร็วเป็นพิเศษ ด้วยพลังการประมวลผล 1.57 เพตา การดำเนินการต่อวินาที (POPS) ประสบความสำเร็จในการสร้างแพลตฟอร์มการเรียนรู้ของเครื่องออปติคัลที่รวดเร็วและมีประสิทธิภาพเป็นพิเศษสำหรับการประมวลผลกราฟิก

ต่อไปนี้เป็นส่วนหนึ่งของกระบวนการทดลองและผล:
การตั้งค่าการทดลองของ ONN แบบคอนโวลูชันแสดงในรูปที่ 1 ในการทดลองนี้ มีการใช้ตัวปรับความเข้มการสะท้อน SLM0 (FSLM-HD70-A/P, ขนาดพิกเซล 8μm, 1920×1080) เพื่อสร้างอินพุตระดับพิกเซลที่สามารถตั้งโปรแกรมได้ของ ONN แบบคอนโวลูชัน จากนั้นสนามแสงที่ปรับโดย SLM0 จะถูกส่งผ่านระบบ 4f ไปยังระนาบอินพุตของ ONN แบบคอนโวลูชัน ระบบ 4f ประกอบด้วยเลนส์สองตัวที่มี ระยะโฟกัสs ที่ 100 มม. (L1) และ 50 มม. (L2) เพื่อให้ได้กำลังขยาย 0.5 เท่าสำหรับวัตถุที่เข้ารหัสเป็น SLM0 จากนั้นระนาบอินพุตจะถูกส่งไปยัง ONN แบบคอนโวลูชันสามชั้นเพื่อประมวลผลเพิ่มเติม ONN แบบคอนโวลูชันประกอบด้วย SLM ตัวปรับเฟสสามตัว (รุ่น FSLM-4K70-P02 ของเรา) SLM เฟสมี 4094×2400 พิกเซล และขนาดพิกเซลคือ 3.74μm×3.74μm ชั้นคอนโวลูชันชั้นแรกถูกเข้ารหัสเป็น SLM1 และระยะห่างระหว่างระนาบอินพุตและ SLM1 คือ 10 ซม. หลังจากถูกมอดูเลตโดย SLM1 ลำแสงจะถูกส่งไปยัง SLM2 โดยการสะท้อนจากตัวแยกลำแสง BS2 และ BS3 ชั้นคอนโวลูชันชั้นที่สองถูกเข้ารหัสเป็น SLM2 และ SLM1 และ SLM2 มีความยาว 20 ซม. จากนั้นลำแสงที่มอดูเลตโดย SLM2 จะถูกส่งไปยัง SLM3 เลเยอร์ที่สามที่เชื่อมต่ออย่างสมบูรณ์ถูกเข้ารหัสลงใน SLM3 โดยมีระยะห่าง 10 ซม. ระหว่าง SLM2 และ SLM3 ลำแสงที่ปรับโดย SLM3 จะถูกแพร่กระจายไปยังระนาบเอาต์พุตของ ONN แบบคอนโวลูชั่นโดยการสะท้อนจากตัวแยกลำแสง BS4 โดยมีระยะห่าง 20 ซม. ระหว่าง SLM3 และระนาบเอาต์พุต กล้องจับภาพ (ขนาดพิกเซล 4.8 ไมโครเมตร, 1280×1024) ถูกวางไว้บนระนาบเอาต์พุตของ ONN แบบคอนโวลูชั่นเพื่อบันทึกผลการอนุมาน สิ่งสำคัญที่ต้องทราบคือการจัดตำแหน่งที่ไม่ถูกต้องระหว่างเลเยอร์ต่างๆ ของ ONN แบบคอนโวลูชั่นอาจทำให้ประสิทธิภาพลดลงอย่างมาก

รูปที่ 1 แผนผังแสดงการติดตั้งการทดลองของเครือข่ายคอนโวลูชั่นสามชั้น ONN (A) คอนโวลูชั่นพารามิเตอร์และพิกัดของแต่ละชั้นของ ONN (B) อุปกรณ์ทดลองคอนโวลูชั่น ONN M, กระจก; POL, โพลาไรเซอร์เชิงเส้น; BS, ตัวแยกลำแสง; L, เลนส์; SLM, ตัวปรับแสงเชิงพื้นที่

รูปที่ 2 กลไกการสร้างภาพแบบไร้หน่วยความจำโดยการซ้อนชั้นกระเจิง (A) แผนภาพการกระเจิงผ่านชั้นกระเจิงหลายชั้น ชั้นกระเจิงแต่ละชั้นสามารถจำลองเป็นชั้นกระเจิงบางๆ โดย N แทนจำนวนชั้นกระเจิง และ d แทนระยะห่างระหว่างชั้นกระเจิง (B) รูปแบบของจุดที่เกิดขึ้นภายใต้สภาวะการกระเจิงที่แตกต่างกัน ภาพด้านซ้ายเปรียบเทียบจุดที่มีผลกระทบจากหน่วยความจำแสง (N = 1, d = 0) และจุดที่ไม่มีผลกระทบจากหน่วยความจำแสง (N > 1, d > 0) ภาพด้านขวาแสดงเส้นโค้งสหสัมพันธ์เชิงมุมในแต่ละกรณี โดยเส้นเสมือนแทนเส้นโค้งสหสัมพันธ์เชิงมุมสำหรับชั้นกระจกแบนชั้นเดียว ความสูงและความกว้างครึ่งหนึ่งของเส้นโค้งเหล่านี้กำหนดขอบเขตการมองเห็นของภาพ (C) แนวคิดการสร้างภาพแบบไร้หน่วยความจำใน ONN แบบคอนโวลูชันสามชั้น

รูปที่ 3 หลักการของโครงข่ายประสาทเทียมแบบคอนโวลูชันเชิงแสง (A) คอนโวลูชัน ONN แบบสามชั้นประกอบด้วยชั้นคอนโวลูชันเชิงแสงสองชั้นและชั้นออปติคัลที่เชื่อมต่อกันอย่างสมบูรณ์หนึ่งชั้น (B) โครงสร้างของชั้นคอนโวลูชันแรกประกอบด้วยนิวเคลียสเก้าประเภท แต่ละแกนประกอบด้วยโครงสร้างสามแบบ ได้แก่ เฟสวอร์เท็กซ์ เฟสสุ่ม และเฟสเกรตติง (C) โครงสร้างเฟสของชั้นคอนโวลูชันที่สองแบ่งออกเป็น 3 ส่วน เฟสของแต่ละส่วนถูกสร้างขึ้นด้วยกระบวนการเดียวกันกับชั้นคอนโวลูชันแรก ส่งผลให้มีนิวเคลียส 81 นิวเคลียส (D) ประสิทธิภาพคอนโวลูชัน ONN ที่ฝึกฝนในงานการจำแนกอนุมานโดยอิงจากชุดข้อมูล MNIST และ FashionMNIST รูปด้านบนแสดงเส้นโค้งการเรียนรู้ในแต่ละกรณี รูปต่อไปนี้แสดงผลการจำแนกเชิงทดลองบนระนาบเอาต์พุตของคอนโวลูชัน ONN โดยสี่เหลี่ยมประประสีแดงแสดงถึงบริเวณตัวตรวจจับที่ฝึกฝนด้วยตัวเลขที่สอดคล้องกัน

รูปที่ 4 การตรวจสอบการสร้างภาพแบบไร้หน่วยความจำโดยการทดลอง (A) ผลการสร้างภาพแบบทดลองของ ONN แบบคอนโวลูชั่นที่ฝึกแล้วซึ่งมีชั้นกระจายแสงสองชั้น (N = 2) บรรทัดแรกแสดงภาพจริงของวัตถุ และบรรทัดที่สองถึงสี่สอดคล้องกับผลการสร้างภาพของ d = 3 ซม., d = 4 ซม. และ d = 5 ซม. ตามลำดับ (B) ผลการสร้างภาพแบบทดลองของ ONN แบบคอนโวลูชั่นที่ฝึกแล้วซึ่งมีชั้นกระจายแสงหลายชั้น (N > 2) บรรทัดแรกถึงสี่สอดคล้องกับกรณีที่ N = 2, 3, 4 และ 5 ตามลำดับ (C) แสดงผลของเฟสวอร์เท็กซ์ต่อ ONN แบบคอนโวลูชั่น ภาพด้านขวาเปรียบเทียบเส้นโค้งเคอร์เนลคอนโวลูชั่นที่มีและไม่มีเฟสวอร์เท็กซ์ในการกระเจิงแสง d = 5 ซม. และผลการสร้างภาพ ภาพด้านซ้ายแสดงให้เห็นว่าโครงสร้างเฟสวอร์เท็กซ์ที่แตกต่างกันสามารถนำมาใช้เพื่อดึงข้อมูลขอบทิศทางที่แตกต่างกันของวัตถุอินพุตได้

รูปที่ 5 สาธิตประสิทธิภาพการทำงานแบบไดนามิกและมัลติทาสกิ้งของ ONN แบบคอนโวลูชันที่ฝึกได้ (A) กระบวนการอนุมานแบบไดนามิก (S1 และ S2) สำหรับการสร้างภาพแบบไร้หน่วยความจำโดยใช้ ONN แบบคอนโวลูชัน รูปแบบจุดอินพุตถูกโหลดเข้าสู่ SLM 60Hz (B) เฟรมเวิร์ก ONN แบบคอนโวลูชันของสองงานได้รับการสาธิตใน S3 สำหรับการอนุมานมัลติทาสกิ้งเฟรมวิดีโอเพื่อให้ได้การสร้างภาพแบบไร้หน่วยความจำ โครงร่างของเลเยอร์ที่สามของแรสเตอร์ที่เชื่อมต่ออย่างสมบูรณ์แสดงอยู่ในรูปที่ S17

พารามิเตอร์ของเครื่องปรับแสงเชิงพื้นที่ประเภทแอมพลิจูดที่ใช้ในการทดลองนี้มีดังนี้:

พารามิเตอร์ของเครื่องปรับแสงเชิงพื้นที่ชนิดเฟสที่ใช้ในการทดลองนี้มีดังนี้:

เขียนไว้ตอนท้ายว่า:
ในด้านการประมวลผลภาพ เครือข่ายประสาทเทียมเชิงแสงถูกนำมาใช้อย่างแพร่หลายเพื่อแก้ปัญหาต่างๆ เช่น การถ่ายภาพแบบโกสต์ โฮโลแกรมดิจิทัล กล้องจุลทรรศน์ฟูริเยร์แบบลามิเนต และสาขาอื่นๆ ขณะเดียวกัน ความสามารถในการปรับข้อมูลและความสามารถในการหาค่าที่เหมาะสมที่สุดของการเรียนรู้เชิงลึกก็มีบทบาทอย่างมากในด้านการถ่ายภาพแบบกระเจิง ด้วยการปรับละเอียดและการควบคุมที่แม่นยำของตัวปรับแสงเชิงพื้นที่ การผสมผสานระหว่างตัวปรับแสงเชิงพื้นที่และเครือข่ายประสาทเทียมเชิงแสงจะสร้างประกายไฟที่มากขึ้น

ข้อมูลบทความ:
DOI: 10.1126/sciadv.adn2205