การถ่ายภาพแบบกระเจิงไร้หน่วยความจำโดยใช้เครือข่ายประสาทเทียมแบบคอนโวลูชั่นความเร็วสูง

ตัวปรับแสงเชิงพื้นที่เป็นส่วนประกอบไดนามิกชนิดหนึ่งที่สามารถปรับแอมพลิจูด เฟส และสถานะโพลาไรเซชันของแสงตกกระทบแบบเรียลไทม์ภายใต้การควบคุมสัญญาณภายนอก การประยุกต์ใช้ตัวปรับแสงเชิงพื้นที่ในสาขาการถ่ายภาพแบบกระเจิงไม่เพียงแต่สามารถนำมาใช้เพื่อสร้างสนามแสงความร้อนเทียมแทนกระจกพื้นแบบเดิมได้เท่านั้น แต่ยังสามารถใช้เป็นวัตถุเป้าหมายสำหรับการวิจัยการถ่ายภาพแบบกระเจิงได้อีกด้วย การประยุกต์ใช้โมดูเลเตอร์แสงเชิงพื้นที่สามารถทำให้เกิดการริเริ่มและความคล่องตัวในการควบคุมสนามแสงกระเจิงได้
ข้อมูลวิทยานิพนธ์:

ผลกระทบของหน่วยความจำออปติกเป็นพื้นฐานสำคัญสำหรับวิธีการสร้างภาพในระดับมหภาคและจุลภาคในสื่อกระเจิงที่ซับซ้อน รวมถึงเนื้อเยื่อที่มีเมฆมากและชั้นที่มีจุด อย่างไรก็ตาม การสร้างภาพใหม่ในสื่อกระเจิงอย่างรุนแรงโดยไม่มีผลกระทบของหน่วยความจำออปติกไม่ประสบความสำเร็จ เพื่อจุดประสงค์นี้ เราจึงสาธิตความสามารถในการสร้างภาพใหม่ในชั้นกระเจิงโดยไม่มีผลกระทบของหน่วยความจำออปติกโดยการพัฒนาเครือข่ายประสาทเทียมออปติกแบบคอนโวลูชั่นหลายขั้นตอน (ONN) ที่ผสานรวมคอร์ขนานหลายคอร์ที่ทำงานด้วยความเร็วแสง โดยอิงตามออปติกฟูเรียร์ การฝึก ONN แบบคอนโวลูชั่นแบบขนานขั้นตอนเดียว คุณลักษณะต่างๆ จะถูกแยกออกมาโดยตรงเพื่อให้ได้การสร้างภาพใหม่โดยไม่ต้องใช้หน่วยความจำ และมุมมองขยายได้ถึง 271 เท่า อุปกรณ์สามารถกำหนดค่าใหม่แบบไดนามิกสำหรับการสร้างภาพมัลติทาสก์ที่รวดเร็วเป็นพิเศษด้วยพลังการประมวลผล 1.57 peta operations per second (POPS) ประสบความสำเร็จในการสร้างแพลตฟอร์มการเรียนรู้ของเครื่องออปติคัลที่รวดเร็วและมีประสิทธิภาพเป็นพิเศษสำหรับการประมวลผลกราฟิก
ต่อไปนี้เป็นส่วนหนึ่งของกระบวนการทดลองและผลการทดลอง:
การตั้งค่าการทดลองของ ONN แบบคอนโวลูชั่นแสดงอยู่ในรูปที่ 1 ในการทดลองนั้น จะใช้ตัวปรับความเข้มการสะท้อน SLM0 (FSLM-HD70-A/P, ขนาดพิกเซล 8μm, 1920×1080) เพื่อสร้างอินพุตระดับพิกเซลที่ตั้งโปรแกรมได้ของ ONN แบบคอนโวลูชั่น จากนั้นสนามแสงที่ปรับโดย SLM0 จะถูกส่งผ่านระบบ 4f ไปยังระนาบอินพุตของ ONN แบบคอนโวลูชั่น ระบบ 4f ประกอบด้วยเลนส์สองตัวที่มีระยะโฟกัสs ของ 100 มม. (L1) และ 50 มม. (L2) เพื่อให้มีกำลังขยาย 0.5 เท่าสำหรับวัตถุที่เข้ารหัสเป็น SLM0 จากนั้นระนาบอินพุตจะถูกส่งไปยัง ONN แบบคอนโวลูชั่นสามชั้นเพื่อประมวลผลเพิ่มเติม ONN แบบคอนโวลูชั่นประกอบด้วย SLM ตัวปรับเฟสสามตัว (รุ่น FSLM-4K70-P02 ของเรา) SLM เฟสมี 4094×2400 พิกเซลและขนาดพิกเซลคือ 3.74μm×3.74μm ชั้นคอนโวลูชั่นชั้นแรกเข้ารหัสเป็น SLM1 และระยะห่างระหว่างระนาบอินพุตและ SLM1 คือ 10 ซม. หลังจากที่ได้รับการปรับเปลี่ยนโดย SLM1 ลำแสงจะถูกส่งไปยัง SLM2 โดยการสะท้อนจากตัวแยกลำแสง BS2 และ BS3 ชั้นคอนโวลูชั่นชั้นที่สองเข้ารหัสเป็น SLM2 และ SLM1 และ SLM2 มีขนาด 20 ซม. จากนั้นลำแสงที่ปรับเปลี่ยนโดย SLM2 จะถูกส่งไปยัง SLM3 เลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์ชั้นที่สามถูกเข้ารหัสใน SLM3 โดยมีระยะห่าง 10 ซม. ระหว่าง SLM2 และ SLM3 ลำแสงที่ปรับโดย SLM3 จะถูกถ่ายทอดไปยังระนาบเอาต์พุตของ ONN แบบคอนโวลูชั่นโดยการสะท้อนจากตัวแยกลำแสง BS4 โดยมีระยะห่าง 20 ซม. ระหว่าง SLM3 และระนาบเอาต์พุต กล้องจับภาพ (ขนาดพิกเซล 4.8μm, 1280×1024) ถูกวางไว้บนระนาบเอาต์พุตของ ONN แบบคอนโวลูชั่นเพื่อบันทึกผลการอนุมาน สิ่งสำคัญคือต้องทราบว่าการจัดตำแหน่งที่ไม่ถูกต้องระหว่างเลเยอร์ต่างๆ ของ ONN แบบคอนโวลูชั่นอาจทำให้ประสิทธิภาพลดลงอย่างมาก

รูปที่ 1 แผนผังแสดงการติดตั้งอุปกรณ์ทดลองของเครือข่ายคอนโวลูชั่นสามชั้น ONN (A) คอนโวลูชั่นพารามิเตอร์และพิกัดของแต่ละชั้นของ ONN (B) อุปกรณ์ทดลองสำหรับคอนโวลูชั่น ONN M คือ กระจก; POL คือ โพลาไรเซอร์เชิงเส้น; BS คือ ตัวแยกลำแสง; L คือ เลนส์; SLM คือ ตัวปรับแสงเชิงพื้นที่

รูปที่ 2 กลไกการสร้างภาพใหม่แบบไร้หน่วยความจำโดยใช้การซ้อนเลเยอร์กระเจิง (A) แผนภาพการกระเจิงผ่านเลเยอร์กระเจิงหลายเลเยอร์ โดยเลเยอร์กระเจิงแต่ละเลเยอร์สามารถจำลองเป็นเลเยอร์กระเจิงบางๆ โดยที่ N แทนจำนวนเลเยอร์กระเจิง และ d แทนระยะห่างระหว่างเลเยอร์กระเจิง (B) รูปแบบของจุดที่เกิดขึ้นภายใต้เงื่อนไขการกระเจิงที่แตกต่างกัน รูปภาพทางด้านซ้ายเปรียบเทียบจุดที่มีเอฟเฟกต์หน่วยความจำออปติคอล (N = 1, d = 0) และจุดที่ไม่มีเอฟเฟกต์หน่วยความจำออปติคอล (N > 1, d > 0) รูปภาพทางด้านขวาแสดงเส้นโค้งความสัมพันธ์เชิงมุมในแต่ละกรณี โดยเส้นเสมือนแสดงถึงเส้นโค้งความสัมพันธ์เชิงมุมสำหรับเลเยอร์กระจกแบนเดี่ยว ความสูงครึ่งหนึ่งและความกว้างของเส้นโค้งเหล่านี้จะกำหนดขอบเขตการมองเห็นของรูปภาพ (C) แนวคิดการสร้างภาพใหม่แบบไร้หน่วยความจำใน ONN แบบคอนโวลูชั่นสามเลเยอร์

รูปที่ 3 หลักการของเครือข่ายประสาทเทียมแบบคอนโวลูชั่นออปติก (A) ONN แบบคอนโวลูชั่นสามชั้นประกอบด้วยชั้นคอนโวลูชั่นออปติกสองชั้นและชั้นออปติกที่เชื่อมต่อกันอย่างสมบูรณ์หนึ่งชั้น (B) โครงสร้างของชั้นคอนโวลูชั่นชั้นแรกประกอบด้วยนิวเคลียสเก้าประเภทที่แตกต่างกัน แต่ละแกนประกอบด้วยโครงสร้างสามอย่าง ได้แก่ เฟสวอร์เท็กซ์ เฟสสุ่ม และเฟสเกรตติ้ง (C) โครงสร้างเฟสของชั้นคอนโวลูชั่นชั้นที่สองแบ่งออกเป็น 3×3 บริเวณ เฟสของแต่ละบริเวณถูกสร้างขึ้นโดยกระบวนการเดียวกันกับชั้นคอนโวลูชั่นชั้นแรก ส่งผลให้มีนิวเคลียส 81 แห่ง (D) ประสิทธิภาพของ ONN แบบคอนโวลูชั่นที่ฝึกในงานการจำแนกอนุมานตามชุดข้อมูล MNIST และ FashionMNIST รูปภาพด้านบนแสดงเส้นโค้งการเรียนรู้ในแต่ละกรณี รูปภาพต่อไปนี้แสดงผลการจำแนกทดลองบนระนาบเอาต์พุตของ ONN แบบคอนโวลูชั่น โดยสี่เหลี่ยมประประสีแดงแสดงถึงบริเวณตัวตรวจจับที่ฝึกด้วยตัวเลขที่สอดคล้องกัน

รูปที่ 4 การตรวจสอบการสร้างภาพใหม่แบบทดลองที่ไม่มีหน่วยความจำ (A) ผลการสร้างภาพใหม่แบบทดลองของ ONN แบบคอนโวลูชั่นที่ฝึกแล้วโดยมีเลเยอร์กระเจิงสองชั้น (N = 2) บรรทัดแรกแสดงภาพจริงของวัตถุ และบรรทัดที่สองถึงสี่สอดคล้องกับผลการสร้างภาพของ d = 3 ซม. d = 4 ซม. และ d = 5 ซม. ตามลำดับ (B) ผลการสร้างภาพใหม่แบบทดลองของ ONN แบบคอนโวลูชั่นที่ฝึกแล้วโดยมีเลเยอร์กระเจิงหลายเลเยอร์ (N > 2) บรรทัดแรกถึงสี่สอดคล้องกับกรณีที่ N = 2, 3, 4 และ 5 ตามลำดับ (C) แสดงผลกระทบของเฟสของกระแสน้ำวนต่อ ONN แบบคอนโวลูชั่น รูปภาพทางขวาเปรียบเทียบเส้นโค้งเคอร์เนลคอนโวลูชั่นที่มีและไม่มีเฟสของกระแสน้ำวนในการกระเจิง d = 5 ซม. และผลการสร้างภาพใหม่ รูปภาพทางซ้ายแสดงให้เห็นว่าโครงสร้างเฟสของกระแสน้ำวนที่แตกต่างกันสามารถใช้เพื่อแยกข้อมูลขอบทิศทางที่แตกต่างกันของวัตถุอินพุตได้

รูปที่ 5 สาธิตประสิทธิภาพการทำงานแบบไดนามิกและมัลติทาสกิ้งของ ONN แบบคอนโวลูชั่นที่ฝึกได้ (A) กระบวนการอนุมานแบบไดนามิก (S1 และ S2) สำหรับการสร้างภาพแบบไม่ต้องใช้หน่วยความจำโดยใช้ ONN แบบคอนโวลูชั่น รูปแบบจุดอินพุตถูกโหลดลงใน SLM 60Hz (B) กรอบงาน ONN แบบคอนโวลูชั่นของสองงานได้รับการสาธิตใน S3 สำหรับการอนุมานมัลติทาสกิ้งเฟรมวิดีโอเพื่อให้ได้การสร้างภาพแบบไม่ต้องใช้หน่วยความจำ โครงร่างของเลเยอร์ที่สามของแรสเตอร์ที่เชื่อมต่ออย่างสมบูรณ์แสดงอยู่ในรูปที่ S17

พารามิเตอร์ของมอดูเลเตอร์แสงเชิงพื้นที่ประเภทแอมพลิจูดที่ใช้ในการทดลองนี้มีดังนี้:

พารามิเตอร์ของมอดูเลเตอร์แสงเชิงพื้นที่ชนิดเฟสที่ใช้ในการทดลองนี้มีดังนี้:

เขียนตอนท้าย:
ในสาขาการถ่ายภาพเชิงคำนวณ เครือข่ายประสาทเทียมแบบออปติกถูกนำมาใช้กันอย่างแพร่หลายเพื่อแก้ปัญหาในการถ่ายภาพแบบโกสต์ โฮโลแกรมดิจิทัล กล้องจุลทรรศน์แบบฟูเรียร์ลามิเนต และสาขาอื่นๆ ในเวลาเดียวกัน ความสามารถในการปรับข้อมูลที่มีประสิทธิภาพและความสามารถในการแก้ปัญหาการเพิ่มประสิทธิภาพจากการเรียนรู้เชิงลึกยังมีบทบาทสำคัญในสาขาการถ่ายภาพแบบกระเจิงอีกด้วย ด้วยการปรับละเอียดและการควบคุมที่แม่นยำของตัวปรับแสงเชิงพื้นที่ การผสมผสานระหว่างตัวปรับแสงเชิงพื้นที่และเครือข่ายประสาทเทียมแบบออปติกจะสร้างประกายไฟได้มากขึ้น

ข้อมูลบทความ :
DOI: 10.1126/sciadv.adn2205