Tạo ảnh ba chiều 3D đa chiều bằng mạng nơ-ron tích chập hoàn toàn
Bộ điều biến ánh sáng không gian là một thiết bị quang học sử dụng các đặc tính riêng của nó để điều biến biên độ, pha và các thông số khác của ánh sáng đầu vào dưới sự điều khiển chủ động, và thu được sự phân bố trường ánh sáng mong muốn tại bề mặt tiếp nhận cuối cùng bằng cách điều khiển lượng tử hóa và độ định hướng của mặt sóng ánh sáng và chùm sóng ánh sáng. Việc ứng dụng bộ điều biến ánh sáng không gian vào mạng nơ-ron quang đã được phát triển trong nhiều thập kỷ, và với việc cải thiện độ chính xác điều biến của bộ điều biến ánh sáng không gian và liên tục tối ưu hóa các thuật toán tính toán, tiềm năng to lớn của mạng nơ-ron quang đã liên tục được khai thác, với các ứng dụng tiềm năng trong thị giác máy, xử lý hình ảnh y tế, mạng cảm biến quang và các lĩnh vực khác.
Bài báo này trình bày một phương pháp tạo ảnh ba chiều pha đa chiều sử dụng mạng nơ-ron tích chập hoàn toàn (FCN). Phương pháp này chủ yếu sử dụng một khung nhiễu xạ tiến-lùi để tính toán trường nhiễu xạ đa chiều, và một phương pháp thay thế từng lớp (L2RM) để xử lý mối quan hệ che khuất. Các trường nhiễu xạ được tính toán bởi phương pháp trước được đưa vào một FCN được thiết kế tốt, tận dụng khả năng khớp nối phi tuyến tính mạnh mẽ của nó để tạo ra ảnh ba chiều đa chiều của cảnh 3D. Phương pháp sau có thể cải thiện chất lượng tái tạo ảnh ba chiều bằng cách bổ sung thông tin của các đối tượng bị che khuất và làm mịn ranh giới của các lớp khác nhau trong quá trình tái tạo cảnh. Các thí nghiệm đã đạt được màn hình 3D tươi mới và động bằng cách tải ảnh ba chiều do máy tính tạo ra (CGH) lên thành phần cốt lõi là bộ điều biến ánh sáng không gian (SLM).
Một phần của quy trình thử nghiệm và kết quả thử nghiệm:
Một laser bán dẫn không phân cực có bước sóng 638 (±8) nm và công suất 30 mW đã được sử dụng trong các thí nghiệm, như thể hiện trong Hình 1. Đầu ra của sợi được đặt tại tiêu điểm của một thấu kính chuẩn trực có tiêu cự 100 mm để thu được sóng phẳng và một bộ lọc mật độ trung tính được sử dụng làm bộ suy giảm và phân cực để thu được ánh sáng phân cực thẳng. Một tấm bán sóng (HWP) được quay sao cho hướng phân cực ánh sáng được căn chỉnh với hướng của góc chuẩn trực LCOS, sau đó chèn một khẩu độ hình chữ nhật để thu được một mặt cắt hình chữ nhật. Ánh sáng tới được điều chế pha và phản xạ bằng bộ điều chế ánh sáng không gian (Zhongke Microstar FSLM-4K70-P02) và cảnh được tái tạo bằng cách phóng đại hơn nữa bằng thấu kính Fourier có tiêu cự 100 mm. Một bộ lọc không gian được sử dụng để bậc nhiễu xạ mong muốn đi qua và các bậc nhiễu xạ khác được lọc. Cảnh 3D được tái tạo và phóng to được chụp bằng máy ảnh.
Hình 1 Thiết lập thử nghiệm (bộ điều biến ánh sáng không gian kiểu pha, model: FSLM-4K70-P02)
Các thông số kỹ thuật của bộ điều biến ánh sáng không gian được sử dụng trong thí nghiệm như sau:
| Người mẫu | FSLM-4K70-P02 | Điều chế | loại pha |
| Loại LCOS | Sự phản xạ | Mức độ thang độ xám | 8 bit, thứ tự 256 |
| Nghị quyết | 4094×2400 | Kích thước hình ảnh | 3,74μm |
| Diện tích hiệu dụng | 0,7" | Pphạm vi hase | 2π@633nm |
| Hệ số lấp đầy | 90% | Sử dụng quang học | 60%@532nm |
| MỘTgóc định hướng | 0° | hiệu suất nhiễu xạ | ＞97%@32 bậc 633nm |
| Tần số làm mới | 30Hz | Phạm vi quang phổ | 420nm-750nm |
| Ngưỡng thiệt hại | 2W/cm² | Rthời gian phản hồi | Lên 10,8ms, xuống 18,5ms |
| Quyền lực đầu vào | 12V 2A | Giao diện dữ liệu | HDMI |
Hình 2. Quá trình tạo tập dữ liệu đồ họa 3D. A) Cảnh ngẫu nhiên 3D. B) Quy trình lấy mẫu. C) Ảnh cường độ. D) Ảnh chiều sâu. E) Tập dữ liệu đồ họa 3D.
Hình 3. Tạo ảnh ba chiều đa chiều với FCN. a) Tính toán trường nhiễu xạ đa chiều bằng cách sử dụng khuôn khổ nhiễu xạ trước-sau. b) Cấu trúc của FCN. c) Tính toán lỗi đa chiều.
Hình 4. So sánh chất lượng tái tạo. A) Cảnh mục tiêu. B) Tái tạo số theo phương pháp tiêu chuẩn và L2RM tương ứng. C) Tái tạo quang học theo phương pháp tiêu chuẩn và L2RM tương ứng.
Hình 5. Cảnh 3D phức tạp và ảnh ba chiều tương ứng. A) Ảnh cường độ và B) Ảnh chiều sâu của cảnh 3D. C) Ảnh ba chiều đa chiều được tạo bởi FCN.
Hình 6. Tái tạo số và tái tạo quang học của A) WH, B) DPH và C) L2RM. Các ảnh ở hàng 1, 3 và 5 thể hiện tái tạo số, trong khi hàng 2, 4 và 6 mô tả tái tạo quang học. Ở cột 1 và 2, máy ảnh lần lượt lấy nét vào mặt phẳng tiêu cự phía trước (“bóng đá”) và mặt phẳng tiêu cự phía sau (“guitar”) của cặp “bóng đá-guitar”. Ở cột 3 và 4, máy ảnh lần lượt lấy nét vào mặt phẳng tiêu cự phía trước (“máy bay”) và mặt phẳng tiêu cự phía sau (“con chó”) của cặp “máy bay-con chó”.
Hình 7. Các vật thể được tái tạo ở các mặt phẳng độ sâu khác nhau.
Được viết ở cuối:
Mạng nơ-ron quang học đã nhận được nhiều sự chú ý nhờ tiềm năng tính toán song song quy mô lớn, hoạt động công suất thấp, phản ứng nhanh và bộ điều biến ánh sáng không gian, vì các thiết bị nhiễu xạ đóng vai trò quan trọng trong mạng nơ-ron nhiễu xạ và được sử dụng trong nhiều lĩnh vực, chẳng hạn như tính toán hình ảnh ba chiều cho AR/VR, hình ảnh y sinh và cảm biến quang học. Dựa trên khả năng lập trình của mạng nơ-ron nhiễu xạ, các mạng nơ-ron nhiễu xạ hiệu suất cao hơn dự kiến sẽ được hiện thực hóa trong tương lai.