Απεικόνιση σκέδασης χωρίς μνήμη βασισμένη σε εξαιρετικά γρήγορα συνελικτικά νευρωνικά δίκτυα

Ο χωρικός διαμορφωτής φωτός είναι ένα είδος δυναμικού στοιχείου που μπορεί να διαμορφώσει το πλάτος, τη φάση και την κατάσταση πόλωσης του προσπίπτοντος φωτός σε πραγματικό χρόνο υπό τον έλεγχο εξωτερικού σήματος. Η εφαρμογή του χωρικού διαμορφωτή φωτός στον τομέα της σκέδασης απεικόνισης δεν μπορεί μόνο να χρησιμοποιηθεί για τη δημιουργία ψευδοθερμικού πεδίου φωτός αντί για το παραδοσιακό θολωμένο γυαλί, αλλά μπορεί επίσης να χρησιμοποιηθεί ως αντικείμενο-στόχος για την έρευνα απεικόνισης σκέδασης. Η εφαρμογή του χωρικού διαμορφωτή φωτός μπορεί να επιτύχει πρωτοβουλία και ευελιξία στη ρύθμιση του σκεδαζόμενου πεδίου φωτός.
Πληροφορίες διατριβής:

Τα φαινόμενα οπτικής μνήμης αποτελούν βασική βάση για μακροσκοπικές και μικροσκοπικές μεθόδους απεικόνισης σε σύνθετα μέσα σκέδασης, συμπεριλαμβανομένων των θολωμένων ιστών και των κηλιδωτών στρωμάτων. Ωστόσο, η ανακατασκευή εικόνας σε μέσα με ισχυρή σκέδαση χωρίς το φαινόμενο οπτικής μνήμης δεν ήταν επιτυχής. Για το σκοπό αυτό, επιδεικνύουμε την ικανότητα ανακατασκευής εικόνων σε ένα στρώμα σκέδασης χωρίς φαινόμενα οπτικής μνήμης, αναπτύσσοντας ένα πολυβάθμιο συνελικτικό οπτικό νευρωνικό δίκτυο (ONN) που ενσωματώνει πολλαπλούς παράλληλους πυρήνες που λειτουργούν με την ταχύτητα του φωτός. Με βάση την οπτική Fourier, την παράλληλη, μονοβάθμια εκπαίδευση συνελικτικής ONN, τα χαρακτηριστικά εξάγονται απευθείας για να επιτευχθεί ανακατασκευή εικόνας χωρίς μνήμη και το οπτικό πεδίο επεκτείνεται έως και 271 φορές. Η συσκευή μπορεί να αναδιαμορφωθεί δυναμικά για εξαιρετικά γρήγορη ανακατασκευή εικόνας πολλαπλών εργασιών με υπολογιστική ισχύ 1,57 peta ανά δευτερόλεπτο (POPS), δημιουργώντας με επιτυχία μια εξαιρετικά γρήγορη και αποτελεσματική πλατφόρμα οπτικής μηχανικής μάθησης για την επεξεργασία γραφικών.
Τα ακόλουθα αποτελούν μέρος της πειραματικής διαδικασίας και των αποτελεσμάτων:
Η πειραματική διάταξη του συνελικτικού ONN φαίνεται στο Σχήμα 1. Στο πείραμα, ένας διαμορφωτής ανακλαστικής έντασης SLM0 (FSLM-HD70-A/P, μέγεθος pixel 8μm, 1920×1080) χρησιμοποιείται για τη δημιουργία της προγραμματιζόμενης εισόδου σε επίπεδο pixel του συνελικτικού ONN. Το φωτεινό πεδίο που διαμορφώνεται από το SLM0 μεταδίδεται στη συνέχεια μέσω ενός συστήματος 4f στο επίπεδο εισόδου του συνελικτικού ONN. Το σύστημα 4f αποτελείται από δύο φακούς με εστιακά μήκη 100 mm (L1) και 50 mm (L2) για να παρέχει μεγέθυνση 0,5x για αντικείμενα που κωδικοποιούνται ως SLM0. Το επίπεδο εισόδου αποστέλλεται στη συνέχεια στο συνελικτικό ONN τριών στρωμάτων για περαιτέρω επεξεργασία. Το συνελικτικό ONN αποτελείται από τριφασικούς διαμορφωτές SLM (το μοντέλο μας FSLM-4K70-P02). Οι SLM φάσης έχουν 4094×2400 pixel και το μέγεθος pixel είναι 3,74μm×3,74μm. Το πρώτο στρώμα συνέλιξης κωδικοποιείται ως SLM1 και η απόσταση μεταξύ του επιπέδου εισόδου και του SLM1 είναι 10 cm. Αφού διαμορφωθεί από το SLM1, η δέσμη μεταδίδεται στο SLM2 μέσω ανάκλασης από τους διαχωριστές δέσμης BS2 και BS3. Το δεύτερο στρώμα συνέλιξης κωδικοποιείται ως SLM2 και τα SLM1 και SLM2 έχουν μήκος 20 cm. Η δέσμη που διαμορφώνεται από το SLM2 μεταδίδεται στη συνέχεια στο SLM3. Ένα τρίτο πλήρως συνδεδεμένο στρώμα κωδικοποιείται στο SLM3, με απόσταση 10 cm μεταξύ SLM2 και SLM3. Η δέσμη που διαμορφώνεται από το SLM3 διαδίδεται στο επίπεδο εξόδου του ONN συνέλιξης μέσω ανάκλασης από τον διαχωριστή δέσμης BS4, με απόσταση 20 cm μεταξύ SLM3 και του επιπέδου εξόδου. Η κάμερα λήψης (μέγεθος pixel 4,8μm, 1280×1024) τοποθετήθηκε στο επίπεδο εξόδου του ONN συνέλιξης για να καταγράψει τα αποτελέσματα συμπερασμάτων. Είναι σημαντικό να σημειωθεί ότι η κακή ευθυγράμμιση μεταξύ των διαφορετικών στρωμάτων ενός ONN συνέλιξης μπορεί να υποβαθμίσει σημαντικά την απόδοσή του.

ΣΧ. 1 Σχηματικό διάγραμμα πειραματικής διάταξης τριστρωματικού συνελικτικού δικτύου ONN. (Α) Συνελικώστε τις παραμέτρους και τις συντεταγμένες κάθε στρώσης του ONN. (Β) Πειραματική συσκευή για συνελικτικό ONN. M, κάτοπτρο· POL, γραμμικός πολωτής· BS, διαχωριστής δέσμης· L, φακός· SLM, χωρικός διαμορφωτής φωτός.

ΣΧ. 2 Ο μηχανισμός ανακατασκευής εικόνας χωρίς μνήμη μέσω στοίβαξης στρώσεων σκέδασης. (Α) Διάγραμμα σκέδασης μέσω πολλαπλών σκέδασης. Κάθε σκέδαση μπορεί να μοντελοποιηθεί ως μια λεπτή στρώση σκέδασης, με το N να αντιπροσωπεύει τον αριθμό των σκέδασης και το d να αντιπροσωπεύει την απόσταση μεταξύ των σκέδασης. (Β) Το μοτίβο των κηλίδων που παράγονται υπό διαφορετικές συνθήκες σκέδασης. Το σχήμα στα αριστερά συγκρίνει κηλίδες με εφέ οπτικής μνήμης (N = 1, d = 0) και κηλίδες χωρίς εφέ οπτικής μνήμης (N > 1, d > 0). Το σχήμα στα δεξιά δείχνει τις καμπύλες γωνιακής συσχέτισης σε κάθε περίπτωση, με εικονικές γραμμές που αντιπροσωπεύουν τις καμπύλες γωνιακής συσχέτισης για ένα μόνο επίπεδο στρώμα γυαλιού. Το μισό ύψος και το μισό πλάτος αυτών των καμπυλών καθορίζουν το οπτικό πεδίο της εικόνας. (Γ) Η έννοια της ανακατασκευής εικόνας χωρίς μνήμη σε τριστρωματικό συνελικτικό ONN.

ΣΧ. 3 Αρχή των οπτικών συνελικτικών νευρωνικών δικτύων. (Α) Το τριστρωματικό συνελικτικό ONN αποτελείται από δύο οπτικά συνελικτικά στρώματα και ένα οπτικά πλήρως συνδεδεμένο στρώμα. (Β) Η δομή του πρώτου στρώματος συνελικτικής δομής περιέχει εννέα διαφορετικούς τύπους πυρήνων. Κάθε πυρήνας αποτελείται από τρεις δομές: φάση στροβίλου, τυχαία φάση και φάση πλέγματος. (Γ) Η δομή φάσης του δεύτερου στρώματος συνελικτικής δομής διαιρείται σε περιοχές 3×3. Η φάση κάθε περιοχής κατασκευάζεται με την ίδια διαδικασία όπως το πρώτο στρώμα συνελικτικής δομής, με αποτέλεσμα 81 πυρήνες. (Δ) Απόδοση συνελικτικής ONN εκπαιδευμένη σε εργασίες ταξινόμησης συμπερασμάτων με βάση τα σύνολα δεδομένων MNIST και FashionMNIST. Το παραπάνω σχήμα δείχνει την καμπύλη εκμάθησης σε κάθε περίπτωση. Το ακόλουθο σχήμα δείχνει τα αποτελέσματα πειραματικής ταξινόμησης στο επίπεδο εξόδου της συνελικτικής ONN, με τα κόκκινα διακεκομμένα τετράγωνα να αντιπροσωπεύουν την περιοχή ανιχνευτή που έχει εκπαιδευτεί από τον αντίστοιχο αριθμό.

ΣΧ. 4 Πειραματική επαλήθευση ανακατασκευής εικόνας χωρίς μνήμη. (Α) Αποτελέσματα πειραματικής ανακατασκευής ενός εκπαιδευμένου ONN συνέλιξης με δύο στρώματα σκέδασης (N = 2). Η πρώτη γραμμή δείχνει την πραγματική εικόνα του αντικειμένου και η δεύτερη έως η τέταρτη γραμμή αντιστοιχούν στα αποτελέσματα ανακατασκευής d = 3 cm, d = 4 cm και d = 5 cm, αντίστοιχα. (Β) Αποτελέσματα πειραματικής ανακατασκευής εκπαιδευμένων ONN συνέλιξης με πολλαπλά στρώματα σκέδασης (N > 2). Οι πρώτες έως οι τέταρτες γραμμές αντιστοιχούν σε περιπτώσεις όπου N = 2, 3, 4 και 5, αντίστοιχα. (Γ) Εμφανίζεται η επίδραση της φάσης στροβιλισμού στο ONN συνέλιξης. Το σχήμα στα δεξιά συγκρίνει τις καμπύλες του πυρήνα συνέλιξης με και χωρίς φάση στροβιλισμού σε σκέδαση d = 5 cm και τα αποτελέσματα ανακατασκευής. Το σχήμα στα αριστερά δείχνει ότι διαφορετικές δομές φάσης στροβιλισμού μπορούν να χρησιμοποιηθούν για την εξαγωγή διαφορετικών πληροφοριών κατευθυντικών ακμών του αντικειμένου εισόδου.

Το Σχήμα 5 δείχνει τη δυναμική και πολυδιεργασιακή απόδοση των εκπαιδεύσιμων συνελικτικών ONN. (Α) Διαδικασία δυναμικής συμπερασματολογίας (S1 και S2) για ανακατασκευή εικόνας χωρίς μνήμη χρησιμοποιώντας συνελικτικό ONN. Το μοτίβο κηλίδας εισόδου φορτώνεται στο SLM 60Hz. (Β) Το πλαίσιο συνελικτικού ONN δύο εργασιών παρουσιάζεται στο S3 για συμπερασματολογία πολλαπλών εργασιών καρέ βίντεο για την επίτευξη ανακατασκευής εικόνας χωρίς μνήμη. Το περίγραμμα του τρίτου επιπέδου πλήρως συνδεδεμένου ράστερ φαίνεται στο Σχήμα S17.

Οι παράμετροι του διαμορφωτή χωρικού φωτός τύπου πλάτους που χρησιμοποιήθηκε σε αυτό το πείραμα είναι οι εξής:

Οι παράμετροι του διαμορφωτή χωρικού φωτός τύπου φάσης που χρησιμοποιήθηκε σε αυτό το πείραμα είναι οι εξής:

Γράψε στο τέλος:
Στον τομέα της υπολογιστικής απεικόνισης, τα οπτικά νευρωνικά δίκτυα έχουν χρησιμοποιηθεί ευρέως για την επίλυση προβλημάτων στην απεικόνιση φαντασμάτων, την ψηφιακή ολογραφία, τη μικροσκοπία ελασματοποίησης Fourier και άλλους τομείς. Ταυτόχρονα, η ισχυρή ικανότητα προσαρμογής δεδομένων και η ικανότητα βελτιστοποίησης λύσεων της βαθιάς μάθησης παίζουν επίσης τεράστιο ρόλο στον τομέα της απεικόνισης σκέδασης. Με την λεπτή διαμόρφωση και τον ακριβή έλεγχο του χωρικού διαμορφωτή φωτός, ο συνδυασμός χωρικού διαμορφωτή φωτός και οπτικού νευρωνικού δικτύου θα παράγει περισσότερες σπίθες.

Πληροφορίες άρθρου:
DOI: 10.1126/sciadv.adn2205