Die neueste Lumos-Computervisionsforschung schlägt vor, Porträtbilder über eine virtuelle Beleuchtungsbühne und künstliche auf reale Anpassung umzulenken

Wenn Sie jemals mit Fotobearbeitung gearbeitet haben, wissen Sie wahrscheinlich, wie schwierig es sein kann, die Beleuchtung eines Selfies anzupassen, wenn Sie eine Individual von einer Umgebung in eine andere bewegen. Sie müssen die Blitzquellen in der neuen Umgebung verfolgen und sicherstellen, dass das Foto richtig bearbeitet wird, damit das Foto dort natürlich aussieht. Das erneute Beleuchten des Bildes ist ein schwieriges Drawback.

Die Bildwiederbelichtung versucht, das Objekt des Fotos neu zu beleuchten, als ob es in einer Umgebung mit Zielbeleuchtung von einem Porträtporträt des Objekts und einer Umgebungskarte der Objektbeleuchtung vorhanden wäre. Dieser Prozess kann manuell durchgeführt werden, wie es seit Jahren in professionellen Umgebungen durchgeführt wird. Wir sind jedoch mehr daran interessiert, wie wir dies automatisieren können, um die Dinge zu beschleunigen und eine gelegentliche Verwendung wie in Smartphones zu ermöglichen.

Das Verständnis der Geometrie und der Komponenten einer 3D-Szene ist für die Nachahmung komplexer Beleuchtungsinteraktionen, wie z. B. globaler Beleuchtung, unerlässlich. Daher ist es sehr schwierig, ohne Vorkenntnisse ein Bild aus einem 2D-Bild in freier Wildbahn zu reanimieren.

Vor der Ära des Deep Studying wurde vertikale Beleuchtung mit früheren Informationen wie 3D-Gesichtsvordergründen, intrinsischen Bildern und Type aus Schattierung oder Musterübertragungsanwendung durchgeführt. Diese Modelle sind oft unzureichend in Bezug auf komplizierte Hautoberflächen und unterirdische Reflexionen oder eine große Auswahl an Kleidung, Frisuren oder komplizierten Reflexionsmustern zwischen Brillen und anderen Accessoires.

Wie bei vielen Anwendungen haben sich Deep-Studying-Methoden in den letzten Jahren auch mit der Bildumleitung befasst. Wie bei allen Deep-Studying-Lösungen ist jedoch die Notwendigkeit eines großen Datensatzes das erste, was gelöst werden muss. Um das Bild neu zu beleuchten, kann das Erstellen des Datensatzes aufgrund der einschränkenden Natur des Issues etwas kompliziert sein, was bedeutet, dass es Tausende von verschiedenen Beleuchtungsbedingungen für dasselbe Bild geben kann.

Viele Studien verwenden die physikalische Beleuchtungsstufe, um den Datensatz zu erstellen, um eine Deep-Studying-Methode für die Bildwiederbeleuchtung zu trainieren. Diese physische Bühne ist eine kugelförmige Beleuchtungsanordnung, die gleichmäßig über eine Kugel verteilt ist und Hunderte oder Tausende von programmierbaren Innenlichtquellen aufweist. Jede Lichtquelle kann eine einzigartige Beleuchtungsrichtung bereitstellen.

Diese Lichtquellen werden mit einer Price von jeweils einem Licht (OLAT) aktiviert, und es werden verschiedene Selfies bei unterschiedlichen Lichtverhältnissen aufgenommen. Paare der zurückgegebenen subjektiven Bilder und ihrer begleitenden Zielumgebungskarten bilden jede Probe in dem Datensatz. Diese Paare werden dann verwendet, um ein Deep-Studying-Modell zu trainieren, das versucht, das beleuchtete Bild vorherzusagen, indem es ein Eingabebild und eine Karte einer Zielumgebung bereitstellt.

Es ist teuer, eine Photovoltaik-Bühne zu bauen, auch wenn es für die Berechnung der Grundwahrheit nützlich ist. Darüber hinaus ist die Vorbereitung eines Lichttheaters nur der Anfang. Um Daten zu sammeln, müssen noch viele Personen gefunden werden, die im Lichtstativ sitzen bleiben. Ebenso erfordern nachfolgende OLAT-Scans zeitaufwändige und arbeitsintensive Vorgänge zur Erfassung und Analyse.

LUMOS löst dieses Drawback bei der Einrichtung von Datensätzen, indem Dinge in den virtuellen Raum verschoben werden.

Das Einrichten des Standarddatensatzes ist ein schwieriger Prozess, da er realistisch genug sein muss, um das Netzwerk zu trainieren. Daher basiert LUMOS auf der Hauptbeobachtung, dass das Umleitungsproblem in zwei Teile geteilt werden kann. Die erste besteht darin, zu lernen, physikalisch basierte Beleuchtungseigenschaften mithilfe synthetischer Daten nachzuahmen, die durch Trajektorienverfolgung generiert werden, und die zweite besteht darin, zu lernen, realistische Porträts zu synthetisieren.

Ein physikalisch basierter Renderer wird verwendet, um eine virtuelle Beleuchtungsbühne aufzubauen, um zuvor aufgenommene photogrammetrische Scans erneut zu beleuchten, um den Trainingsdatensatz zu erstellen. Photogrammetriebasierte Gesichtsscans sind viel einfacher zu sammeln als OLAT-Scans, sodass der Datensatz vielfältiger sein kann.

Durch das Erstellen von Datensätzen in einer virtuellen Umgebung entfällt der Aufwand, eine Lichtbühne zu erstellen und Daten zu sammeln, während reale Personen dort minutenlang sitzen. Besteht der Datensatz jedoch nur aus synthetischen Selfies, dann kann sich das Deep-Studying-Modell von der Realität lösen. LUMOS verwendet reale Bilder, um die im Bild-Resampling-Netzwerk erlernten Zwischendarstellungen anzupassen, um dieses Drawback zu überwinden. Der selbstüberwachte Verlust der Beleuchtungskonsistenz wird verwendet, um das Gitter zu zwingen, während der Feldkonditionierung eine konstante Neubeleuchtung aufrechtzuerhalten.

Schließlich fragten sich die Autoren: „Wie wäre es mit einer Wiederbelebung des Movies?“ Eine LUMOS-Erweiterung für einen Video-Anwendungsfall. Da das Durchführen einer Rahmen-für-Rahmen-Umrahmung von Bildern zu Flimmereffekten geführt hätte, wurde die Bild-zu-Video-Überbrückung als Sache der Halbbildanpassung entworfen, und derselbe Ansatz wird während der Erstellung der Halbbildanpassung des synthetischen Bildes angewendet -echter Datensatz.

Am Ende erhält man LUMOS. Ein synthetischer Einzelbild-Reillumination-Datensatz mit sehr unterschiedlichen Bildern wird vorgeschlagen, um zu zeigen, dass das Reillumination-Drawback ohne die physikalische Beleuchtungsphase angegangen werden kann. Selbstüberwachte Verluste werden vorgeschlagen, um die Konsistenz der Beleuchtung sicherzustellen, während Sie lernen, sich anzupassen. Experimente haben gezeigt, dass LUMOS bei der Nachbildung von Fotos und Movies ein bemerkenswertes Ergebnis erzielen kann.

This Article is written as a analysis abstract article by Marktechpost Employees primarily based on the analysis paper 'Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation'. All Credit score For This Analysis Goes To Researchers on This Venture. Take a look at the paper, demo and project.

Please Do not Neglect To Be a part of Our ML Subreddit


Akram Cetinkaya hat einen Bachelor-Abschluss. 2018 und M.A. 2019 an der Ozyegin College, Istanbul, Türkei. Er hat seinen Grasp geschrieben. Eine Diplomarbeit zur Bildrauschunterdrückung mittels Deep Convolutional Networks. Derzeit verfolgt er einen Ph.D. Abschluss an der Universität Klagenfurt, Österreich, und arbeitet als Forscherin im ATHENA-Projekt. Seine Forschungsinteressen umfassen Deep Studying, Laptop Imaginative and prescient und Multimedia Networking.


#Die #neueste #LumosComputervisionsforschung #schlägt #vor #Porträtbilder #über #eine #virtuelle #Beleuchtungsbühne #und #künstliche #auf #reale #Anpassung #umzulenken

Leave a Comment

Your email address will not be published. Required fields are marked *