Warum KI-Kameras die Art und Weise verändern, wie Objektive entwickelt werden

Die Kameraentwicklung folgte lange Zeit einer recht einfachen Logik:

Besserer Sensor → höhere Auflösung → bessere Kamera.

Dann kam die KI ins Spiel.

Plötzlich zeichnete die Kamera nicht mehr nur das Geschehen auf.

Es wurde erwartet, dass man es versteht.

Eine Überwachungskamera muss möglicherweise eine Person von einem Fahrzeug unterscheiden. Ein Roboter muss möglicherweise ein Hindernis erkennen. Eine Drohne muss möglicherweise ihre Umgebung verstehen, während sie sich mit hoher Geschwindigkeit bewegt.

Und dadurch entsteht ein Problem, dem nicht genügend Aufmerksamkeit geschenkt wird:

KI kann nur mit den visuellen Informationen arbeiten, die ihr die Kamera liefert.

Ein brillanter Algorithmus kann keine Details wiederherstellen, die das optische System nie erfasst hat.

Aus diesem Grund verändert KI stillschweigend die Art und Weise, wie Kameraobjektive konstruiert werden.

KI lässt schlechte Optik nicht verschwinden

Es ist verlockend zu glauben, dass immer leistungsfähigere KI-Modelle mittelmäßige Kameras ausgleichen werden.

Manchmal kann Computerfotografie helfen.

Eine Rauschunterdrückung kann ein Bild verbessern.

Durch das Schärfen können Kanten stärker wirken.

Durch die KI-Verstärkung können visuell plausible Details rekonstruiert werden.

Es gibt jedoch einen Unterschied zwischen der Verbesserung des Erscheinungsbilds eines Bildes und der Erfassung realistischerer Informationen.

Wenn ein Objekt aufgrund einer schlechten optischen Auflösung stark unscharf ist, kann die Software die ursprünglichen feinen Details nicht zuverlässig wiederherstellen.

Wenn ein Nachtbild fast kein verwertbares Signal enthält, kann ein Algorithmus nicht einfach zuverlässige visuelle Beweise erfinden.

Dies ist besonders wichtig für Sicherheits- und Industrieanwendungen, bei denen das Bild nicht zur Unterhaltung betrachtet wird.

Es wird genutzt, um Entscheidungen zu treffen.

Leistung bei schlechten Lichtverhältnissen wird zu einer KI-Anforderung

Eine der größten Herausforderungen für KI-Kameras ist schlechtes Licht.

Menschen können in dunklen Umgebungen oft vernünftige Urteile fällen.

Computer-Vision-Systeme sind weniger nachsichtig.

Wenn die Beleuchtung abnimmt, sind Kameras typischerweise mit Folgendem konfrontiert:

Erhöhtes Sensorrauschen

Geringerer Kontrast

Bewegungsunschärfe

Verlust von Farbinformationen

Reduzierte Kantendefinition

Diese Probleme können sich direkt auf die KI-Erkennung und -Klassifizierung auswirken.

Stellen Sie sich eine Person vor, die nachts über einen Parkplatz läuft.

In einer hellen Szene verfügt die KI möglicherweise über klare Informationen über den Umriss, die Kleidung, die Bewegung und die Umgebung der Person.

In einer schlecht beleuchteten Szene kann dieselbe Person zu einer verrauschten Silhouette werden.

Der Algorithmus ist nicht plötzlich dumm geworden.

Die Eingabe wurde einfach viel schwieriger zu interpretieren.

Dies ist einer der Gründe, warum optische Designs mit großer Apertur und wenig Licht für KI-Bildverarbeitungssysteme immer relevanter werden.

Kleinere Pixel stellen höhere optische Anforderungen

Moderne Sensoren erhöhen die Pixeldichte immer weiter.

Das erzeugt mehr Bilddaten, stellt aber auch höhere Anforderungen an das Objektiv.

Kleinere Pixel erfordern möglicherweise, dass das optische System feinere räumliche Details auflöst.

Wenn das Objektiv nicht mithalten kann, führt das Hinzufügen von Pixeln zu geringeren Erträgen.

Dies ist besonders wichtig für KI-Kameras, da das System möglicherweise auf relativ kleine visuelle Merkmale angewiesen ist.

Ein Mensch kann ein Objekt anhand seiner allgemeinen Form erkennen.

Ein KI-Modell kann auf subtilen Mustern, Kanten, Texturen oder Farbbeziehungen basieren.

Das Objektiv muss daher ein ausreichend sauberes Bild liefern, damit diese Funktionen die gesamte Bildverarbeitungspipeline überdauern.

Dies ist einer der Gründe, warum optisches Design und Sensorauswahl zunehmend gemeinsam erfolgen müssen.

Weitwinkelobjektive schaffen einen interessanten KI-Kompromiss

KI-Kameras benötigen oft ein großes Sichtfeld.

Roboter müssen ihre Umgebung verstehen.

Drohnen brauchen Situationsbewusstsein.

Überwachungskameras müssen große Bereiche abdecken.

Warum also nicht einfach das Objektiv breiter machen?

Denn Weitwinkeloptiken bringen ihre eigenen Herausforderungen mit sich.

Mit zunehmendem Sichtfeld müssen Designer Folgendes bewältigen:

Verzerrung

Kantenauflösung

Relative Beleuchtung

Chromatische Aberration

Bildgeometrie

Ein sehr weites Objektiv fängt möglicherweise mehr von der Umgebung ein, erzeugt aber in Randnähe eine schwächere Bildqualität.

Für die menschliche Betrachtung mag das akzeptabel sein.

Für KI kann es komplizierter werden.

Wenn Objekte in der Nähe des Bildrandes stark verzerrt oder unscharf sind, wird der Algorithmus aufgefordert, bereits beeinträchtigte visuelle Informationen zu interpretieren.

Dies führt zu einem grundlegenden Design-Kompromiss:

Mehr Sichtfeld im Vergleich zu mehr nutzbaren Details.

Die richtige Antwort hängt von der Anwendung ab.

Robotik: Linsen werden Teil des Wahrnehmungssystems

Der Aufstieg der verkörperten KI treibt dieses Problem noch weiter voran.

Ein Roboter kann sich nicht den Luxus leisten zu fragen:

„Kann bitte jemand das Licht anmachen?“

Es muss in der ihm gegebenen Umgebung funktionieren.

Diese Umgebung kann Folgendes enthalten:

Schatten

Ungleichmäßige Ausleuchtung

Reflektierende Oberflächen

Enge Räume

Menschen bewegen

Objekte in unterschiedlichen Entfernungen

Die Kamera ist somit Teil des Wahrnehmungssystems des Roboters.

Für das Sehen von Robotern muss beim Linsendesign Folgendes berücksichtigt werden:

Sichtfeld

Verzerrung

Leistung bei schlechten Lichtverhältnissen

Auflösung

Anforderungen an die Tiefenwahrnehmung

Größe und Gewicht

Ein Objektiv, das ein schönes Laborbild erzeugt, ist möglicherweise nicht unbedingt das richtige Objektiv für einen fahrenden Roboter.

Zuverlässigkeit in der Praxis ist wichtiger als eine perfekte Demo.

UAVs und Drohnen benötigen eine andere optische Balance

Drohnen stellen eine weitere interessante Herausforderung dar.

Eine Drohnenkamera benötigt möglicherweise:

Großes Sichtfeld + geringes Gewicht + gute Auflösung + Low-Light-Fähigkeit.

Das ist eine schwierige Kombination.

Ein weites Sichtfeld hilft der Drohne, ihre Umgebung zu verstehen.

Geringes Gewicht trägt zur Flugeffizienz bei.

Eine gute Auflösung hilft bei der Identifizierung von Objekten.

Die Leistung bei schlechten Lichtverhältnissen wird wichtig für die Dämmerung, die Dämmerung, den Innenflug oder schwierige Wetterbedingungen.

FPV-Systeme fügen eine weitere Anforderung hinzu:

Das Bild muss unmittelbar wirken.

Bewegungsunschärfe, schlechte Belichtung oder übermäßige Bildverzerrung können die visuelle Wahrnehmung des Piloten negativ beeinflussen.

Aus diesem Grund wird das Design von Drohnenobjektiven zunehmend zu einem Optimierungsproblem und nicht nur zu einer einfachen Auswahl der Brennweite.

Die KI-Überwachung wandelt sich von der Erkennung zum Verständnis

Überwachungskameras sind eines der deutlichsten Beispiele für diesen Übergang.

Die traditionelle Überwachung fragte:

„Hat sich etwas bewegt?“

Moderne KI-Überwachung fragt:

Wer ist umgezogen?

Welches Fahrzeug ist das?

In welche Richtung fährt es?

Welcher Gegenstand wird transportiert?

Ist das Verhalten ungewöhnlich?

Was geschah vor und nach der Veranstaltung?

Je ausgereifter die Analyse wird, desto wertvoller wird das Originalbild.

Aus diesem Grund erregen Vollfarbbilder bei schlechten Lichtverhältnissen Aufmerksamkeit.

Farbe kann nützliche Informationen liefern für:

Fahrzeugklassifizierung

Identifizierung der Kleidung

Objekterkennung

Szenenverständnis

Infrarot bleibt in sehr dunklen Umgebungen äußerst nützlich, aber wenn sichtbares Umgebungslicht verfügbar ist, kann ein optisches System mit großer Apertur dazu beitragen, Informationen zu bewahren, die sonst verschwinden würden, wenn eine Kamera auf monochrome Nachtsicht umschaltet.

Das Objektiv wird zu einer Komponente mit Datenqualität

Dies ist vielleicht die größte Veränderung, die KI in der optischen Technik mit sich bringt.

In der Vergangenheit wurden Objektive häufig als bildgebende Komponenten behandelt.

Jetzt sollten sie zunehmend als Datenqualitätskomponenten betrachtet werden.

Die Kamera erfasst Daten.

Das Objektiv bestimmt, wie viele nützliche optische Informationen den Sensor erreichen.

Der Sensor wandelt diese Informationen in elektrische Signale um.

Der ISP verarbeitet es.

Das KI-Modell interpretiert es.

Wenn die erste Stufe schwach ist, muss jede weitere Stufe härter arbeiten.

Das ist nicht immer eine gute Strategie.

Normalerweise ist es besser, gleich zu Beginn bessere Informationen zu erfassen, als enorme Rechenressourcen aufzuwenden, um sie anschließend zu reparieren.

Was bedeutet das für das Linsendesign?

Künftige KI-Kameraobjektive werden wahrscheinlich zunehmend auf Anwendungsanforderungen und nicht auf isolierte Spezifikationen ausgelegt sein.

Ingenieure müssen möglicherweise Folgendes berücksichtigen:

Sensorspezifisches optisches Design

Anstatt einfach nur ein Sensorformat zu unterstützen, müssen Objektive den tatsächlichen Sensoreigenschaften entsprechen.

Bessere Leistung bei schlechten Lichtverhältnissen

KI-Systeme benötigen auch bei eingeschränkter Beleuchtung verwertbare visuelle Informationen.

Konsistentere Kantenleistung

Weitwinkelsysteme benötigen verwertbare Informationen über das gesamte Bild, nicht nur in der Mitte.

KontrolliertVerzerrung

Einige Anwendungen können Verzerrungen tolerieren. Andere können das nicht.

Thermische Stabilität

Roboter, Fahrzeuge, Drohnen und Außenkameras können in großen Temperaturbereichen eingesetzt werden.

Anwendungsspezifische Optimierung

Das ideale Sicherheitsobjektiv ist nicht unbedingt das ideale Roboterobjektiv.

Die Zukunft gehört optischen Systemen, die speziell auf die Aufgabe zugeschnitten sind, die sie erfüllen müssen.

Was wir bei Boshi Optics lernen

BeiBoshi-OptikWir arbeiten in den Bereichen Sicherheitsüberwachung, Automobilbildgebung, medizinische Bildgebung, intelligente Geräte und andere optische Anwendungen. Bei diesem Einsatzspektrum wird eines besonders deutlich:

Es gibt keine allgemeingültige Definition eines „guten Objektivs“.

Ein Weitwinkelobjektiv kann für eine Kamera hervorragend sein und für eine andere völlig ungeeignet.

Ein hochauflösendes Objektiv ist für ein kostengünstiges Überwachungssystem möglicherweise unnötig, für die maschinelle Bildverarbeitung jedoch unerlässlich.

Ein Objektiv mit großer Apertur kann für eine Nachtüberwachungsanwendung von entscheidender Bedeutung sein, in einer kontrollierten Industrieumgebung jedoch weniger wichtig.

Dieser anwendungsorientierte Ansatz wird immer wichtiger, da Kameras Teil von KI-Systemen werden.

Die Linse sollte auf die Informationen ausgerichtet sein, die die KI erhalten muss – und nicht nur auf die Spezifikationen, die auf einem Produktblatt beeindruckend aussehen.

Die Zukunft: Vom „klaren Sehen“ zum „nützlichen Sehen“

KI verändert den Zweck von Kameras.

Eine Kamera dient nicht mehr nur dazu, ein attraktives Bild zu produzieren.

Es dient der Bereitstellung von Informationen.

Das verändert die optischen Prioritäten.

Die Frage ist nicht mehr nur:

„Wie scharf ist dieses Objektiv?“

Es wird:

„Liefert dieses Objektiv zuverlässige visuelle Informationen für die eigentliche Aufgabe des Systems?“

Aus Sicherheitsgründen kann dies bedeuten, dass das Erscheinungsbild einer Person nachts gewahrt bleibt.

Für die Robotik bedeutet dies möglicherweise, die Objekterkennung über ein weites Sichtfeld aufrechtzuerhalten.

Für Drohnen bedeutet dies möglicherweise, die Weitwinkelwahrnehmung mit der Leistung bei schlechten Lichtverhältnissen in Einklang zu bringen.

Für die industrielle Bildverarbeitung kann es bedeuten, dass winzige Fehler konsequent behoben werden müssen.

Die KI-Revolution mag von Algorithmen vorangetrieben werden, aber Algorithmen müssen immer noch untersucht werden.

Und deshalb wird die Zukunft des KI-Sehens auch von der Optik geprägt sein.