Sony stworzyło matrycę z układem sztucznej inteligencji

Dziś chyba nikt już nie ma złudzeń, że to właśnie „fotografia obliczeniowa” może być kolejną ważną rewolucją na rynku foto. Wszyscy dobrze wiemy ile dobrego z miniaturowych sensorów są w stanie wyciągnąć inżynierowie smartfonów za pomocą zaawansowanych algorytmów przetwarzania obrazu. Czy w końcu producenci aparatów przełożą tę ideę na większy format?

Być może już niedługo będziemy mieć do czynienia z małą rewolucją, którą zapoczątkują rozwiązania przemysłowe. Sony właśnie zaprezentowało pierwsze na świecie "inteligentne" matryce (IMX500 i IMX501) z wbudowanym procesorem AI.

Wbudowane w matrycę układy AI mają znacznie usprawnić i przyspieszyć proces przetwarzania obrazów i zawartych w nim metadanych

„Nowe przetworniki mają konfigurację warstwową i składają się bloku pikseli i bloku układów logicznych. Są pierwszymi na świecie przetwornikami obrazu, w których funkcje analizy i przetwarzania obrazu z użyciem sztucznej inteligencji są realizowane przez sam blok układów logicznych. Sygnał rejestrowany przez blok pikseli jest przetwarzany z użyciem sztucznej inteligencji w samym przetworniku. Eliminuje to zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, umożliwiając rozwój systemów Edge AI.” - pisze o nowych konstrukcjach producent.

W założeniu producenta, takie rozwiązanie znacznie zwiększy możliwości urządzeń ze sfery Internetu rzeczy (IoT), które korzystają z połączenia sieciowego w celu przetworzenia zebranego materiału. Przykładowo mogą to być głośniki z asystentem głosowym, czy systemy monitoringu sklepowego. Dzięki temu, że niezbędne metadane będą przetwarzane na poziomie sensora cały proces stać ma się znacznie szybszy i tańszy w realizacji, otwierając nowe możliwości np. zakresie śledzenia zachowań klientów.

Jak może skorzystać na tym fotografia?

Nowe matryce, choć nie mają wiele wspólnego z rynkiem fotografii pokazują ciekawy kierunek rozwoju, którym może w przyszłości podążyć branża foto. Przede wszystkim otwiera to ciekawe możliwości w zakresie bezpośredniego połączenia z siecią, które prędzej czy później w aparatach pojawić się zwyczajnie musi. Co byście np. powiedzieli na to, żeby już w czasie wykonywania fotografii trafiała ona do katalogu programu graficznego, w dodatku wstępnie wyedytowana na podstawie metadanych o obiektach znajdujących się na zdjęciu? To tylko jeden z możliwych przykładów wykorzystania podobnych układów.

Czy podobny sensor ma jednak szansę wpłynąć na samą pracę aparatu? Jak by nie nazywać pokazanego układu AI, to w końcu jedynie zaawansowany procesor obrazu, który rozkłada go na czynniki pierwsze jeszcze zanim trafi on do docelowego systemu przetwarzania. Prawdopodobnie  tego typu rozwiązanie mogłoby wspomóc pracę układów AF czy też np. umożliwić aparatom realizację różnych ekspozycji dla poszczególnych obszarów zdjęcia, zwiększając tym samym zakres dynamiczny fotografii, albo też zwyczajnie wspomóc standardowe procesory w zakresie przetwarzania obrazu.

Póki co, wszystko to jednak tylko wróżenie z fusów a na implementację podobnych rozwiązań w aparatach przyjdzie nam jeszcze długo poczekać. Niemniej jednak pokazuje to, że producenci matryc coraz poważniej biorą pod uwagę zalety układów AI w rozwoju systemów obrazowania, co na pewno nie pozostanie bez wpływu na rynek foto.

Więcej informacji na temat działania matrycy znajdziecie pod adresem presscentre.sony.pl.