Megváltozott a felállás, a fizikát legyőztük, a kód már nem csak cifra szolga. Képfelismerő és képfeldolgozó algoritmusok miatt készítenek egyre jobb képeket a mobiljaink. Bevezető a komputációs fotográfiába.

„Röviden: a szoftver megeszi a világot” – írta le 2011 augusztusában Marc Andreessen kockázati tőkebefektető, aki az első dotkom lufi előtt a Netscape böngészőből gazdagodott meg. Nem vállalt nagy kockázatot a mondattal, a berendezéseink akkorra már tele voltak beágyazott számítógépekkel. Ezek olyan célgépek, amelyek csak teszik a dolgukat, sok jele nincs a létezésüknek. Ilyen például az autó különböző funkcióit vezérlő gép, amiről leggyakrabban azért hallunk, mert egy hiba kiküszöbölése miatt frissítik a kocsi szoftverét a szervizben, és ezt közlik is. De a kormánykerék előtt ülve semmi nem hívja fel a figyelmünket arra, hogy egy számítógépet kezelünk.

Ulysses S. Grant tábornok, sej lovát karéjozza – három képből összeretusált fotó 1902 tájáról (Library of Congress, közkincs)

Azt viszont el kell ismerni, hogy Andreessen írása új keretet adott több vitának. Láthatóvá tett egy jelenséget, amiről tudni ugyan tudtunk, de nem volt a gondolkodás homlokterében. Az új nézőpont elterjedése nem minden területen volt gyors. A mások által okosnak mondott kütyük megjelenése sebesen zajlott, de a korábban, észrevétlenül elszoftveresedett területek felfedezése még javában zajlik. Annyira, hogy az egyik legkorábbi „áldozat”, a fényképezés csak most vált feltűnően szoftveressé.

Nincs olyan telefongyártó, amely ne időzne egy új típus bemutatásakor a fényképezőgép tulajdonságainál. Az okostelefon azért érdekes terepe a kísérletezésnek, mert sem a lencse, sem az érzékelő mérete nem növelhető. Az egyre jobb szenzorok valamennyi javulásért felelőssé tehetők, de a mobilos fotózás a legtöbbet a szoftvernek köszönhet. A Mate 20 csúcskészülékének bemutatóján a mostanában inkább 5G-s és adatbiztonsági kontextusban emlegetett Huawei már arról beszélt, hogy hány különböző feladat megoldását segítik mesterséges intelligencia alapú programok. A készülék képfelismerő algoritmusa a gyártó szerint 1500 helyzetet és ötezer tárgyat ismer fel, és ezekhez optimális beállításokat is tud ajánlani.

Ez a Huawei Mate 20 Próval készült fotó nem az automatika miatt jó. A fotós nyers formátumban fotózott és utómunkát is végzett rajta (Fotó: Kārlis Dambrāns CC-BY)

A fenti homályos állítás azt jelenti, hogy a telefon tudja, hogyan kell futó gyereket, száguldó autót vagy híres épületet fotózni. Nagyon hasonló témamódok már a régebbi digitális fényképezőgépekben is voltak, de ezeken nagyjából öt-tíz mód (panoráma, táj, emberek, makró) közül kellett kiválasztani egyet, míg ma a mobil magától ismeri fel és alkalmazza a naplementében távolodó fehér Lamborghini témamódot.

Gépokosítás házi eszközökkel

A változás valójában az első digitális gépekkel elkezdődött. 2009-re pedig már szoftveres bizonyíték is volt arra, hogy egy kamera tudása és a rajta futó szoftver tudása nagyban eltérhet. Ebben az évben tette közzé Tramell Hudson azt a Magic Lantern nevű programot, amely a Canon csúcsgépét okosította fel. Majd – ahogy az azonos Digic képfeldolgozó chipet tartalmazó gépeken is futtathatóvá vált a kód – kiderült, hogy egy olcsóbb fényképezőgépet is fel lehet vértezni a profi eszközök tudásával. Olyan nagyságrendű a változás, mintha kiderülne, hogy ha a Pajtás fényképezőgép dobozát megbontjuk, akkor egy Canon van a belsejében.

A Magic Lanter, illetve a rá épülő Canon Hack Development Kit nevű csomag elsősorban az akkor még szárnyait bontogató digitális tükörreflexes fényképezőgéppel (DSLR) videózók életét könnyítette meg. Az épp szintén őrülten népszerű nagy dinamikatartományú (HDR) fotók készítését is egyszerűbbé tette. Ezeken a több fotóból összerakott képeken a sötétben húzódó részletek is láthatók, de a világos részek sem égnek be. Ízléssel használva adott fényviszonyok mellett nehezen elérhető, részletes képet kapunk, ma ezt mindegyik okostelefon magától értetődő módon tudja. Az effektet túlhasználva – ennek is megvolt a divatja – pedig olyan képet készíthetünk, mint a lenti példa.

Túlzásba vitt HDR effekt 2008-ból (Fotó: Emery Way CC-BY)

A HDR arra is jó példa, hogy a szoftver kamerába költözésével olyan képek létrehozására is alkalmassá vált a gép, amihez az embernek nincs szeme. Hasonló funkció volt a beállítási lehetőségeket alig kínáló lakossági fényképezőgépekbe beépített mosoly- és pislogásészlelő. A képelemző kódok kezdetben nem voltak tökéletesek, a Nikon kamerái például egy időben nehezen tudták eldönteni, hogy a képen szereplők kacsintanak vagy ázsiaiak. A mesterséges intelligenciát – vagy pontosabb, de kevésbé jól csengő szót használva gépi tanulást – használó szoftverekkel azonban már nemcsak átlagosan jó eredményeket lehet elérni, hanem nagyon jókat is.

MI a gépben

A korábban csak képfeldolgozási és tudományos konferenciákon hallható szakkifejezések pedig megtalálták az útjukat a termékismertető weboldalakra és a sajtóközleményekbe is. A mesterséges intelligenciáról – így, tévesen, határozott névelővel – naponta jelennek meg hírek, hogy éppen mit tanult meg vagy kinek az állását veszélyezteti. A komputációs fotográfia – ami a programkódok és fényképezőgépek találkozásának tudománya – pedig ugyanilyen bevett kifejezéssé kezd válni.

2015-ben a 60 Minutes hírműsorban Tim Cook arról beszélt, hogy az iPhone kameráján nyolcszáz mérnök és egyéb szakember dolgozik. Biztosak lehetünk abban, hogy ezeknek az embereknek a többsége nem azon gondolkodik, hogyan lehet jobb lencsét csiszolni a következő csúcstelefonba. A fizika ebben az esetben le van győzve. Régebben a fotósok között komoly hitviták voltak arról, hogy az egyes lencsék hogyan mossák el a kép életlen részeit. Voltak lencsék, amelyek közmegegyezés szerint ezt esztétikusan tették, másoknál vita tárgy volt, hogy elég szép-e a hatás. Ilyen elmosást az új iPhone-ok is tudnak, de szoftveresen. Onnan tudjuk, hogy kód felel érte, hogy néha mókásan hibázik. Ilyen például, ha nem veszi észre, hogy a modell mögött lyukacsos anyag van, és az azon át látott hátteret meghagyja élesnek. Egy-két szoftverfrissítés után azonban ezek el fognak tűnni.

Demonstrating a small error in Apple’s iPhone camera “portrait mode” depth of field logic. pic.twitter.com/1D6JwJZnci

— Ted Barnett (@tedbarnett) February 8, 2019

A verseny nem állt meg, most épp a tökéletes éjszakai fotózásra is alkalmas készülék létrehozása a cél. Jelenleg a The Verge kritikája szerint a Huawei P30 Pro a legjobb erre a célra, de ősszel várható a Google új Pixel telefonja, amibe valószínűleg még jobb algoritmusok kerülnek. Az Apple nyolcszáz emberének nagyon bele kell húznia, mert megelőzték őket.

Az szerencsére nem kérdés, hogy a vásárlók hogyan viselik, hogy a telefonjuk vagy fényképezőgépük nem a mosdatlan, igazi valóságot fényképezi le. Mindenki örül annak, hogy az eszközök jobb fotókat készítenek. Illetve, hogy olyan képeket most már egy kézben tartott telefonnal is meg lehet csinálni, amihez régen fotótrükkök, retusálás vagy bonyolult világítás kellett volna. Mert egyébként a kép tartalmát azóta módosítgatjuk mindenféle eszközökkel, amióta fényképezés létezik.

G7 támogató leszek! Egyszeri támogatás / Előfizetés

Tech fényképezés fényképezőgép komputációs fotográfia mobiltelefon szoftverek Olvasson tovább a kategóriában