FotoNation dezvoltă tehnologie românească de top pentru detecție de persoane și prelucrare de imagini

Există o companie făcută de români și tehnologia lor a fost integrată în mai mult de 400 de milioane de telefoane vândute în ultimul an. Se numesc FotoNation, fac recunoaștere de fețe pentru focalizare rapidă și editare foto și sunt acum parte din compania americană Tessera.

Am vorbit cu trei membri ai echipei și mi-au povestit cum au început și cât de departe au ajuns acum în domeniul analizei de imagini. Eu am făcut cândva în facultate un curs de “Prelucrarea imaginilor și recunoașterea formelor”. L-am făcut cu prof Vizireanu, așa că n-am învățat mare lucru (el n-a încercat, nici noi nu i-am cerut), dar măcar mi-a dat o idee despre cât de complicate sunt lucrurile în analiza de imagini și a fost o plăcere să vorbesc cu profesioniști în domeniu. Culmea, ca electronist nu cred că aș fi avut ocazia asta; ca blogger da.

La 400 de milioane de telefoane ce includ tehnologia lor, vă dați seama că asta înseamnă niște parteneri cu nume dintre cele mai mari din business. 9 din 10 producători de “nivel 1” le folosesc tehnologiile. FotoNation a început mai timid, odată cu dezvoltarea camerelor foto digitale, iar unul dintre primii algoritmi de retușare a ochilor roșii într-o cameră compactă a fost făcut de ei.

Ulterior au dezvoltat nu doar software de recunoaștere foarte bună a fețelor și elementelor dintr-un chip omenesc, dar și hardware care să facă prelucrările respective, oferind soluții variate.

Să trecem direct la ce fac acum. Una dintre aplicațiile principale este detecția fețelor dintr-un cadru pentru a focaliza rapid pe ele. Am testat asta la față locului, telefonul meu făcea un pic de hunting și focaliza în aproximativ o secundă, al lor, rulând software-ul de test, focaliza imediat, fără a merge înainte și înapoi, fără timp pierdut. N-am văzut niciodată focalizare mai rapidă.

Am testat-o apoi în condiții ceva mai vitrege. Focalizat pe ceva la 10 cm distanță, apoi brusc orientat telefonul spre o persoană aflată la un metru. Focalizarea era la fel de rapidă, obiectivul se ducea imediat acolo unde trebuie. Omul se mișca stânga dreapta, dar pătratul de pe ecran care-i încadra chipul îl urmărea întotdeauna cu precizie. Am fost impresionat.

Asta vând ei. Mi-au spus că soluțiile lor sunt de obicei adaptate în cel mai mic detaliu telefoanelor în care sunt integrate, deoarece lucrând în cooperare cu producătorul telefonului/modulului foto ei iau în calcul și parametri precum încălzirea senzorului, tehnologia sa de realizare șamd.

Focalizarea rapidă atunci când este vorba de oameni în cadru este una. După întâlnirea cu ei, mi-am reactivat și eu funcția de detecție de fețe pe telefon, ca poate ajută la focalizare. Statistic vorbind, în majoritatea cazurilor când telefonul detectează chipuri în fotografii, pe acelea vrei să le fotografiezi și deci te ajută la focalizarea rapidă.

O altă tehnologie dezvoltată de ei este prelucrarea imaginilor ce conțin chipuri umane. Odată ce știi unde este față cuiva, poți determina și elementele acesteia, ochii, sprâncenele, gura, dinții șamd, după cum se vede din screenshotul de mai jos, unde liniile erau suprapuse în timp real pe chipul meu.

Acum trecem mai departe. Un alt software modifică exact elementele detectate, acum că știe ce este fiecare. Vrei să schimbi culoarea buzelor? Se face imediat! Vrei să mărești ochii, opțiune aparent foarte populară pe piața asiatică, unde oamenii vor să-și facă astfel de prelucrări înainte de a posta imagini cu ei? Se rezolvă imediat!

Cei care știu ceva Photoshop știu și cât de greu este să mărești ochii cuiva. Trebuie să mărești irisul proporțional, să modifici liniile pleoapelor, genele și sprâncenele. Este nevoie de multe layere și multe unelte și asta pentru că Photoshop nu știe că tu lucrezi acolo la niște ochi. Software-ul FotoNation știe asta, că i-a detectat, așa că tu doar apeși pe ochi și tragi de un slider de mărime, iar toate aceste editări fine se realizează automat.

Știind unde sunt ochii, software-ul din telefon putea să adauge și efecte diferite de iluminare, simulând diverse soluții de studiou foto. Era o demonstrație tehnologică pe care cei de la FotoNation o arată posibililor clienți, dar una foarte bună.

Îmbunătățirea tenului, eliminarea coșurilor, a ridurilor, a umbrelor, toate sunt posibile rapid, utilizatorul alegând doar cât de mult efect să aplice. Asta se întâmplă, repet, pentru că software-ul detectează întâi elementele feței și deci știe ce să modifice. Pe o fotografie cu munți și cabane n-ar putea face nimic.

Alte aplicații posibile sunt Foto Merge (ia persoane din două fotografii diferite și le pune în aceeași) și Best Face, adică ia chipul fiecărei persoane din fotografia unde arată cel mai bine și le combină. S-a terminat cu fotografiile acelea de familie în care cineva are mereu ochii închiși.

Cam la momentul acesta i-am întrebat de ce nu fac un software de PC care să facă astfel de editări rapide. Sau unul de telefon/tabletă, fie, dar public și chiar și pe bani. Sigur s-ar vinde foarte bine, am văzut unele dintre cele mai bune și rapide prelucrări de imagini demonstrate pe loc.

Răspunsul a fost că este prea complicat; nu este modelul lor de afaceri. Un software de sine stătător are nevoie de canal de vânzare, suport tehnic, interfață, traduceri, bug reporting șamd. Ei preferă să vândă tehnologia către fabricanții de telefoane, să primească niște bani pentru fiecare telefon vândut și, cu 400 de milioane vândute într-un an, le merge.

Mi-au mai arătat ceva programe foarte bune dezvoltate de ei. HDR-uri agresive în colorit, din acelea care par deja false, făcute în timp real în timp ce îndrepți aparatul foto spre ceva.

Combinații de imagini pentru a crea diverse forme cu texturi luate din alte fotografii.

Nu în ultimul rând, o stabilizare de imagine foarte bună. În stânga este imaginea nestabilizată, în dreapta cea finală, totul făcut în timp real.

Asta nu e tot. Discuția a orbitat în jurul recunoașterii de fețe pentru focalizare și prelucrare de fotografii, dar odată tehnologia aceasta dezvoltată, cei de la FotoNation o pot implementa în mult mai multe domenii, precum cel auto, unde este nevoie de sisteme tot mai bune de recunoaștere a semnelor de circulație sau a situațiilor periculoase, și a securității video, care poate merge de la recunoașterea persoanelor în fluxuri video mari (de exemplu, să zicem, în ceea ce filmează în timp real toate camerele video din metrou – Person of Interest style) până la recunoașterea de pachete suspecte sau altele.

Cam asta pot face românii. Le mulțumesc foștilor mei colegi de facultate care mi-au spus “Mergi la MWC? Du-te la FotoNation, o să-ți placă!” și celor de la FotoNation pentru că au stat aproape două ore cu mine vorbind despre detecție de fețe, detecție de contrast, fază și autocorelații. Acum îmi pare rău că, atunci când am transferat screenshoturile din telefonul lor în al meu, n-am “transferat” și vreo 3 aplicații din acestea.

Mă aflu la Mobile World Congress Barcelona la invitația Orange România și scriu direct de aici despre telefoanele, tabletele, gadgeturile și tehnologiile prezentate. Urmăriți toată activitatea mea acolo pe tag-ul MWC2015.