Două idei noi NVIDIA: schimbă ochii ca să pară că te uiți în cameră și upscaling video în Chrome și Edge

NVIDIA a avut un șir lung de anunțuri de la CES. Am urmărit ieri keynote-ul lor și au zis multe lucruri bune, inclusiv:

• acel RTX 4080 de 12 GB se lansează ca RTX 4070 Ti cu preț oficial de 800 de dolari. Să vedem cum va fi primit.
• seria de plăci video RTX 4000 intră și pe laptopuri.
• o nouă generație de Max-Q promite eficiență energetică mult mai mare pe laptopuri și performanță crescută. Așa o fi, așteptăm teste. Detaliile sunt tot prin linkul de mai sus.
• GeForce Now face acum randare pe plăci RTX 4080. Asta pe planul Ultimate de abonament, care randează și face streaming până la 240 fps.

Mie însă mi-au atras atenția două elemente micuțe din prezentarea lor. Primul este o funcția nouă, numită Eye Contact, inclusă în software-ul NVIDIA Broadcast, care introduce efecte în partea de streaming sau video calls dacă aveți o placă RTX în PC. Efectele sunt de genul background blur, anulare de zgomot șamd, util atât streamerilor cât și celor care doar fac call-uri de muncă.

Eye Contact este next-level. Ce face? Repoziționează automat ochii persoanei filmate astfel încât să pară că se uită la cameră și nu pe lângă cameră, așa cum se întâmplă de obicei când te uiți în ecran, nu în webcam-ul de deasupra lui, sau într-un teleprompter sau la altceva.

Asta este foarte mișto, în special pentru engagement. Ar putea fi o funcție foarte utilă pentru multe situații, în special pentru creatori de conținut. Foarte mulți youtuberi folosesc promptere și uneori asta se vede, că le fug ochii pe lângă cameră sau le vezi mișcarea  atunci când urmăresc textul. Poate fi util și pentru discursuri de toate tipurile, de la “mesajul șefului despre noile concedieri” și până la discursuri de politicieni.

Poate că pare ciudat în comparația de mai sus, dar uitați cum arată dacă n-ai ști că s-au făcut manevre la ochi:

Cum face asta? Bănuiesc că-ți preia ochii dintr-un cadru și apoi îi integrează natural în noua poziție. Probabil are niște limitări privind unghiul maxim. În principiu, având în vedere ce algoritmi de stable diffusion sunt acum în piață, funcția aceasta nu este una foarte complexă, dar mi se pare foarte utilă pentru evitat “ochii pe teleprompter”.

A doua funcție este una numită 4K RTX Super Resolution și face upscaling pe clipuri video în Chrome și Edge.

NVIDIA spune că marea majoritate a contentului video streaming este la rezoluție 1080p, dar mulți oameni au monitoare de rezoluție superioară și deci le-ar prinde bine ca și stream-ul video să fie la rezoluție mai mare. Treaba asta nu este momentan posibilă, YouTube face streaming la maxim 1080p, iar de Twitch nu mai știu.

Din ce înțeleg eu, 4K RTX Super Resolution interceptează fluxul video, îi face upscaling la 4K și îl afișează așa. Ca upscaling, NVIDIA are algoritmi foarte buni. Aș vrea să știu însă fineprint-ul, exact cum va funcționa, unde și pe ce cazuri. Momentan știu doar că se lansează în februarie și va funcționa doar pe RTX 40 și 30.

Sunt prezentate la 27:12 în clipul acesta.