Lumea roboților: de ce se doresc AI-uri care să ruleze local, nu în cloud

Uneori văd această discuție: de ce contează să poți rula AI-uri pe un laptop sau măcar pe o placă video performantă? AI-urile nu rulează în cloud?

Ba da, unele rulează în cloud. Poți să-i dai lui ChatGPT treburi de făcut pe site-ul OpenAI. Poți genera imagini pe site-ul Bing. Gmail va integra diverse funcții, iar search-ul din Google Photos folosește un AI în spate.

De ce se chinuie dezvoltatorii atunci să facă și PC-uri cu NPU-uri puternice? De ce contează câte procesări AI poate face o placă video? Nu era cloud-ul viitorul pentru orice?

Ei bine, nu. Cloud-ul aduce ușurință în multe domenii. Vrei însă AI-uri care să ruleze local din două motive: transfer de date și confidențialitatea datelor.

La ce mă refer când zic transfer de date: nu vrei să pierzi timp urcând fișiere mari în cloud pentru a fi analizate și editate de un AI.

De exemplu, există AI-uri care procesează clipuri video și o fac foarte bine: detectează oamenii și elimină fundalul, fac upscaling complex la nivel de obiecte, nu de pixeli, fac izolare de voce sau anulare de zgomot ambiental și cine știe câte alte editări.

Și vrei ca toate acestea să se întâmple în PC-ul tău și cu viteză mare. Nu vrei să uploadezi în cloud câte un fișier video de 6 GB și apoi să-l descarci după ce serverul firmei care a produs softul de editare ți-l analizează. Și apoi să faci asta de fiecare dată când mai schimbi o setare de editare, să faci asta din nou.

Pățesc asta uneori în DaVinci Resolve Studio, unde upscaling-ul cu AI este lent pe un MacBook Pro și acceptabil pe RTX 3080, dar prefer așa decât să uploadez fișierul undeva. Aș vrea să fie și mai rapid? Desigur!

Poate mai țineți minte că Google a introdus o procesare Video Boost în telefoane Pixel prin care clipul video este urcat în cloud, procesat acolo și trimis ție înapoi cu îmbunătățiri. Asta dura câteva ore, iar rezultatul îl acceptai sau îl ignorai. În editarea video normală, tragi de slidere și bibilești setări de multe ori până găsești exact punctul care-ți place.

Gândiți-vă și la galerii de sute de fotografii. Sunt programe care folosesc AI-uri pentru a înțelege imaginea astfel încât să-i facă crop și orizont automat, white balance automat și poate și alte îmbunătățiri. Închipuiți-vă diferența între a face asta în PC-ul tău sau a urca 100 de fotografii pe un cloud și a le primi înapoi editate. Și ce faci când la câteva vrei să modifici tu crop-ul sau culorile?

Un motiv similar poate fi legat chiar și de acele date care nu ocupă mult spațiu. Să zicem că vrei să antrenezi un chatbot pe toate cursurile tale din facultate. Le ai în format PDF, nu ocupă mult as these things go, dar nici nu este vreun serviciu ușor de accesat care să-ți creeze propriul chatbot antrenat pe ce vrei tu.

Nu, vrei propriul tău “server” unde să zici “ia citește tot ce este în folderul acesta” și apoi să-l iei la întrebări despre cursuri, să ceri să facă paralele, să ceri locul unde este introdus un concept și de câte ori mai apare el în anii următori de studiu șamd.

Nu mă refer la aplicații de business, de exemplu să antrenezi un AI pe diverse documente de-ale companiei pentru a fi apoi un soi de asistent de vânzări, de proiectare, de facturare etc. Cazuri ca aici, dacă vreți. Acelea pot rula tot local, dacă se vrea așa, în câteva rack-uri construite special pentru asta — dar asta este deja echivalentul unui cloud privat.

Am spus confidențialitate ca al doilea factor pentru că nu are legătură cu mărimea fișierelor, ci cu informația din ele.

Nu vreau să le dau altora clipurile mele din vacanță doar ca să elimine ceva din ele sau să facă upscaling AI. Nu vreau să trimit în cloud ce-am filmat pentru un produs primit sub NDA și care se lansează abia peste 2 săptămâni.

Nici nu mai zic de alte tipuri de fișiere. Cred că este clară treaba cu privacy-ul. Funcții precum noul Recall anunțat de Microsoft vor să facă astfel de procesări pentru aproape fiecare secundă petrecută de tine la PC, analizând tot ce faci, în fiecare program în parte. Imaginați-vă că apoi ar trimite un log video cu tot ce faci tu pe calculator undeva în cloud, pentru analiză. “Hey Copilot, what was that movie where 3 girls met 2 guys in a bar and got down to business?” Și cloud-ul să știe asta.

În concluzie, în viitor va conta tot mai mult posibilitatea de a face local procesări tip AI. Sunt utile în foarte multe tipuri de muncă, de la procese creative și până la office. De asta toți din hardware —toți— fac îmbunătățiri masive aici, cu NPU-uri complexe în procesor, plăci video performante și ce se mai poate face.