►► canalele mele de YouTube: youtube.com/RaduDumitru (personal) și youtube.com/NwraduBlog (tech) ◄◄
Uneori văd această discuție: de ce contează să poți rula AI-uri pe un laptop sau măcar pe o placă video performantă? AI-urile nu rulează în cloud?
Ba da, unele rulează în cloud. Poți să-i dai lui ChatGPT treburi de făcut pe site-ul OpenAI. Poți genera imagini pe site-ul Bing. Gmail va integra diverse funcții, iar search-ul din Google Photos folosește un AI în spate.
De ce se chinuie dezvoltatorii atunci să facă și PC-uri cu NPU-uri puternice? De ce contează câte procesări AI poate face o placă video? Nu era cloud-ul viitorul pentru orice?
Ei bine, nu. Cloud-ul aduce ușurință în multe domenii. Vrei însă AI-uri care să ruleze local din două motive: transfer de date și confidențialitatea datelor.
La ce mă refer când zic transfer de date: nu vrei să pierzi timp urcând fișiere mari în cloud pentru a fi analizate și editate de un AI.
De exemplu, există AI-uri care procesează clipuri video și o fac foarte bine: detectează oamenii și elimină fundalul, fac upscaling complex la nivel de obiecte, nu de pixeli, fac izolare de voce sau anulare de zgomot ambiental și cine știe câte alte editări.
Și vrei ca toate acestea să se întâmple în PC-ul tău și cu viteză mare. Nu vrei să uploadezi în cloud câte un fișier video de 6 GB și apoi să-l descarci după ce serverul firmei care a produs softul de editare ți-l analizează. Și apoi să faci asta de fiecare dată când mai schimbi o setare de editare, să faci asta din nou.
Pățesc asta uneori în DaVinci Resolve Studio, unde upscaling-ul cu AI este lent pe un MacBook Pro și acceptabil pe RTX 3080, dar prefer așa decât să uploadez fișierul undeva. Aș vrea să fie și mai rapid? Desigur!
Poate mai țineți minte că Google a introdus o procesare Video Boost în telefoane Pixel prin care clipul video este urcat în cloud, procesat acolo și trimis ție înapoi cu îmbunătățiri. Asta dura câteva ore, iar rezultatul îl acceptai sau îl ignorai. În editarea video normală, tragi de slidere și bibilești setări de multe ori până găsești exact punctul care-ți place.
Gândiți-vă și la galerii de sute de fotografii. Sunt programe care folosesc AI-uri pentru a înțelege imaginea astfel încât să-i facă crop și orizont automat, white balance automat și poate și alte îmbunătățiri. Închipuiți-vă diferența între a face asta în PC-ul tău sau a urca 100 de fotografii pe un cloud și a le primi înapoi editate. Și ce faci când la câteva vrei să modifici tu crop-ul sau culorile?
Un motiv similar poate fi legat chiar și de acele date care nu ocupă mult spațiu. Să zicem că vrei să antrenezi un chatbot pe toate cursurile tale din facultate. Le ai în format PDF, nu ocupă mult as these things go, dar nici nu este vreun serviciu ușor de accesat care să-ți creeze propriul chatbot antrenat pe ce vrei tu.
Nu, vrei propriul tău “server” unde să zici “ia citește tot ce este în folderul acesta” și apoi să-l iei la întrebări despre cursuri, să ceri să facă paralele, să ceri locul unde este introdus un concept și de câte ori mai apare el în anii următori de studiu șamd.
Nu mă refer la aplicații de business, de exemplu să antrenezi un AI pe diverse documente de-ale companiei pentru a fi apoi un soi de asistent de vânzări, de proiectare, de facturare etc. Cazuri ca aici, dacă vreți. Acelea pot rula tot local, dacă se vrea așa, în câteva rack-uri construite special pentru asta — dar asta este deja echivalentul unui cloud privat.
Am spus confidențialitate ca al doilea factor pentru că nu are legătură cu mărimea fișierelor, ci cu informația din ele.
Nu vreau să le dau altora clipurile mele din vacanță doar ca să elimine ceva din ele sau să facă upscaling AI. Nu vreau să trimit în cloud ce-am filmat pentru un produs primit sub NDA și care se lansează abia peste 2 săptămâni.
Nici nu mai zic de alte tipuri de fișiere. Cred că este clară treaba cu privacy-ul. Funcții precum noul Recall anunțat de Microsoft vor să facă astfel de procesări pentru aproape fiecare secundă petrecută de tine la PC, analizând tot ce faci, în fiecare program în parte. Imaginați-vă că apoi ar trimite un log video cu tot ce faci tu pe calculator undeva în cloud, pentru analiză. “Hey Copilot, what was that movie where 3 girls met 2 guys in a bar and got down to business?” Și cloud-ul să știe asta.
În concluzie, în viitor va conta tot mai mult posibilitatea de a face local procesări tip AI. Sunt utile în foarte multe tipuri de muncă, de la procese creative și până la office. De asta toți din hardware —toți— fac îmbunătățiri masive aici, cu NPU-uri complexe în procesor, plăci video performante și ce se mai poate face.
Vreți un avatar în comentarii? Mergeți pe gravatar.com (un serviciu Wordpress) și asociați o imagine cu adresa de email cu care comentați.
Dacă ați bifat să fiți anunțați prin email de noi comentarii sau posturi, veți primi inițial un email de confirmare. Dacă nu validați acolo alegerea, nu se va activa sistemul și după un timp nu veți mai primi nici alte emailuri
Comentariile nu se pot edita ulterior, așa că verificați ce ați scris. Dacă vreți să mai adăugați ceva, lăsați un nou comentariu.
8 comentarii
05/06/2024 la 7:30 AM
Articolul ăsta chiar e de umplutură.
Carturaru(Citează)
05/06/2024 la 9:00 AM
Nu știu ce să zic, mie mi-a ridicat o sprânceană că există nevoia asta de a face un chat bot local pe baza PDF urilor dintr-un folder. Mi-e greu să cred că nu a apărut încă așa ceva, așa că o să mă pun pe căutat. Daca nu găsesc, chiar mi se pare o nișă buna, poate reușesc să construiesc eu ceva.
Gabi Udrescu(Citează)
05/06/2024 la 9:43 AM
@Gabi.
Exista, oarecum solutii.
Privat-privat, pentru acasă, există un proiect, Private GPT.
Ai opiuni de ingest la documentatie.
Alternativ, gasesti modele la hugging face. Le poti descarca si rula cu ollama.
Ai nevoie sa faci fine tunning la astea. Aici e smecheria, momentan VMWare oferă produse de fine tuning si retraining LLM ( VMWare Private AI Foundation) , n-o să dau link la ei,
Catalinx(Citează)
05/06/2024 la 9:04 AM
De acord cu articolul. De aia sper ca o sa iasa bine ce o sa fie anuntat pe 18 iunie.
mac gregor(Citează)
05/06/2024 la 9:07 AM
Cred că motivul principal, totuși, e că “ce-i în mână, nu-i minciună”. Adică să nu depinzi de un serviciu căruia, într-o zi, i se scoate ștecherul din priză pentru că nu a mai fost suficient de rentabil să fie menținut în funcțiune de compania din spate.
ov1d1u(Citează)
05/06/2024 la 9:54 AM
“În concluzie, în viitor va conta tot mai mult posibilitatea de a face local procesări tip AI.”
Ar fi frumos, dar nu stiu daca o sa vedem. Functionarea in cloud inseamna dependenta de furnizor. Asta inseamna o gramada de avantaje pentru furnizor, in primul rand un flux constant de bani pentru furnizor: “nu platesti? ti-am taiat serviciul!”
Evident ca deja avem fiecare putere de calcul care poate face o gramada de chestii local. Si sunt o gramada de chestii care s-ar preta bine la asta. De exemplu, sistemul de control si comanda a unei case “smart”.
Dar nu cred ca o sa avem parte.
silicon_v(Citează)
05/06/2024 la 11:10 AM
Exact, sunt deja multe episoade in care din motive de conexiune, de faliment etc, utilizatorii au avut de suferit (supraveghere video, case inteligente etc). Dar depinde de modelul de business adoptat, caci tot ce se ofera este un mic rahatel, dar banii vin cand rahatelul este servit din cloud. (asta il face cica ‘gratis’, dar stim toti ca nu e nimic gratis in lumea asta)
Cata Lin(Citează)
05/06/2024 la 11:10 AM
Ce faci daca pica AI-urile si devin offline? Cum s-a intamplat ieri?
Mihai Dobre(Citează)