Lumea roboților: Chat with RTX de la NVIDIA direct în PC propriul tău chatbot antrenat pe ce fișiere text vrei tu

Unealta aceasta, numită Chat with RTX, mi se pare un pas în față către un viitor unde vom putea rula offline și local AI-uri antrenate pe ce date vrem noi să facem asta. Mai exact, pe acele date unde capacitatea unui AI de a săpa și extrage informații ne-ar scuti de foarte multă muncă.

Ce face Chat with RTX de la NVIDIA: îți instalează în computer un large language model. Poți alege între cel dezvoltat de Mistral AI sau Llama2 al companiei Meta și ocupă vreo 50 GB. AI-ul va rula în totalitate în computer, făcând procesările pe nucleele Tensor din plăcile video RTX 30 și RTX 40, și poate fi antrenat cu următoarele tipuri de date:

• colecții de fișiere DOC, PDF, TXT și alte tipuri de text.
• clipuri video YouTube, adică îi dai URL-ul clipului sau al unui playlist și Chat with RTX va indexa transcrierile acelor clipuri.

Și apoi îi poți cere informații pe care le extrage singur din fișierele pe care i le-ai pus la dispoziție. Propriul tău chatbot sau asistent AI, antrenat pe domeniul sau informațiile din fișierele pe care i le-ai dat, căutând și oferind aproape instantaneu răspunsul la întrebările pe care i le adresezi.

Chat with RTX este mai degrabă un demo tehnic decât un produs complet. Cei care l-au testat spun că mai are buguri, mai dă rateuri etc. Gândiți-vă însă la potențialul imens pe care-l are un chatbot care rulează direct în PC-ul tău și care poate căuta în informațiile pe care i le dai.

De exemplu, ești student și ai sute de Word-uri și PDF-uri de la cursurile din toți anii facultății. Chatbot-ul le poate citi și apoi îți poate face rezumatul unui anumit aspect, de exemplu cum funcționează un anumit codec sau cum se determină modelul de semnal mic pentru un amplificator (zic din cursurile mele).

Mai mult, o problemă la mine în facultate era că prin anul 1 la algebră învățai despre un model sau o transformare matematică al cărei rost nu-l aflai atunci pe loc. Prin anul 4 descopereai că respectiva transformare este la baza tuturor codecurilor video utilizate astăzi. Mult noroc să-ți mai aduci aminte atunci definiția și particularitățile ei față de altele similare.

Probabil nici nu mai știi în ce lecție din anul 1 ți-a fost predată. Nu-i nimic, chatbot-ul tău din PC are acces la fișierele tale (sau la un manual de algebră) și îi poți cere “boss, spune-mi pe scurt diferența între transformata cosinus discretă și transformata Fourier rapidă”. Nu știu dacă-i poți da nume, dar dacă poți, Boss este unul bun.

Sau să zicem că ești jurnalist și trebuie să sapi în zeci de documente făcute publice de o companie pentru a găsi ce te interesează pe tine. Îi arăți chatbot-ului folderul în care le-ai pus pe toate, acesta își face indexarea, apoi îl iei la întrebări ca și cum ar fi atotștiutor.

Sau poate că sunt documentele statului, sute de pagini de bullshit, iar pe tine te interesează doar cât a fost prețul de achiziție pentru cine știe de licitație. Poate că sunt zecile de mii de documente pe care Institutul de Statistică le publică anual, dar în care este foarte dificil să cauți prin metodele clasice, nu mai zic să găsești corelații.

Ați citit vreodată un white paper sau alt raport publicat de niște cercetători? De obicei astfel de documente sunt lungi și scrise într-un stil științific mai greu de urmărit. Ar fi bine dacă cineva i-ar putea face un rezumat sau ar putea căuta o anumită informație pe acolo.

Și poate fi orice, de fapt. Toate contractele unei companii, în format PDF, ca să poți întreba rapid “ce valoare are și când expiră contractul cu firma X?”

Toate podcast-urile video ale cuiva, ca să poți căuta rapid prin subiectele lor și prin ce s-a zis în fiecare dintre ele, la modul “de ce spunea un psiholog că, atunci când ai anxietate sau un atac de panică, este bine să iei o hârtie și să scrii pe ea lista elementelor care ți-au dat starea asta?” Și să obții înapoi o listă de episoade, invitați, citate relevante pentru întrebarea ta și contextul lor, ca să găsești imediat ce căutai.

Genul acesta de unelte ar putea fi cruciale în foarte multe activități, recâștigând o mulțime de timp. Ar fi una dintre cele mai bune aplicații ale tehnologiilor AI deoarece ar fi o aplicație pe care o generezi chiar tu, bazat pe nevoile tale și pe datele pe care le ai.

Momentan Gemini (fostul Bard), ChatGPT și altele își iau informații de pe net, dar uneori nu știi dacă sursele sunt de încredere (sunt site-uri de tech prin România care generează articole cu ChatGPT și rezultatele sunt uneori hilare) sau dacă datele sunt recente sau dacă chatbot-ul nu halucinează.

Când tu controlezi cu precizie datele folosite pentru antrenarea lui, încrederea în răspunsul chatbot-ului este mai mare, mai ales că poate fi ușor verificat.

sursa: The Verge.