Cum am transferat foarte rapid 500.000 de fișiere foarte mici

Făceam un backup la un folder foarte mare: cam 20 GB în 10 foldere separate, în total aproximativ 500.000 de fișiere. Îl transferam din PC într-un stick extern făcut de mine, practic un SSD NVMe M.2 rapid pus într-un rack extern tip stick.

Iese o medie de aproximativ 40 kB per fișier. Dacă mai țineți minte din testele mele de SSD-uri, aceasta este situația cea mai defavorabilă pentru un SSD. Sunt atât de multe fișiere încât controllerul unității nu face față să gestioneze un număr atât de mare, cache-ul se umple rapid, paralelismul de transfer este sufocat și viteza este foarte mică.

Dacă aș fi transferat un singur fișier de 20 GB, aș fi făcut-o probabil cu 300-500 MB/s. Cele 500.000 de fișiere erau însă transferate atât de lent încât estimarea din Windows varia între 30 și 60 de minute. Ain’t nobody got time for that.

Trucul simplu pentru un transfer în 2 minute a fost următorul:

1. am arhivat fiecare folder din cele 10 pe compresie Store, adică fără compresie, ca să nu dureze mult, ci pur și simplu mută toate fișierele dinăuntru într-o arhivă .zip
2. am copiat arhiva zip pe stick.

Arhivarea se face imediat, vreo 10-15 secunde pentru fiecare folder. Și am făcut-o în paralel pe mai multe. Am WinRAR instalat, click dreapta pe folder, add to archive…, aleg Store și formatul zip pentru compatibilitate deplină. În timp ce un folder se arhivează, deja repet operațiunea pe următorul. Făceam cam 3-4 în paralel.

Copierea este, de asemenea, imediată. După ce am avut toate arhivele, le-am dat copy la grămadă și în câteva secunde s-au transferat prin USB, comparat cu minim 30 de minute.

Un backup în format zip este la fel de bun pentru mine. Dacă am nevoie de vreun fișier din arhivă, o voi dezarhiva atunci cu totul. Cel mai probabil, de fapt, voi intra direct în ea și voi dezarhiva doar fișierul de care am nevoie.

Am testat însă dezarhivarea unui folder și a durat cam un minut. Așa că, inclusiv dacă ar fi fost nevoie să dezarhivez chiar pe stickul USB respectivele arhive, tot ar fi fost o economie 2x sau 3x de timp.

Nu-i prima oară când folosesc un astfel de truc. În anumite situații, este mult mai rapid să arhivezi fără compresie, să transferi și să dezarhivezi apoi la destinație.

Este un truc bun de reținut pentru tot felul de situații cu foarte multe fișiere mici. De exemplu, poate faci un backup total sau un upgrade unității sistemului de operare și întâi o “clonezi” manual pe noua stocare.

Rack-uri pentru M.2 NVMe:

• eu am două astfel de unități, cumpărate cu vreo 80 de lei fiecare acum un an, și funcționează foarte bine, chiar sunt de sute de MB/s. Problema este că nu le-am mai văzut de mult în stoc, sunt no-name, și chiar dacă găsiți în piață unele cu exact aceeași carcasă, nu este o garanției a calității lor.
• o alternativă bună sunt cele Orico, care este un brand cunoscut în toată lumea. Dacă cele cumpărate de mine n-ar fi confirmat în teste, le returnam și luam astfel de unități Orico. Poate chiar cumpăr unul pentru un review într-un articol scurt.

Am montat în ele niște SSD-uri M.2 mai vechi. Folosesc cablul USB livrat cu ele.