Treceți la conținutul principal

DeepSeek revoluționează stocarea datelor: Lansarea Fire-Flyer File System, un sistem de fișiere paralel optimizat pentru IA, bazat pe Linux

 

Într-o mișcare inovatoare, compania chineză specializată în inteligență artificială, DeepSeek, a lansat recent Fire-Flyer File System (3FS), un sistem de fișiere paralel proiectat pentru a îmbunătăți eficiența în sarcinile de antrenare și inferență ale modelelor de IA. Acest sistem, bazat pe Linux, oferă o soluție scalabilă și de înaltă performanță pentru gestionarea eficientă a stocării datelor în medii de calcul de înaltă performanță (HPC) și inteligență artificială.

Caracteristici cheie ale Fire-Flyer File System:

  • Optimizare pentru hardware modern: 3FS valorifică la maximum performanța unităților SSD și a rețelelor RDMA, atingând viteze de citire de până la 6,6 TiB/s în configurații de clustere cu 180 de noduri.

    en.linuxadictos.com

  • Arhitectură paralelă: Designul distribuit al sistemului facilitează extinderea fără a compromite stabilitatea sau viteza de acces.

  • Bazat pe FUSE: Aceasta permite rularea sistemului în spațiul utilizatorului fără a modifica nucleul Linux, facilitând implementarea și compatibilitatea cu diverse distribuții.

  • Focus pe viteza de citire: Prioritizează citirea aleatorie în detrimentul caching-ului, esențial în modelele de IA care necesită acces imediat la volume mari de date.

Performanță dovedită în medii reale:

DeepSeek utilizează 3FS pe propriile servere din 2019, permițându-i să perfecționeze performanța în situații reale. În teste recente, sistemul a atins 3,66 TiB/min în benchmark-uri de sortare a datelor și peste 40 GiB/s per nod în sarcini de căutare KVCache. De asemenea, 3FS a fost utilizat în clusterul Fire-Flyer 2 al companiei, obținând performanțe similare cu serverele de top, precum NVIDIA DGX-A100, dar la un cost semnificativ mai mic. Conform datelor prezentate de companie, au realizat 80% din performanța unui DGX-A100 cu 50% din costul și 60% din consumul energetic al acestuia.

Contribuție la ecosistemul open-source:

Un aspect remarcabil al acestei lansări este decizia DeepSeek de a publica codul 3FS sub licența MIT, permițând comunității de dezvoltatori să acceseze, modifice și adapteze sistemul conform nevoilor proprii. Această strategie de deschidere face parte din inițiativa Open Source Week a companiei, în cadrul căreia au fost lansate și alte proiecte legate de IA. Codul Fire-Flyer File System este disponibil pe GitHub, facilitând adoptarea sa de către cercetători și companii care doresc să își optimizeze fluxurile de lucru în inteligența artificială și calculul de înaltă performanță.

Apariția 3FS în peisajul sistemelor de fișiere distribuite oferă o alternativă la soluțiile existente, precum Ceph, care, în teste comparative, a atins doar 1,1 TiB/s în citire în configurații mai mici. Prin această lansare, DeepSeek își demonstrează angajamentul față de inovația tehnologică aplicată în inteligența artificială, oferind un sistem de stocare eficient și accesibil, consolidându-și poziția în sector și furnizând instrumente esențiale pentru dezvoltarea noilor modele de învățare automată și calcul avansat.

Sursa: linuxadictos.com

Etichete:

Comentarii

Trimiteți un comentariu

Postări populare de pe acest blog

Containerizare nativă pe macOS: Apple lansează propriul „Distrobox”

  Editorial de: Andrei Popescu, Penguin Reviews În cadrul Conferinței Globale a Dezvoltatorilor (WWDC25), Apple a prezentat „Containerization” – un nou framework open‑source care aduce pe macOS, bazat pe Apple Silicon, un mecanism performant și sigur pentru rularea distribuțiilor Linux in containere, similar ideii de Distrobox sau WSL . 🔹 Ce este Containerization? Framework în Swift : scris integral într-un limbaj modern, se bazează pe Virtualization.framework și rulează fiecare container Linux într‑o mașină virtuală ultra‑ușoară , asigurând izolare completă la nivel de kernel . Performanţă ridicată : containerele pornesc în câteva milisecunde, folosind dinamic doar resursele necesare, datorită accelerării hardware oferite de cipurile ARM Apple . Protecție avansată : fiecare container rulează separat, eliminând riscurile asociate scăpărilor de procese între medii sau către sistemul gazdă . 🛠 Funcționalități cheie Funcționalitate Detalii Imagini OCI standard Compatibile c...
Trimiteți un comentariu
Citiți mai multe

Kali GPT: asistentul AI care transformă pentesting‑ul

  Editorial de: Elena Marinescu, Penguin Reviews Într‑o mișcare revoluționară pentru comunitatea de securitate cibernetică, XIS10CIAL a lansat Kali GPT , un asistent AI conceput special pentru Kali Linux, bazat pe GPT‑4, care integrează inteligența artificială direct în terminal, redefinind modul în care se realizează testele de penetrare . 🔍 Ce aduce Kali GPT? Integrare în terminalul Kali – Kali GPT înțelege comenzi în limbaj natural, generează payloads, interpretează scanări Nmap, configurează Metasploit și explică tool‑uri precum Burp Suite, fără să părăsești shell‑ul . Asistent contextual – adaptează răspunsurile în funcție de nivel (începători vs. experți), oferind explicații simplify sau tehnice avansate . Automatizare AI – generează comenzi, script‑uri și payloads, reduce erorile umane și accelerează ciclul pentesting‑ului . Beneficii clare Productivitate sporită – reducerea semnificativă a timpului de research și documentare Învățare accelerată – e...
Trimiteți un comentariu
Citiți mai multe

De ce Danemarca renunță la Microsoft Office și Windows în favoarea LibreOffice și Linux

  de Mihai Georgescu, editor colaborator Danemarca face un pas major în orientarea către suveranitatea digitală: sectorul public a început să înlocuiască Microsoft Office și Windows cu LibreOffice și distribuții Linux. Misunea este de a readuce controlul datelor în spațiul UE și de a diminua dependența de furnizori extra-comunitari. Motivele deciziei Guvernul danez a început tranziția pe baza a trei obiective prioritare: Suveranitate digitală – datele rămân sub control european, nu sunt transmise către servere non‑UE . Reducerea costurilor – eliminarea licențelor Microsoft și direcționarea fondurilor către dezvoltatori și companii locale. Securitate și interoperabilitate – standardizarea pe formate deschise (ODF) pentru o colaborare mai eficientă între instituții și cetățeni . Strategia de implementare Pilot gradual – implementări în etape, începând cu LibreOffice și Windows, urmate de trecerea la Linux — fără tranziția “brutală” în toate birourile deodată . Form...
Trimiteți un comentariu
Citiți mai multe