NVIDIA NeMo Framework vartotojo vadovas

NVIDIA NeMo Framework

Specifikacijos

• Produkto pavadinimas: NVIDIA NeMo Framework
• Paveiktos platformos: Windows, Linux, macOS
• Paveiktos versijos: Visos versijos senesnės nei 24
• Saugos pažeidžiamumas: CVE-2025-23360
• Rizikos vertinimo bazės balas: 7.1 (CVSS v3.1)

Produkto naudojimo instrukcijos

Saugos naujinimo diegimas:
Norėdami apsaugoti savo sistemą, atlikite šiuos veiksmus:

1. Atsisiųskite naujausią leidimą iš „NeMo-Framework-Launcher Releases“ puslapio „GitHub“.
2. Norėdami gauti daugiau informacijos, eikite į NVIDIA Product Security.

Išsami saugos naujinimo informacija:
Saugos naujinimas pašalina NVIDIA NeMo Framework pažeidžiamumą, dėl kurio gali būti vykdomas kodas ir duomenysamperingas.

Programinės įrangos atnaujinimas:
Jei naudojate ankstesnę filialo leidimą, siekiant išspręsti saugos problemą, rekomenduojama atnaujinti į naujausią šakos leidimą.

Baigėsiview

NVIDIA NeMo Framework yra keičiamo dydžio ir iš debesies sukurta generacinė AI sistema, sukurta tyrėjams ir kūrėjams, dirbantiems Dideli kalbų modeliai, Multimodalinis ir Kalbos AI (pvz Automatinis kalbos atpažinimas ir Tekstas į kalbą). Tai leidžia vartotojams efektyviai kurti, tinkinti ir įdiegti naujus generuojančius AI modelius, naudojant esamą kodą ir iš anksto parengtus modelio patikros taškus.

Sąrankos instrukcijos: Įdiekite „NeMo Framework“.

Didelės kalbos modeliai ir daugiarūšiai modeliai
„NeMo Framework“ teikia visapusišką palaikymą kuriant didelių kalbų modelius (LLM) ir daugiarūšius modelius (MM). Tai suteikia lankstumo, kurį galima naudoti vietoje, duomenų centre arba su pageidaujamu debesies paslaugų teikėju. Jis taip pat palaiko vykdymą SLURM arba Kubernetes įgalintose aplinkose.

Duomenų tvarkymas
NeMo kuratorius [1] yra Python biblioteka, kurioje yra duomenų gavybos ir sintetinių duomenų generavimo modulių rinkinys. Jie yra keičiamo dydžio ir optimizuoti GPU, todėl puikiai tinka natūralios kalbos duomenims tvarkyti, kad būtų mokomi ar tikslinami LLM. Naudodami „NeMo Curator“ galite efektyviai išgauti aukštos kokybės tekstą iš plačios neapdorotos medžiagos web duomenų šaltiniai.

Mokymas ir pritaikymas

NeMo Framework suteikia įrankius efektyviam mokymui ir pritaikymui LLM ir multimodaliniai modeliai. Tai apima numatytąsias skaičiavimo klasterio sąrankos, duomenų atsisiuntimo ir modelio hiperparametrų konfigūracijas, kurias galima koreguoti, kad būtų galima naudoti naujus duomenų rinkinius ir modelius. Be išankstinio mokymo, NeMo palaiko ir prižiūrimo tikslaus derinimo (SFT) ir parametrų efektyvaus tikslaus derinimo (PEFT) metodus, tokius kaip LoRA, Ptuning ir kt.

Galimos dvi galimybės pradėti mokymą „NeMo“ – naudojant „NeMo 2.0“ API sąsają arba naudojant „NeMo Run“.

• Su NeMo Run (rekomenduojama): „NeMo Run“ suteikia sąsają, leidžiančią supaprastinti eksperimentų konfigūraciją, vykdymą ir valdymą įvairiose skaičiavimo aplinkose. Tai apima užduočių paleidimą darbo vietoje vietoje arba didelėse grupėse – tiek įgalintas SLURM, tiek „Kubernetes“ debesies aplinkoje.
  • Išankstinė treniruotė ir PEFT greitoji pradžia su NeMo Run
• Naudojant NeMo 2.0 API: Šis metodas puikiai tinka naudojant paprastą sąranką, apimančią mažus modelius, arba jei norite parašyti savo tinkintą duomenų įkėlimo programą, mokymo kilpas arba pakeisti modelio sluoksnius. Tai suteikia daugiau lankstumo ir konfigūracijų valdymo bei leidžia lengvai išplėsti ir tinkinti konfigūracijas programiškai.
  • Training Quickstart su NeMo 2.0 API
  • Perkeliama iš NeMo 1.0 į NeMo 2.0 API

Lygiavimas

• NeMo-Aligner [1] yra keičiamo dydžio įrankių rinkinys efektyviam modelių derinimui. Įrankių rinkinys palaiko moderniausius modelių derinimo algoritmus, tokius kaip „SteerLM“, DPO, „Reforcement Learning from Human Feedback“ (RLHF) ir daug daugiau. Šie algoritmai leidžia vartotojams suderinti kalbos modelius, kad būtų saugesni, nekenksmingesni ir naudingesni.
• Visi „NeMo-Aligner“ kontroliniai taškai yra suderinami su NeMo ekosistema, todėl juos galima toliau pritaikyti ir daryti išvadas.

Žingsnis po žingsnio visų trijų RLHF fazių darbo eiga mažame GPT-2B modelyje:

• SFT mokymas
• Atlygio modelio mokymas
• PPO mokymas

Be to, demonstruojame įvairių kitų naujų derinimo metodų palaikymą:

• DAP: lengvas išlyginimo algoritmas, palyginti su RLHF su paprastesne praradimo funkcija.
• Savarankiškas žaidimas Tikslus derinimas (SPIN)
• SteerLM: technologija, pagrįsta kondicionuotu SFT, su valdoma išvestimi.

Daugiau informacijos rasite dokumentacijoje: Lygiavimo dokumentacija

Multimodaliniai modeliai

• „NeMo Framework“ teikia optimizuotą programinę įrangą, skirtą mokyti ir diegti pažangiausius daugiarūšio transporto modelius keliose kategorijose: daugiarūšių kalbų modeliai, vizijos kalbos pagrindai, teksto į vaizdą modeliai ir ne tik 2D generavimas naudojant neuronų spinduliavimo laukus (NeRF).
• Kiekviena kategorija sukurta taip, kad atitiktų konkrečius poreikius ir pažangą šioje srityje, pasitelkiant pažangiausius modelius, skirtus tvarkyti įvairius duomenų tipus, įskaitant tekstą, vaizdus ir 3D modelius.

Diegimas ir išvados
„NeMo Framework“ teikia įvairius būdus LLM išvadoms, atsižvelgiant į skirtingus diegimo scenarijus ir našumo poreikius.

Įdiekite su NVIDIA NIM

• „NeMo Framework“ sklandžiai integruojasi su įmonės lygio modelio diegimo įrankiais per NVIDIA NIM. Šią integraciją palaiko NVIDIA TensorRT-LLM, užtikrinanti optimizuotą ir keičiamo dydžio išvadą.
• Norėdami gauti daugiau informacijos apie NIM, apsilankykite NVIDIA websvetainę.

Įdiekite naudodami TensorRT-LLM arba vLLM

• „NeMo Framework“ siūlo scenarijus ir API, skirtus modeliams eksportuoti į dvi išvadoms optimizuotas bibliotekas – TensorRT-LLM ir vLLM, o eksportuotam modeliui įdiegti naudojant „NVIDIA Triton Inference Server“.
• Scenarijais, kuriems reikalingas optimizuotas našumas, NeMo modeliai gali panaudoti TensorRT-LLM – specializuotą biblioteką, skirtą paspartinti ir optimizuoti LLM išvadas NVIDIA GPU. Šis procesas apima NeMo modelių konvertavimą į formatą, suderinamą su TensorRT-LLM, naudojant modulį nemo.export.
  • LLM diegimas baigėsiview
  • Įdiekite NeMo didelių kalbų modelius su NIM
  • Įdiekite NeMo didelių kalbų modelius naudodami TensorRT-LLM
  • Įdiekite NeMo didelių kalbų modelius naudodami vLLM

Palaikomi modeliai

Dideli kalbų modeliai

Dideli kalbų modeliai

Dideli kalbų modeliai	Išankstinis mokymas ir SFT	PEFT	Lygiavimas	8BP mokymo konvergencija	TRT/TRTLLM	Konvertuoti į apsikabinantį veidą ir iš jo	Įvertinimas
Llama3 8B/70B, Llama3.1 405B	Taip	Taip	x	Taip (iš dalies patikrinta)	Taip	Abu	Taip
Mixtral 8x7B/8x22B	Taip	Taip	x	Taip (nepatvirtinta)	Taip	Abu	Taip
Nemotron 3 8B	Taip	x	x	Taip (nepatvirtinta)	x	Abu	Taip
Nemotron 4 340B	Taip	x	x	Taip (nepatvirtinta)	x	Abu	Taip
Baichuan2 7B	Taip	Taip	x	Taip (nepatvirtinta)	x	Abu	Taip
ChatGLM3 6B	Taip	Taip	x	Taip (nepatvirtinta)	x	Abu	Taip
Gemma 2B/7B	Taip	Taip	x	Taip (nepatvirtinta)	Taip	Abu	Taip
Gemma2 2B/9B/27B	Taip	Taip	x	Taip (nepatvirtinta)	x	Abu	Taip
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Taip	Taip	x	Taip (nepatvirtinta)	x	x	Taip
Phi3 mini 4k	x	Taip	x	Taip (nepatvirtinta)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Taip	Taip	x	Taip (nepatvirtinta)	Taip	Abu	Taip
StarCoder 15B	Taip	Taip	x	Taip (nepatvirtinta)	Taip	Abu	Taip
StarCoder2 3B/7B/15B	Taip	Taip	x	Taip (nepatvirtinta)	Taip	Abu	Taip
BERT 110M/340M	Taip	Taip	x	Taip (nepatvirtinta)	x	Abu	x
T5 220M/3B/11B	Taip	Taip	x	x	x	x	x

 

Regėjimo kalbos modeliai

 

Modelių įterpimas

 

Pasaulio fondo modeliai

Pastaba
NeMo taip pat palaiko išankstinį mokymą tiek difuzinei, tiek autoregresinei architektūrai text2world pamatų modeliai.

Kalbos AI

Pokalbio AI modelių kūrimas yra sudėtingas procesas, apimantis tam tikrų sričių modelių apibrėžimą, konstravimą ir mokymą. Norint pasiekti aukštą tikslumo lygį, šis procesas paprastai reikalauja kelių iteracijų. Tai dažnai apima daugybę iteracijų, kad būtų pasiektas didelis tikslumas, įvairių užduočių ir konkrečios srities duomenų derinimas, mokymo efektyvumo užtikrinimas ir modelių paruošimas išvadų diegimui.

„NeMo Framework“ teikia pagalbą mokant ir tinkinant „Speech AI“ modelius. Tai apima tokias užduotis kaip automatinis kalbos atpažinimas (ASR) ir teksto į kalbą (TTS) sintezė. Tai suteikia sklandų perėjimą prie įmonės lygio gamybos diegimo naudojant NVIDIA Riva. Kad padėtų kūrėjams ir tyrėjams, „NeMo Framework“ apima naujausius iš anksto paruoštus kontrolinius taškus, atkuriamo kalbos duomenų apdorojimo įrankius ir interaktyvaus kalbos duomenų rinkinių tyrinėjimo ir analizės funkcijas. „NeMo Framework for Speech AI“ komponentai yra tokie:

Mokymas ir pritaikymas
NeMo Framework yra viskas, ko reikia norint išmokyti ir pritaikyti kalbos modelius (ASR, Kalbos klasifikacija, Garsiakalbio atpažinimas, Kalbėjo dienoraštis, ir TTS) atkuriamu būdu.

SOTA iš anksto apmokyti modeliai

• „NeMo Framework“ pateikia naujausius receptus ir iš anksto paruoštus kelių patikrinimo punktus ASR ir TTS modelius, taip pat instrukcijas, kaip juos įkelti.
• Kalbėjimo įrankiai
• „NeMo Framework“ pateikia įrankių rinkinį, naudingą kuriant ASR ir TTS modelius, įskaitant:
  • „NeMo Forced Aligner“ (NFA) žetono, žodžio ir segmento lygio laiko skaičiavimui generuotiampkalbos garsą naudojant NeMo CTC pagrįstus automatinio kalbos atpažinimo modelius.
  • Kalbos duomenų procesorius (SDP), įrankių rinkinys, skirtas supaprastinti kalbos duomenų apdorojimą. Tai leidžia pateikti duomenų apdorojimo operacijas konfigūracijoje file, sumažinant pagrindinį kodą ir leidžiantį atkurti bei bendrinti.
  • Kalbos duomenų naršyklė (SDE), brūkšnelių pagrindu web programa, skirta interaktyviam kalbos duomenų rinkinių tyrinėjimui ir analizei.
  • Duomenų rinkinio kūrimo įrankis kuri suteikia funkcionalumą suderinti ilgą garsą files su atitinkamais nuorašais ir suskaidykite juos į trumpesnius fragmentus, tinkančius automatinio kalbos atpažinimo (ASR) modelio mokymui.
  • Palyginimo įrankis ASR modeliams palyginti skirtingų ASR modelių prognozes žodžių tikslumo ir ištarimo lygiu.
  • ASR vertintojas ASR modelių ir kitų funkcijų, pvz., balso veiklos aptikimo, našumui įvertinti.
  • Teksto normalizavimo įrankis konvertuoti tekstą iš rašytinės formos į sakytinę ir atvirkščiai (pvz., „31“ vs „trisdešimt pirmas“).
• Kelias į diegimą
• „NeMo“ modelius, kurie buvo išmokyti arba pritaikyti naudojant „NeMo Framework“, galima optimizuoti ir įdiegti naudojant „NVIDIA Riva“. „Riva“ pateikia konteinerius ir vairo diagramas, specialiai sukurtas automatizuoti mygtukų diegimo veiksmus.

Kiti ištekliai

„GitHub“ atpirkimo sandoriai

• NeMo: pagrindinė „NeMo Framework“ saugykla
• NeMo–Bėk: įrankis, skirtas konfigūruoti, paleisti ir valdyti mašininio mokymosi eksperimentus.
• NeMo-Aligner: Keičiamas įrankių rinkinys efektyviam modelio derinimui
• NeMo-kuratorius: Išankstinio duomenų apdorojimo ir kuravimo įrankių rinkinys, skirtas LLM

Pagalbos gavimas
Bendraukite su NeMo bendruomene, užduokite klausimų, gaukite palaikymo arba praneškite apie klaidas.

• NeMo Diskusijos
• NeMo problemos

Programavimo kalbos ir sistemos

• Python: pagrindinė sąsaja, skirta naudoti „NeMo Framework“.
• Pitorchas: NeMo Framework sukurtas ant PyTorch

Licencijos

• NeMo Github repo yra licencijuotas pagal Apache 2.0 licenciją
• NeMo Framework licencijuota pagal NVIDIA AI PRODUKTŲ SUTARTĮ. Traukdami ir naudodami konteinerį sutinkate su šios licencijos sąlygomis.
• „NeMo Framework“ konteineryje yra „Llama“ medžiagų, kurioms taikoma „Meta Llama3“ bendruomenės licencijos sutartis.

Išnašos
Šiuo metu „NeMo Curator“ ir „NeMo Aligner“ palaikymas multimodaliniams modeliams yra nebaigtas ir bus pasiekiamas labai greitai.

DUK

Kl .: Kaip galiu patikrinti, ar mano sistema yra paveikta pažeidžiamumo?
A: Galite patikrinti, ar jūsų sistema yra paveikta, patikrinę įdiegtos NVIDIA NeMo Framework versiją. Jei jos versija yra senesnė nei 24, jūsų sistema gali būti pažeidžiama.

Kl.: Kas pranešė apie saugos problemą CVE-2025-23360?
A: Apie saugumo problemą pranešė „Or Peles“ – „JFrog Security“. NVIDIA pripažįsta jų indėlį.

Kl.: Kaip galiu gauti būsimus saugos biuletenio pranešimus?
A: Apsilankykite NVIDIA produkto saugos puslapyje, kad užsiprenumeruotumėte saugos biuletenio pranešimus ir gautumėte informaciją apie produkto saugos naujinimus.