Gladovanje PCIe traka: Kako pokrenuti 4 GPU-a na potrošačkoj ploči

Kad smo odlučili pokrenuti četiri grafičke kartice na običnoj potrošačkoj matičnoj ploči, znali smo da će biti izazovno. Ali ono što nas je dočekalo bilo je pravo gladovanje PCIe traka – performanse su pale na razinu koja je bila gotovo neupotrebljiva za ozbiljan rad. U ovom članku dijelimo kako smo dijagnosticirali problem i koje su zaobilaznice zapravo funkcionirale.

Što je gladovanje PCIe traka?

PCIe trake su fizički vodiči koji povezuju komponente poput GPU-a s CPU-om. Na potrošačkim pločama broj traka je ograničen – obično 20 do 24, ovisno o čipsetu. Kad pokušate spojiti četiri GPU-a, svaki od njih treba barem 8 traka za pristojne performanse, što je ukupno 32 trake. Rezultat je da neki GPU-i dobivaju samo 4 ili čak 1 traku, što dovodi do dramatičnog usporavanja.

Kako smo dijagnosticirali problem

Prvi znak bio je pad brzine prijenosa podataka u aplikacijama poput renderiranja i strojnog učenja. Koristili smo alate poput GPU-Z i PCIe link speed monitoring kako bismo provjerili stvarni broj aktivnih traka. Otkrili smo da su dva GPU-a radila na x4 umjesto x8, a jedan čak na x1. To je potvrdilo gladovanje.

Zaobilaznice koje su funkcionirale

• Prilagodba BIOS postavki: Promijenili smo PCIe lane allocation u BIOS-u na '4x4x4x4' umjesto 'x16 + x8 + x4'. To je osiguralo da svaki GPU dobije po 4 trake, što je bilo dovoljno za većinu zadataka.
• Korištenje M.2 na PCIe adaptera: Dodali smo dodatne PCIe utore pomoću M.2 utora koji su imali vlastite trake. Time smo rasteretili glavne PCIe utore i omogućili bolju raspodjelu.
• Optimizacija softvera: U aplikacijama smo smanjili količinu podataka koji se prenose preko PCIe sabirnice, primjerice komprimiranjem modela u strojnom učenju ili smanjenjem rezolucije tekstura u renderiranju.
• Prelazak na višejezgreni CPU: Neki CPU-i imaju više PCIe traka. Iako nismo mijenjali ploču, nadogradnja na CPU s 28 traka (poput Intel Core i9-10980XE) riješila je problem u potpunosti.

Što smo naučili

Gladovanje PCIe traka nije smak svijeta, ali zahtijeva pažljivo planiranje. Naša najbolja preporuka je da prije kupnje provjerite specifikacije matične ploče i CPU-a te da koristite alate za praćenje. Ako već imate problem, isprobajte gore navedene zaobilaznice – one su nam spasile projekt.