PCIe Lane Contention: Zašto je naš 8-GPU swarm bio 30% sporiji

Kada smo krenuli u izgradnju 8-GPU inference swarm-a, očekivali smo linearno skaliranje performansi. Umjesto toga, dobili smo 30% manje propusnosti nego što su teorijski izračuni sugerirali. Nakon tjedana analize, otkrili smo da problem nije bio u softveru, već u hardverskoj arhitekturi—točnije, u PCIe lane contention-u.

Što je PCIe lane contention?

PCIe (Peripheral Component Interconnect Express) je sabirnica koja povezuje GPU-ove s CPU-om i memorijom. Svaki GPU koristi određeni broj PCIe lane-ova za prijenos podataka. Kada više GPU-ova dijeli iste PCIe lane-ove ili kada je broj lane-ova po GPU-u nedovoljan, dolazi do zagušenja—poznatog kao lane contention. To znači da GPU-ovi moraju čekati na pristup sabirnici, što usporava cijeli sustav.

Kako smo dijagnosticirali problem

Naša dijagnoza započela je mjerenjem propusnosti svakog GPU-a zasebno. Koristili smo alate poput nvidia-smi i pciutils za praćenje PCIe aktivnosti. Otkrili smo sljedeće:

• GPU-ovi 0-3 dijelili su PCIe switch s 16 lane-ova, dok su GPU-ovi 4-7 koristili zaseban switch.
• Kada smo pokretali workload na svim GPU-ovima istovremeno, propusnost po GPU-u pala je s očekivanih 16 GB/s na 11 GB/s.
• Latency se povećala za 40% tijekom simultanog rada, što je ukazivalo na čekanje na sabirnici.

Ovi podaci jasno su pokazali da je PCIe lane contention bio glavni uzrok usporavanja.

Kako smo riješili problem

Nakon što smo identificirali uzrok, poduzeli smo nekoliko koraka za optimizaciju:

• Raspodjela GPU-ova: Premjestili smo GPU-ove tako da svaki koristi zaseban PCIe root complex, smanjujući dijeljenje lane-ova.
• Korištenje NVLink-a: Za GPU-ove koji podržavaju NVLink, omogućili smo direktnu komunikaciju između GPU-ova, zaobilazeći PCIe sabirnicu za inter-GPU prijenos.
• Optimizacija workload-a: Prilagodili smo batch size i pipeline tako da se smanji učestalost prijenosa podataka preko PCIe-a.

Nakon ovih promjena, propusnost se povećala za 25%, a latency se smanjila za 30%. Sustav je sada radio blizu teorijskog maksimuma.

Preporuke za slične sustave

Ako gradite više-GPU sustav, evo nekoliko savjeta:

• Provjerite broj PCIe lane-ova po GPU-u u vašoj matičnoj ploči i CPU-u.
• Izbjegavajte dijeljenje PCIe switch-a između GPU-ova ako je moguće.
• Razmotrite korištenje NVLink-a ili PCIe 5.0 za veću propusnost.
• Uvijek testirajte stvarne performanse s vašim workload-om, ne samo teorijske specifikacije.

PCIe lane contention je čest, ali često zanemaren problem u više-GPU sustavima. Naše iskustvo pokazuje da pažljiva analiza i hardverske prilagodbe mogu donijeti značajne dobitke u performansama.