Kinas AI-boom drivs av renoverade Nvidia GPU:er när exportbegränsningarna biter

På grund av regulatoriska hinder och exportrestriktioner använder AI-företag i Kina i allt högre grad renoverade och begagnade Nvidia-acceleratorer. När exporten av H20 återupptogs i juli försvårades upphandlingen av Nvidias begränsade Hopper-kort av nya kinesiska datasäkerhetsregler. Därför vände sig köparna till äldre A100- och H100-kort, som nu byggs om och säljs av leverantörer för att skapa prisvärda, högpresterande inferenskluster.

Inferens kräver mindre beräkningar än träning och behöver inte full flyttalsprecision. Ett A100 från 2020 erbjuder upp till 80 gigabyte HBM2e och cirka 2 TBps bandbredd. Den kör fortfarande chatbottar och rekommendationsmotorer bra. Nvidias mogna CUDA-programvara hjälper till, med tanke på utvecklingsnivån för stacken. För team som fokuserar på att betjäna modeller, snarare än att träna dem, är äldre kisel en smart investering.

I jämförelse är H100 prestanda, erbjuder HBM3 och mycket högre genomströmning. H20 följer exportreglerna, men dess AI-prestanda är ungefär tre till sju gånger lägre än en full H100, och över trettio gånger lägre i dubbel precision. Med tanke på dessa begränsningar väljer många köpare i Kina fortfarande återanvända H100-kort framför nya H20-enheter.

Inferenssystem kan köras kontinuerligt med minimal risk för precisionen, och äldre CUDA-kompatibla kort är lätta att använda. Renoverade kort är fortfarande mycket efterfrågade, trots vissa problem med tillförlitligheten. Datacenter kan expandera omedelbart i stället för att vänta på godkända delar.

Samtidigt står Nvidia inför en svår situation: förändringar i de amerikanska licensreglerna ledde till en nedskrivning på nedskrivning på 5,5 miljarder dollar från osålda H20-lager. Samtidigt innebär bristen på officiella kort att äldre Nvidia GPU:er fortsätter att driva Kinas AI-tillväxt genom inofficiell och renoverad försäljning. Denna dynamik kan påverka Nvidias vinster och förlänga införandet av ny teknik.

På den inhemska fronten uppmuntrar den kinesiska regeringen inhemska acceleratorer från Huawei och Birenmen varje begagnad H100 eller trimmad A100 som används i kinesiska datacenter minskar marknaden för Ascend-baserade system och bromsar investeringarna i inhemska stackar.

Sammantaget skapar dessa regler en återvinningsekonomi. Kontroller som begränsar avancerad databehandling och policyer som främjar lokala chips gör att äldre Nvidia-hårdvara är användbar längre.