Gamble lönar sig: Utvecklaren får hårdvara värd 80 000 dollar med 960 GB DDR5-minne och Nvidia GH200 superchip till en tiondel av priset
För mindre än en vecka sedan täckte vi en berättelse från Reddit där en spelare lyckades få tag på en kraftfull och välutrustad speldator värd cirka 3 000 dollar ny för bara 600 dollar. Lustigt nog är 64 GB DDR5-minne i systemet ensamt värt $ 880 i skrivande stund, med tillstånd av den pågående DRAM-leveranspressen som driver en aldrig tidigare skådad ökning i minnespriser.
hårdvara värd 80 000 dollar för 8 000 dollar: AI-utvecklare får jackpott
Nu lyckades en AI-utvecklare, också genom Reddit, jaga en aptitretande affär - en begagnad AI-server med dubbla Nvidia GH200 superchip som säljs för bara 8 000 dollar. Om systemet köptes helt nytt skulle det kosta någonstans i storleksordningen 80 000 dollar, troligen ännu mer eftersom Nvidia H100 är ensam värt cirka $ 40,000, som noterat av författaren. Åh, och dessutom har systemet hela 960 GB LPDDR5X-minne. De exakta detaljerna i systemet har beskrivits nedan, med tillstånd av köparen, David Noel Ng:
- Dubbla Nvidia Grace-Hopper GH200 Superchip - var och en med en 72-kärnig ARM-processor med 480 GB LPDDR5X-minne, Hopper H100 GPU med 96 GB HBM3-minne
- NVlink C2C med 900 GB/s bandbredd
- 3 kW PSU
- Dubbla PCIe Gen4 M.2 22110/2280-kortplatser
- Fyra FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
Nvidia GH200 superchip till ett bra pris? Det finns en hake
Säljaren, i ett annat svar, avslöjade att systemet såldes till ett fynd på grund av dess dåliga skick, på grund av att det har konverterats från vätskekylt till luftkylt. Dessutom nämnde de också att det inte kunde monteras på ett typiskt serverrack, vilket i allmänhet är en förutsättning.
David lät sig dock inte skrämmas av dessa nackdelar och körde själv till säljaren för att få systemet kontrollerat. Lyckligtvis upptäckte han att säljaren hade gott rykte och råkade ligga ungefär två timmar från där han bor.
När systemet hade hämtats hem ordnade David med en dammsugare och några liter rengöringsmedel innan han satte igång med arbetet. När servern var rengjord installerades en ny vattenkylning och några få reparationer utfördes. Den kanske svåraste utmaningen var att lösa problemet med en felaktig temperatursensor som upprepade gånger fick servern att krascha, men allt löstes till slut.
Massiva LLM:er precis som hemma: 235B-parametermodellerna går smidigt
David verkar ganska nöjd med sitt köp - och sin efterföljande förmåga att köra massiva LLM:er (235B) direkt hemma. Naturligtvis krävde hela processen massor av arbete, varav det mesta ligger utanför räckvidden för dem som är helt nya inom hårdvara i företagsklass. Men med tanke på att enbart de 960 GB DDR5-minnet nu är värt mer än vad han betalade för hela systemet, var det definitivt ett lyckligt slut.
För den som vill köra mindre AI-modeller hemma utan att behöva lägga ut 8 000 dollar och flera timmars installation kan Strix Halo-drivna GMKtec Evo-X2 (för närvarande 1 529,99 dollar på Amazon) vara ett bättre val.
Källa(n)
David Noel Ng, Reddit, upptäckt av Tom's Hardware
