GPU do laboratorium i na uczelnię bez budżetu na H100 - jak zbudować stanowisko AI/HPC taniej

Jeśli prowadzisz badania, pilnujesz budżetu grantu albo kupujesz sprzęt do koła naukowego, prędzej czy później trafiasz na tę samą ścianę: nowy akcelerator data center kosztuje tyle, co roczne stypendium kilku doktorantów. Odpowiedź, do której sam doszedłem po kilku zakupach na własne potrzeby testowe, jest prozaiczna: kupuj używki data center, dobierz kartę pod konkretne zadanie, nie pod marketing, i zaakceptuj, że to nie będzie sprzęt na dekadę. Dla większości zastosowań laboratoryjnych i dydaktycznych to i tak wystarczy z dużym zapasem.

Dlaczego w ogóle używki mają sens w nauce

Sprzęt, o którym mówię — Tesla V100, P100, P40, A2 — to karty, które kilka lat temu stały w serwerowniach chmur i ośrodków obliczeniowych. Trafiają na rynek wtórny po zakończonych cyklach leasingowych albo modernizacjach klastrów. Architektura i wydajność się nie zmieniają od momentu, gdy trafiają do sprzedaży — dostajesz dokładnie te same jednostki CUDA i Tensor Core, co w nowym sprzęcie tej generacji, tylko za ułamek pierwotnej ceny.

To nie jest argument „bo taniej", tylko argument „bo w ogóle się mieści w budżecie". Grant na aparaturę badawczą albo budżet koła naukowego rzadko przewiduje kilkadziesiąt tysięcy złotych na jedną kartę. Za podobne pieniądze można postawić kilka stanowisk z używanymi Teslami i faktycznie uczyć studentów albo prowadzić eksperymenty, zamiast czekać rok na decyzję o zakupie jednej sztuki topowego sprzętu.

Uczciwie: to nie jest sprzęt do produkcyjnego treningu modeli na skalę firmy AI. Starsza architektura oznacza brak najnowszych optymalizacji (np. natywnego wsparcia dla niższych precyzji jak FP8), niższą przepustowość pamięci niż w bieżącej generacji i krótszy realny okres wsparcia sterowników. Ale do pracy badawczej, prototypowania, zajęć dydaktycznych i większości pipeline'ów treningowych typu „mieszczący się na jednej karcie" — to zupełnie wystarczający zakres.

Dobór karty do zadania — nie ma jednej najlepszej

Największy błąd, jaki widzę przy takich zakupach, to kupowanie „tego, co najmocniejsze wg jakiegoś rankingu", zamiast dopasowania do realnego obciążenia. Te cztery karty, o których piszę niżej, mają realnie różne mocne strony — i to nie jest zamknięta lista. Omawiam tu modele, które najczęściej trafiają do labów i które akurat mam w bieżącej ofercie; jeśli potrzebujesz innego akceleratora (np. nowszego albo z większym VRAM), sprowadzam go na zamówienie i wyceniam na zapytanie.

V100 — koń roboczy do deep learningu

V100 (i wariant 32 GB) to karta Volta z pierwszą generacją Tensor Core, pamięcią HBM2 o przepustowości rzędu 900 GB/s. To sensowny wybór, jeśli głównym zajęciem jest trening sieci neuronowych — klasyczny deep learning, fine-tuning mniejszych modeli, eksperymenty z architekturami. Ma też mocne FP64 (ok. 7 TFLOPS), więc nie jest karą wyłącznie do AI — nadaje się też do obliczeń naukowych wymagających precyzji.

Wariant 32 GB ma znaczenie praktyczne przy większych batch'ach albo eksperymentach z dłuższymi sekwencjami — nie musisz aż tak agresywnie przycinać rozmiaru danych, żeby zmieścić się w pamięci.

P100 — specjalista od HPC i symulacji

P100 to karta starsza (Pascal), 16 GB HBM2, 732 GB/s przepustowości. Na pierwszy rzut oka słabsza od V100, ale ma jedną cechę, która czyni ją sensownym wyborem do konkretnych zadań: pełne wsparcie FP16 i mocne FP64 (ratio 1:2, ok. 4,7 TFLOPS) jak na tanią kartę tej klasy. Jeśli Twoje obciążenie to nie trening sieci, tylko symulacje numeryczne, obliczenia fizyczne, chemia obliczeniowa czy inne zadania HPC, gdzie liczy się dokładność podwójnej precyzji, a nie tylko przepustowość macierzy — P100 to tania opcja wejścia w podwójną precyzję. Jeśli zależy Ci na najwyższym bezwzględnym FP64 w tym zestawieniu, to jest nim V100 (ok. 7 TFLOPS) — patrz sekcja wyżej.

P40 — dużo VRAM za rozsądne pieniądze, do dydaktyki i inferencji

P40 ma 24 GB pamięci GDDR5 — to najwięcej VRAM w tym zestawieniu, przy relatywnie niskim koszcie. Haczyk: słabe FP16 i słabe FP64, więc do treningu się specjalnie nie nadaje. Tam, gdzie sprawdza się świetnie, to zajęcia dydaktyczne (studenci uczą się stawiać modele, pisać pipeline'y, nie potrzebują maksymalnej wydajności) oraz inferencja większych modeli językowych, gdzie liczy się przede wszystkim pojemność pamięci, a nie surowa szybkość. Jeśli koło naukowe chce postawić stanowisko do eksperymentowania z lokalnymi LLM-ami bez rozbijania banku — to naturalny kandydat.

A2 — ciche stanowisko inferencyjne i edge

A2 to już architektura Ampere, 16 GB, niski pobór mocy, dłuższy realny okres wsparcia niż w przypadku starszych generacji. Nie jest to karta do treningu — to raczej stanowisko inferencyjne, edge computing albo dydaktyczne stanowisko demonstracyjne, które można postawić w zwykłym pokoju bez oddzielnego chłodzenia serwerowego i bez hałasu, który przeszkadza w pracy.

Tabela: zadanie → rekomendowana karta

Zadanie	Rekomendowana karta	Dlaczego
Trening sieci neuronowych, deep learning	V100 16/32 GB	Tensor Core gen1, szybki HBM2, dobry balans FP32/FP16
Symulacje naukowe, obliczenia FP64, HPC	P100 (lub V100)	P100 = najlepszy stosunek FP64/cena; najwyższe bezwzględne FP64 ma V100 (7 TFLOPS)
Dydaktyka, inferencja LLM z dużym kontekstem	P40 24 GB	Najwięcej VRAM za rozsądną cenę, słabsze FP16/FP64 nie przeszkadza
Stanowisko inferencyjne, edge, cichy setup	A2 16 GB	Niski pobór, dłuższe wsparcie, brak potrzeby serwerowego chłodzenia
Eksperymenty z większym batch/kontekstem na V100	V100 32 GB	Więcej pamięci niż wariant 16 GB przy tej samej architekturze

Jeśli wahasz się konkretnie między V100 a A2 pod kątem fine-tuningu, rozpisałem to szerzej w osobnym tekście: V100 vs A2 do fine-tuningu.

Aspekty istotne dla instytucji, nie tylko dla prywatnego kupca

Zakup na uczelnię czy do laboratorium rządzi się swoimi regułami, które łatwo pominąć, patrząc wyłącznie na specyfikację karty.

Faktura VAT. Oczywiste, ale warto to zaznaczyć wprost przy zakupie z rynku wtórnego — nie każdy sprzedawca używek wystawia normalną fakturę, a to bywa wymogiem rozliczenia grantu czy zakupu z budżetu uczelni.

Powtarzalność. Jeśli stawiasz stanowisko laboratoryjne albo salę dydaktyczną, potrzebujesz zwykle kilku identycznych sztuk, nie jednej. Rynek wtórny bywa w tym punkcie kapryśny — partie tego samego modelu się kończą, dlatego przy planowaniu zakupu na kilka stanowisk warto pytać o dostępność większej liczby sztuk z góry, zamiast dokupywać pojedynczo w miarę potrzeb.

Niski koszt wejścia. To główny argument tego całego tekstu — możliwość postawienia kilku stanowisk zamiast jednego, przy tym samym budżecie.

Brak konieczności licencji vGPU do obliczeń CUDA. Jeśli zadanie to czyste obliczenia (trening, inferencja, symulacje) uruchamiane bezpośrednio na hoście lub w kontenerze, a nie wirtualizacja GPU między wieloma maszynami wirtualnymi, nie potrzebujesz licencji NVIDIA vGPU. To różnica, która realnie wpływa na całkowity koszt wdrożenia — łatwo o niej zapomnieć, planując budżet tylko pod sam sprzęt.

Praktyczne uwagi, o których warto pomyśleć przed zakupem

Te karty to konstrukcje pasywne — projektowane do pracy w obudowach serwerowych z wymuszonym, kierunkowym przepływem powietrza. W zwykłej obudowie desktopowej bez dodatkowego chłodzenia (shroud, dodatkowe wentylatory) karta się przegrzeje. Jeśli stawiasz stanowisko poza serwerownią, doliczasz do budżetu odpowiednią obudowę lub adapter chłodzenia — to nie jest opcjonalny dodatek, tylko warunek działania.

Pascal (P100, P40) to najstarsza architektura w tym zestawieniu, a co za tym idzie — krótszy realny horyzont wsparcia sterowników i bibliotek (CUDA, cuDNN) w kolejnych latach. Co więcej, CUDA 13 deprecjonuje już zarówno Pascala, jak i Voltę (V100) — obie te generacje mają więc ograniczony horyzont wsparcia w nowszych wersjach toolchainu. Jeśli planujesz zakup na wiele lat, a nie na jeden projekt czy semestr, najbezpieczniejszym wyborem pod kątem długości wsparcia jest Ampere (A2).

Kupując używkę do instytucji, warto też wymagać dowodu sprawności karty — test typu gpu-burn z wygenerowanym certyfikatem to konkretny, sprawdzalny dowód, że karta wytrzymuje obciążenie bez błędów pamięci czy przegrzewania, a nie tylko deklaracja sprzedawcy.

Więcej o tym, na co zwracać uwagę ogólnie przy zakupie używanego akceleratora data center, piszę tutaj: Używany akcelerator data center — na co uważać.