NVIDIA TESLA P40 24 GB

2× GPU do LLM: jak llama.cpp dzieli model między P40 i V100

Dwie karty pozwolą uruchomić model, który nie mieści się na jednej — ale nie dlatego, że VRAM sumuje się w jedną wielką pulę. llama.cpp i Ollama dzielą model na warstwy i rozkładają je między karty.

14 października 2026

PLLuM lokalnie na używanej Tesli - jak odpalić i ile VRAM

PLLuM odpalisz lokalnie na używanej Tesli tak jak każdy model GGUF — przez Ollamę albo llama.cpp. Ile VRAM potrzebujesz, którą kartę (P40/P100/V100) wybrać i jak to uruchomić.

20 sierpnia 2026

Benchmarki: Bielik i PLLuM na P40/P100/V100 - realne tokeny/s z czasem prefill

Zmierzyliśmy Bielika i PLLuM na używanych Teslach — realne tokeny/s z czasem prefill, a nie tylko sama generacja. Liczby, warunki pomiaru i szablon do własnej weryfikacji.

13 sierpnia 2026

Stable Diffusion na używanej Tesli - która karta i czego się spodziewać

Od kilku miesięcy generuję obrazki na kartach, które kiedyś stały w serwerowniach jako akceleratory obliczeniowe, a nie karty graficzne w tradycyjnym sensie. Zero wyjścia wideo, zasilanie EPS zamiast PCIe, chłodzenie pasywne wymagające wymuszonego przepływu powietrza — Tesla to sprzęt, który trzeba…

22 lipca 2026

Ile VRAM potrzeba do uruchomienia Llama 7B, 13B i 70B?

Krótko: 7B w kwantyzacji zmieści się na 8 GB, 13B komfortowo chce 16 GB, 34B wchodzi na 24 GB "na styk", a do 70B realnie potrzebujesz około 40-48 GB VRAM — czyli dwóch kart 24 GB albo jednej z dużą ilością pamięci. Poniżej rozpisuję, skąd biorą się te liczby i dlaczego kontekst potrafi to wszystko…

5 czerwca 2026

Whisper po polsku na GPU - transkrypcja i napisy lokalnie (RODO)

Whisper (a najlepiej faster-whisper) świetnie transkrybuje polski, a lokalnie na GPU robi to szybko i bez wysyłania nagrań do zewnętrznej usługi. W naszym teście V100 32GB osiągnęła ~15× realtime, a P40/A2 ~6×.

7 października 2026