Od zanesljivega Ryzen 5 do dveh ogromnih grafičnih kartic, 128 GB RAM-a in napajalnika, s katerim bi skoraj lahko zagnal manjšo elektrarno. Zgodba o tem, zakaj pri računalnikih beseda »samo« običajno pomeni težave.
Piše se leto 2019. Rodil se je Monster.
Leta 2019 sem sprejel za tiste čase precej pomembno odločitev. Po letih zvestobe prenosnikom sem si omislil pravi namizni računalnik. Ne ravno takšnega, da bi se ob njegovem zagonu zatemnile luči v ulici, ampak zame je bil to precejšen preskok.
Konfiguracija je bila za moje takratne potrebe več kot spodobna:
- Procesor: AMD Ryzen 5 2600X
- Pomnilnik: 32 GB DDR4 (4 × 8 GB, 2666 MHz)
- Grafična kartica: AMD Radeon RX Vega 64, 8 GB
- Matična plošča: B450 Gaming
- Diskovje: 512 GB NVMe SSD + 1 TB SATA SSD
Ker je bil to daleč najzmogljivejši računalnik, kar sem jih imel v lasti, je dobil tudi primerno ime: Monster.
Ja, pošast. Danes se mi ob pogledu na specifikacije malo nasmehne, ampak leta 2019 je bil to zame pravi stroj. In kar je najlepše, svoje ime je upravičeval.
Monster je postal moj vsakodnevni spremljevalec. Na njem sem delal v Officeu, risal v CAD-u, programiral, eksperimentiral in se med drugim ukvarjal tudi z modificiranjem BIOS-ov grafičnih kartic za rudarjenje kriptovalut. Skratka, vse od povsem običajnega pisarniškega dela do stvari, ob katerih bi povprečen uporabnik verjetno vprašal: »Zakaj bi pa kdo to počel?«
Dobro vprašanje. Na katero še danes nimam vedno pametnega odgovora.
Ampak računalnik je deloval. In to odlično.
Ko sem prešel na Windows 11 Pro, sem si sistem najprej prilagodil po svoje. Odstranil nepotrebne aplikacije, omejil odvečne procese in storitve ter uredil okolje tako, da je delalo zame, ne obratno.
Temu se danes moderno reče debloating. Jaz temu pravim odstranjevanje stvari, ki jih nisem naročil, ne potrebujem in se očitno zelo rade zaganjajo same.
Od takrat naprej je Monster potreboval bolj malo pozornosti. Približno vsaka dva meseca sem ga odprl, očistil prah in mu omogočil, da spet nekoliko lažje diha.
Nobenih dram. Nobenih večjih težav. Nobenega razloga za menjavo.
Skratka, dolgočasno zanesljiv računalnik.
In potem sem se odločil, da mu to mirno življenje uničim.
Leta 2025 sem prvič vtipkal nekaj v lokalni AI
Nekje sredi leta 2025 me je začelo resneje zanimati, ali bi lahko na Monsterju poganjal svoj lasten jezikovni model.
ChatGPT sem že poznal in uporabljal, vendar me je vedno bolj zanimalo, kaj se dogaja v ozadju. Predvsem pa: ali lahko kaj podobnega poganjam kar doma, brez oddaljenih strežnikov?
Sledilo je nekaj večerov Googla, forumov, Reddita in branja objav ljudi, ki imajo očitno podobno težavo kot jaz — ko enkrat ugotovijo, da se nekaj da narediti, jih strašno zanima, ali bi to lahko naredili tudi sami.
Tako sem odkril Ollamo.
Danes obstaja kup prijaznih grafičnih vmesnikov, takrat pa sem se sam najprej srečal s terminalom. Črno okno, nekaj ukazov in utripajoč kazalec.
Kot precej vizualen človek imam raje urejene namizne aplikacije. Terminal sicer spoštujem, ampak po možnosti naj ostane tam, kjer je najbolj uporaben — v ozadju.
Vseeno sem namestil Ollamo in zagnal svoj prvi lokalni jezikovni model. Kolikor se spomnim, je šlo za model razreda 7B s kvantizacijo Q4. Točnega imena se danes ne spomnim več…
Mimogrede, majhna tehnična razlaga.
Kaj pomenita 7B in Q4?
Oznaka 7B pomeni približno sedem milijard parametrov modela. To niso gigabajti, ampak številčne vrednosti, ki jih model uporablja pri svojem delovanju.
Kvantizacija pa je način, kako te vrednosti shranimo z manjšo natančnostjo, da model porabi manj pomnilnika.
Po domače: namesto da bi vsako vrednost hranili v razmeroma potratnem zapisu, uporabimo bolj zgoščenega. Pri Q4 gre praviloma za približno štiribitno predstavitev uteži, z dodatnimi podatki, potrebnimi za njihovo interpretacijo.
To pomeni precej manjšo porabo RAM-a oziroma VRAM-a, pogosto tudi hitrejše izvajanje, lahko pa nekaj izgubimo pri kakovosti odgovorov.
Nekoliko podobno kot stiskanje fotografije. Datoteka je manjša, slika je še vedno uporabna, če pretiravaš s stiskanjem, pa začnejo izginjati podrobnosti. Primerjava sicer ni popolna, ampak za prvo predstavo je dovolj dobra.
In kako se je moj prvi lokalni AI odrezal?
Recimo, da mi ni ravno povzročil eksistencialne krize zaradi prihodnosti človeštva.
Delovalo je. Lahko sem mu postavljal vprašanja in dobival odgovore. Že dejstvo, da je vse teklo na mojem računalniku, je bilo zanimivo.
Ampak v primerjavi s takratnim ChatGPT je bila kombinacija modela in moje strojne opreme precej manj uporabna za resnejše naloge. Tako po kakovosti odgovorov kot po celotni uporabniški izkušnji.
Nisem imel občutka, da sem doma zgradil konkurenco največjim AI-podjetjem.
Bolj sem imel občutek, da sem v garaži sestavil nekaj, kar sicer deluje, ampak za daljšo pot bi še vedno raje vzel preverjen avto.
Zato sem eksperiment nekoliko odložil.
Ne zato, ker me ne bi zanimalo. Ravno nasprotno. Zanimalo me je dovolj, da sem začel razmišljati, kaj bi lahko izboljšal.
In tukaj se zgodba začne zapletati.
Samo malo več RAM-a. Kaj bi lahko šlo narobe?
Leta 2026 sem začel razmišljati o nadgradnji Monsterja.
Začetna ideja je bila povsem razumna: obdržim, kar je dobrega, in zamenjam komponente, ki najbolj omejujejo lokalne jezikovne modele.
Predvsem RAM in grafično kartico.
Preprosto, kajne?
Najprej sem se lotil pomnilnika. Namesto 32 GB sem želel bistveno več, ker pri večjih jezikovnih modelih spomina hitro zmanjka.
Nabavil sem 4 × 32 GB DDR4, skupaj 128 GB, 3200 MHz.
Za običajno pisarniško delo popoln nesmisel. Za eksperimentiranje z velikimi lokalnimi modeli pa precej bolj razumljiva odločitev.
Zadovoljen z nakupom sem začel podrobneje raziskovati možnosti za dve grafični kartici.
In ugotovil, da moja obstoječa matična plošča ni primerna za konfiguracijo, ki sem si jo zamislil.
Čudovito.
Tako se namreč začnejo najboljše nadgradnje. Kupiš RAM, potem ugotoviš, da potrebuješ še matično ploščo.
PCIe x4, x8 in x16 — zakaj je to pomembno?
Grafične kartice so z računalnikom povezane prek vodila PCI Express oziroma PCIe.
Oznake x4, x8 in x16 označujejo število podatkovnih linij, ki jih povezava uporablja. Več linij praviloma pomeni večjo razpoložljivo pasovno širino.
Predstavljaj si avtocesto. Pri x4 imaš štiri pasove, pri x8 osem, pri x16 pa šestnajst. Če je prometa malo, razlike skoraj ne opaziš. Ko pa začnejo po cesti potovati ogromne količine podatkov, postane število pasov precej pomembno.
Za občutek, koliko podatkov lahko te povezave teoretično prenesejo:
| Povezava | PCIe 3.0 | PCIe 4.0 |
|---|---|---|
| x4 | 3,94 GB/s | 7,88 GB/s |
| x8 | 7,88 GB/s | 15,75 GB/s |
| x16 | 15,75 GB/s | 31,51 GB/s |
Vrednosti predstavljajo približno teoretično pasovno širino v eno smer. Dejanske hitrosti so nižje in so odvisne od strojne opreme ter načina uporabe.
Pri lokalnem AI seveda ni vse odvisno od PCIe. Če je model že naložen v pomnilnik grafične kartice, je lahko vpliv širine povezave precej majhen. Če pa sistem pogosto prenaša podatke med RAM-om in VRAM-om oziroma sodeluje več grafičnih kartic, lahko hitrost povezave postane pomembnejša.
Zato x8 ni absolutni minimum za AI in x16 še zdaleč ni pogoj za dobro delovanje.
Sam pa sem želel dve grafični kartici in čim manj nepotrebnih omejitev. Konfiguracija x8/x8 se mi je zdela smiselna izbira, medtem ko bi bil x16/x16 že precej dražji šport.
Moja B450 Gaming za načrtovano konfiguracijo ni ponujala želene razporeditve PCIe povezav.
Torej …
Potrebujem novo matično ploščo.
Jebela. Zdaj potrebujem še procesor.
Ko sem začel iskati primerno matično ploščo, sem se seveda še nekoliko bolj poglobil v strojne zahteve lokalnih jezikovnih modelov.
In naletel na izraz offloading.
Pri izvajanju AI-modelov lahko del izračunov izvajamo na grafični kartici, del pa na procesorju. Če model ne gre v celoti v VRAM, se lahko del njegovih uteži in izračunov obdeluje v sistemskem RAM-u in na CPU-ju.
To je uporabno, vendar običajno počasneje od izvajanja celotnega modela na ustrezno zmogljivi grafični kartici.
In kaj sem ugotovil?
Da moj dobri stari Ryzen 5 2600X sicer še vedno odlično služi svojemu namenu, ampak če že sestavljam sistem za zahtevnejši lokalni AI, bi bil močnejši procesor zelo dobrodošel.
Šest jeder proti šestnajstim. Dvanajst niti proti dvaintridesetim.
V glavi se je začela pojavljati povsem nedolžna misel.
»Če že menjam matično ploščo, bi bilo škoda pustiti stari procesor.«
To je približno tako, kot če se odločiš prepleskati dnevno sobo, na koncu pa menjaš še parket, pohištvo in okna.
Ker če že delaš, narediš tako, kot je treba.
Ali pa vsaj tako, da imaš dober izgovor.
Nakupovalna odisejada po polovici Evrope
Sledilo je obdobje, ko sem imel občutek, da poznam ponudbo računalniških komponent v Nemčiji, Avstriji, Italiji, Sloveniji in na Hrvaškem bolje kot marsikateri trgovec.
Idealo.de, Preisvergleich.de, Amazon.de, Amazon.com, eBay.de, eBay.it, Bolha, Njuškalo, Mindfactory, Galaxus, Jacob …
Če je obstajala spletna trgovina ali oglasnik z računalniško opremo, sem se zelo verjetno znašel tam.
Moje brskanje po spletu se je iz običajnega iskanja informacij spremenilo v lov na komponente.
In potem se je začelo sestavljati.
Najdem malo rabljeno Gigabyte X570 AORUS PRO.
Nabavim.
Najdem nov AMD Ryzen 9 5950X, 16 jeder in 32 niti.
Nabavim.
Najdem nov 1 TB NVMe SSD.
Nabavim.
Najdem nov 2000-vatni napajalnik.
Nabavim.
Pri napajalniku sem se že malo vprašal, ali sestavljam računalnik ali infrastrukturni projekt.
Ampak bolje imeti ustrezno rezervo kot pozneje ugotavljati, zakaj se računalnik pod obremenitvijo obnaša kot božična razsvetljava z napako.
Skratka, skoraj celoten sistem je bil pripravljen.
Manjkala je samo še malenkost.
Grafični kartici.
Dve.
Lov na grafične kartice ali kako skoraj prodaš ledvico
Moja prvotna želja je bila precej jasna: dve NVIDIA RTX 3090, vsaka s 24 GB VRAM-a.
Skupaj bi imel na voljo 48 GB grafičnega pomnilnika, če bi programska oprema znala ustrezno razporediti model med obe kartici.
Poudarek na če bi znala. Dve kartici namreč ne postaneta čudežno ena sama z združenim pomnilnikom.
Zakaj RTX 3090? Ker ima 24 GB VRAM-a, ker je zmogljiva in ker ima NVIDIA s tehnologijo CUDA zelo dobro podporo v ekosistemu AI.
Težava?
Cena.
Nove kartice so bile bodisi težko dosegljive bodisi tako drage, da sem se začel spraševati, ali je v navedeni ceni vključeno še kakšno manjše rabljeno vozilo.
Rabljene?
Nič kaj bolje.
Več let stare kartice, nekatere z neznano zgodovino, po cenah, ob katerih bi človek pričakoval vsaj osebno zahvalo prejšnjega lastnika.
Iskal sem. Primerjal. Spremljal dražbe. Računal. Še malo iskal.
RTX 3090 nisem uspel dobiti po ceni, ki bi se mi zdela razumna.
Vzporedno sem zato gledal še AMD-jeve kartice. Med drugim RX 7900 XT z 20 GB pomnilnika.
In potem sem povsem slučajno naletel na podatek, ki mi je precej spremenil načrte.
Radeon RX 7900 XTX ima 24 GB VRAM-a.
Aha!
Seveda sem vedel, da obstaja 7900 XTX, ampak šele takrat sem se resneje osredotočil na njeno pomnilniško kapaciteto in potencial za lokalni AI.
Na papirju zelo zanimiva možnost. Res je, da je programski ekosistem na strani AMD nekoliko bolj zahteven kot pri NVIDII, ampak to je bilo zame skoraj dodatno povabilo k eksperimentiranju.
Zdaj sem iskal 7900 XTX.
Prva dražba. Neuspešno.
Druga dražba. Neuspešno.
Tretja …
Četrta …
Peta …
Na neki točki sem začel sumiti, da obstaja nek skrivni klub ljudi, katerih edina naloga je, da v zadnjih sekundah dražbe ponudijo tri evre več od mene.
Potem pa končno obvestilo:
»Zmagali ste na dražbi.«
JUPI!
Prva RX 7900 XTX je bila moja.
Samo še ena.
Kaj bi lahko bilo težkega?
Ko prispe grafična kartica, ki bi potrebovala svojo poštno številko
Nekaj dni pozneje je prispela prva kartica.
Odprem embalažo.
Pogledam.
Primem.
OMG. Kakšna zverina!
Na fotografijah so te kartice videti velike. V resnici pa …
Recimo, da se takrat prvič resno zaveš, da je izraz grafična kartica nekoliko zavajajoč.
Kartica? To je kartica?
Težja od orad, ki sem jih poleti lovil. Težja od kilograma kostanjev. Težja od kilograma mesa. Težja od … no, saj razumete.
Več kot kilogram kovine, elektronike in hladilnega sistema, ki naj bi ga človek povsem sproščeno zataknil v režo na matični plošči.
In takrat se mi je prvič porodila misel:
»Čakaj malo. A bosta dve takšni sploh šli skupaj?«
Do tega trenutka sem precej pozornosti posvečal tehničnim specifikacijam, pasovni širini, porabi, pomnilniku …
Fizika prostora pa je očitno čakala na svojo priložnost.
S cmokom v grlu sem kartico previdno vstavil v matično ploščo.
Paše.
Super.
Pogledam prostor za drugo.
Hm.
Nekaj ga je.
Ne prav veliko, ampak nekaj ga je.
V življenju mora biti človek optimist.
Druga kartica, dvakrat več veselja in precej manj zraka
Po približno dveh tednih in še neugotovljivem številu neuspešnih dražb mi je uspelo dobiti še drugo RX 7900 XTX.
Tudi ta je krenila na pot iz Nemčije proti Sloveniji.
Ko je prispela, sem jo vzel iz embalaže in previdno, skoraj kot prvorojenca, položil v drugo PCIe režo.
Pritisnem.
Sede.
Obe kartici sta na matični plošči.
Misija opravljena!
No …
Skoraj.
Pogledam med kartici.
PM. Kje je pa prostor za zrak?
Med njima je bilo prostora približno toliko, kot ga imaš na obali sredi avgusta, ko prideš na plažo ob enajstih dopoldne.
Tehnično gledano se še lahko nekam stisneš.
Udobno pa ni.
Grafični kartici z zmogljivima hladilnikoma potrebujeta ustrezen pretok zraka. Če ena drugi skoraj zapirata dovod, se zna zgoditi, da bosta pri delu precej bolj zaposleni s hlajenjem kot z izračuni.
In natanko to se je pozneje tudi pokazalo.
Sistem je sicer deloval, vendar hlajenje ni bilo takšno, kot sem si ga želel.
Spet torej Google, forumi, fotografije različnih konfiguracij in iskanje rešitev.
Samo še riser. In ohišje. In ventilatorji. In …
Rešitev se je ponujala sama: PCIe x16 riser.
To je podaljšek oziroma povezovalni kabel, s katerim lahko grafično kartico fizično premakneš stran od matične plošče, ne da bi se odpovedal ustrezni PCIe povezavi.
Odlično!
Amazon.de.
Naročim.
Mimogrede, že pred tem sem na istem portalu naročil tudi XXL ohišje, saj je postalo jasno, da standardne dimenzije za moj načrt niso ravno idealne.
Pa dodatne ventilatorje.
Pa hladilno pasto.
Pa še nekaj drobnarij.
In še …
V bistvu se ne spomnim več, kdaj sem nazadnje kupil toliko računalniških komponent v tako kratkem času.
Spomnim pa se, kako se je vse skupaj začelo.
»Samo RAM in grafično kartico bom nadgradil.«
Seveda.
Tako se začnejo tudi prenove kopalnic, ki se končajo z novo streho.
Trenutno stanje: tri dodatne vetrnice in veliko dobre volje
Riser sem torej nabavil, vendar ga do danes še nisem vgradil.
Namesto tega sem za začasno rešitev med grafični kartici pravokotno namestil tri dodatne ventilatorje z močnim pretokom zraka.
Ni ravno rešitev, ki bi jo z veseljem razstavil na sejmu industrijskega oblikovanja.
Je pa praktičen poskus izboljšanja pretoka zraka, dokler se ne lotim drugačne postavitve kartic.
Pri takšni konfiguraciji je seveda pomembno spremljati temperature in obnašanje hladilnikov pod obremenitvijo. Trije dodatni ventilatorji sami po sebi še ne pomenijo, da je težava dokončno rešena.
Trenutno vse skupaj nekoliko spominja na eksperimentalno napravo, pri kateri je inženir najprej poskrbel, da deluje, estetiko pa pustil za naslednjo razvojno fazo.
Kar, če dobro pomislim, pravzaprav odlično opisuje veliko mojih projektov.
Je Monster še vedno Monster?
Ko danes pogledam nazaj, je celotna zgodba precej zabavna.
Leta 2019 sem kupil računalnik, ki je bil zame prava pošast.
Leta 2025 sem na njem prvič zagnal lokalni AI in ugotovil, da je prihodnost sicer zanimiva, ampak moj Monster zanjo potrebuje nekaj kondicije.
Leta 2026 sem se odločil, da ga nekoliko nadgradim.
In na koncu zamenjal procesor, matično ploščo, RAM, dodal SSD, nov napajalnik, dve ogromni grafični kartici, večje ohišje in dodatno hlajenje.
Če smo povsem pošteni, od prvotnega Monsterja ni ostalo prav veliko.
Morda predvsem ideja.
In nekaj starih komponent, ki so svoje delo opravile več kot dostojno.
Po sedmih letih zanesljivega delovanja si pravzaprav zaslužijo malo spoštovanja. Nič ni narobe z računalnikom, ki še vedno deluje dobro, čeprav ga je njegov lastnik medtem začel siliti v povsem drugačne naloge.
Je bila takšna nadgradnja finančno najbolj smiselna rešitev?
Verjetno bi se dalo najti tudi kaj racionalnejšega.
Bi bilo enostavneje kupiti že sestavljen sistem?
Brez dvoma.
Bi se pri tem naučil toliko o PCIe povezavah, pomnilniku, hlajenju, AMD-jevem programskem ekosistemu in lokalnih jezikovnih modelih?
Precej manj.
In ravno tukaj je bistvo.
Nikoli ni šlo samo za to, da imam najhitrejši računalnik ali da doma poganjam največji možni AI-model.
Gre za to, da razumem, kako stvari delujejo. Da sam preizkusim, kje so omejitve. Da kakšno stvar sestavim, razstavim in potem znova sestavim nekoliko bolje.
Včasih to pomeni večer za terminalom.
Drugič nekaj ur s križnim izvijačem.
Tretjič pa dva tedna spremljanja dražb in precej optimistično predstavo o razpoložljivem prostoru v računalniškem ohišju.
Ampak to je del veselja.
Monster je opravil svoje. Iz njega pa je nastalo nekaj precej bolj zanimivega — moj domači AI-laboratorij.
In ko sem mislil, da je najzahtevnejši del za mano, sem se lotil namestitve Windowsov na novi SSD.
Saj veste, sveža namestitev, nekaj gonilnikov, nekaj programov in vse bo delovalo.
Kaj bi lahko šlo narobe?
O tem pa naslednjič. 😉
Odlično in zabavno napisano. Dodal bi le, da mize nimaš tak pospravljene, kot je tu na sliki 🙂
Hvala bivši prijatelj 😀 😀 😀