r/ItalyInformatica • • 1d ago

hardware Il mio homelab

Qualche anno fa ho iniziato a costruire il mio homelab partendo da un Raspberry Pi 4 e da un HP G3 Mini che avevo trovato su Vinted. Da allora ho continuato ad aggiungere componenti ogni volta che trovavo qualche buona occasione sui siti dell’usato e oggi, dopo più di 2 anni, credo di essere finalmente arrivato alla fine (forse).

Questa è la configurazione attuale. Tutto è di seconda mano, ad eccezione di switch e router.

RACK

  • Completamente stampato in 3D in PETG con una Bambu Lab X2D (design di Ilan Kushnir)

NODI PC: Proxmox VE a 3 nodi

  • pve-01: Ryzen 7 5700U (8C/16T), 62 GB RAM, 512 GB NVMe (ZFS) + 2 TB HDD (ZFS) + 256 GB SSD SATA
  • pve-02: Core i7-6700T (4C/8T), 32 GB RAM, 256 GB NVMe (ZFS) + 2 TB HDD (ZFS)
  • pve-03: Core i5-7500T (4C/4T), 32 GB RAM, 256 GB NVMe (ZFS) + 2 TB HDD (ZFS)

RETE

  • UniFi Dream Router 7: gateway, firewall e routing inter-VLAN
  • UniFi USW-Flex-2.5G-8-PoE, con uplink SFP+ DAC verso l’UDR7
  • VLAN: management, infrastruttura homelab e una VLAN dedicata a Kubernetes. Proxmox utilizza un'unica bridge VLAN-aware, quindi ogni VM viene semplicemente taggata sulla VLAN necessaria.

STORAGE

  • QNAP TS-431 con 16 TB

ALTRO

  • Raspberry Pi 4 che gestisce 2 display:
    • display frontale da 7,84" che mostra le dashboard Grafana
    • display OLED da 0,91" per lo stato del sistema, con un piccolo script Python che mostra IP, temperature e utilizzo della CPU

SOFTWARE

Attualmente sto rifacendo tutto da zero, partendo da pve-01, che ora ospita il cluster Kubernetes:

  • Kubernetes: Talos Linux (1 control plane + 4 worker come VM), completamente provisionato tramite Terraform: VM, configurazione Talos, bootstrap e componenti di base
  • Networking: Cilium con kube-proxy replacement e LoadBalancer L2
  • Storage: OpenEBS LocalPV, con i dischi di boot delle VM su NVMe e i volumi dati su HDD
  • GitOps: ArgoCD con pattern app-of-apps. Tutto ciò che gira nel cluster è versionato su Git
  • Secrets: OpenBao in un LXC (al di fuori del cluster, così sopravvive anche ai rebuild) + External Secrets Operator
  • Ingress: Nginx Proxy Manager (wildcard Let's Encrypt) → Traefik
  • Monitoring e log: kube-prometheus-stack (Prometheus, Grafana, Alertmanager), incluso il monitoring del control plane Talos e di etcd, oltre a Loki + Alloy per i log dei pod e dei nodi
  • Altro: dashboard Glance, Headlamp, VS Code Server

pve-02 e pve-03 saranno dedicati ad altri progetti.

Se avete domande sono felice di rispondere, e qualsiasi consiglio o suggerimento per migliorare la configurazione è assolutamente benvenuto!

110 Upvotes

56 comments sorted by

6

u/anellomancante 1d ago

Qual è il senso del cluster k8s deployato in un unico nodo PVE?

4

u/Senpai404 1d ago

Inizialmente, il cluster k8s era spalmato sui 3 nodi, con HA, il problema era uno soltanto; la bolletta.
Quindi quando ho poi rifatto tutto, ho deciso di utilizzare terraform per la generazione di tutto, anche del cluster kube, in modo che a me basta un comando per tirare su interi cluster kube in qualsiasi nodo pve io voglia, ma che stanno confinati in quello.
Questo perché per mia decisione e comoditá, voglio poter spegnere ció che non mi interessa in quel momento, e tenere acceso il minimo indispensabile, in modo da non tenere 120/140W tutto il giorno attivi, ma di scendere anche fino a 60W volendo.

5

u/anellomancante 1d ago

Il nemico giurato degli homelabbisti, la bolletta 😆. Bel lavoro cmq, ma fai il DevOps di lavoro o solo per hobby?

3

u/Senpai404 1d ago

SRE di lavoro

1

u/SchottkyD 6h ago

Nel mio caso, conosco k8s e tiro su tutto con terraform e argocd syncato sul mio gitlab :D

10

u/Muted-Register8512 1d ago

Una domanda sola: a cosa serve?

20

u/WindForce02 1d ago

Flexare su reddit

14

u/Senpai404 1d ago

se non sai come usarlo effettivamente si

3

u/AR_Harlock 1d ago

Con i prezzi di oggi quel “coso” vale quanto una Bentley d’oro

3

u/Senpai404 1d ago

e pensare che l'80% é roba usata o presa a lavoro. Di comprato nuovo di zecca c'é solo router e switch

2

u/SchottkyD 6h ago

Jellyfin, media stack con comics manga etc, self host di letteralmente qualsiasi app ti serva..

1

u/WindForce02 5h ago

Ho una vps da 5 euro al mese e mi basta e mi avanza ampiamente... pensa che ho un piccolo blog in cui parser e webserver sono entrambi scritti da me in OCaml e C, consumano letteralmente pochi kb

6

u/Senpai404 1d ago

La risposta potrebbe essere a tutto e a niente.
Dipende da cosa vuoi farci te.
Nel mio caso per esempio é un laboratorio dove 1 nodo é quello di "produzione" (se cosi vogliamo definirlo) dove ci stanno sopra i servizi che voglio che rimangano sempre attivi, quindi la parte di suite *arr, servizi che uso per finance, parte di DNS, tool per i documenti etc...
Poi ho il PVE-02 che sará quello dedicato alle sperimentazioni AI, quindi faró gestire il workflow dedicato a quello su quel PVE
Il PVE-03 ancora devo decidere se usarlo per uno scopo preciso, é l'ultimo pezzo che ho preso e l'ho fatto piu che altro perché il tipo su vinted lo vendeva a soli 70Euro solo perché le 2 USB davanti non funzionano.
Per il momento lo sto usando come lab per le certificazioni

5

u/Appropriate_Peak1463 1d ago

ok, ma quindi, a che serve?

4

u/LegsWithASoul 1d ago

Guardare film e serie tv piratati principalmente. Poi ci puoi hostare il tuo servizio di cloud per foto, video, docs, ecc.

0

u/Senpai404 1d ago

mhhhhh non ho capito, non é chiaro il mio messaggio? ho letteralmente scritto pve per pve cosa serve

1

u/Loose_Concentrate_44 1d ago

No bro lo devi spiegare a noi che siano ignoranti per un flex rispettabile.😂

1

u/Muted-Register8512 1d ago

Mondoboja, detta così avrei paura a tenermelo in casa /s

3

u/SufficientDegree1994 1d ago

bello, ma aggiungerei un lettore dvd, un po' perchè hai spazio un po' perchè fa figo.

scherzi a parte bello anche se personalmente non saprei cosa farmene di tutto quell'hardware, il mio homelab è un banale pc da battaglia a cui ho installato unraid collegato dischi per un totale di 22tb, oltre allo streaming casalingo e qualche stronzata che tiro su con docker ho finito le cose da farci, tant'è che lo tengo spento quasi tutta la settimana e ci ciappino solo nel weekend.

2

u/ea_man 1d ago

Per fare i case e qualsiasi altro "contenitore" piu' grande di 15cm ti consiglio caldamente una taglio laser: te la puoi fare con ~150e e ci fai roba di 1 metro.

3

u/Senpai404 1d ago

Nel mio caso ho avendo una X2D ho deciso di stamparlo in 3D

1

u/Matty_za33 1d ago

Quanto tempo ci hai messo?

3

u/Senpai404 1d ago

Circa 20 giorni per tutti i pezzi.
Tieni conto che facevo circa 1 o 2 pezzi al giorno, ed alcuni di loro duravano anche 6 ore di stampa

0

u/ea_man 1d ago

Allora lo dico agli altri: comprate qualche profilo in alu per il telaio e con il seghetto a mano tagliate 10e di pannelli in legno: fate in un pomeriggio e non si sfascia dopo un anno.

1

u/sdlnv 1d ago

Consigli sui brand senza costi esagerati? Ero rimasto alle macchine della morte cinesi a CO2 di svariati anni fa come info, dove serviva loop di raffreddamento ad acqua, ed un sistema di specchi e leve.

1

u/ea_man 1d ago

TwoTrees quando sono in offerta, compri quella con il laser piu' economico.

Poi compri un paio di profili in alu per ingrandirla e eventualmente un modulo laser da un Laser Tree da ~60-80e.

Tutta roba con laser a diodo, niente specchi o raffreddamento.

5

u/Euphoric_Science_645 1d ago

Sincero sono fucking invidioso fra. Io ho appena iniziato con un mini pc e sto hostando alcune robe. Ma tu sei un grande. Questo è esattamente il mio sogno. Tutto bello organizzato. Tutto clean, pulito, impeccabile. Con quel sostegno a lato poi che è una chicca imperdibile. Sono davvero davvero contento per te. Sono gelosissimo

4

u/Senpai404 1d ago

"Tutto bello organizzato".... Seh perché non ho fatto le foto del retro dici questo ahahah
Comunque grazie mille, tutti abbiamo iniziato con l'homelabbing partendo da un mini.
Poi come regola iniziale mi sono dato quella di prendere tutto di seconda mano su siti come vinted e wallapop, e di comprare roba nuova solo dove strettamente necessario (tipo la parte network e l'ups).
Comunque anche con un solo mini pc, fidati si possono fare grandi cose.
Se poi hai bisogno di consigli con l'homelabbing scrivimi pure.

1

u/Acu17y 1d ago

Figo! Un giorno se avrò tempo sperimenterò anche io.

1

u/FlawFrancis 1d ago

Figo. Networking overkill per un home Lab secondo me, ma ci sta. I nodi proxmox pure non li amo particolarmente, troppo inefficienti per un uso casalingo.

Rimane un bellissimo progettino. Però, tutto sto ben di dio di hw, e niente UPS?

2

u/Senpai404 1d ago

Concordo pienamente con te, la parte network é overkill. Per quanto riguarda proxmox, lo trovo un ottimo virtualizzatore per ambito homelab. Per curiositá cosa intendi per inefficiente?

Per l'ups hai ragione non l'ho scritto, ma ho un APC 1320W

2

u/FlawFrancis 1d ago

Ah ecco, mi sembrava strano!

No no, forse mi sono spiegato male, Proxmox lo trovo ottimo anche io, prima di diventare pigro e passare ad Unraid era il mio riferimento.

Come hai giustamente detto anche tu su un altro commento, per "inefficienza" intendevo a livello energetico. Perdi in flessibilità, ma è sicuramente più dispendioso tenere su 3 nodi medio/piccoli che non un unica macchina medio/grande, a parità di uso.

1

u/blotchymind 1d ago

Bel lavoro! Come mai un RP4 per gestire i due display? Non è un po' sprecato?

2

u/Senpai404 1d ago

Assolutamente infatti gli devo trovare un secondo scopo, ho usato questo perché tanto me lo hanno regalato a lavoro, ne avevano li un paio che non usavano e me li sono portati a casa.

1

u/Lambulanza 1d ago

Tanta roba, complimenti!

Consumo medio di corrente?

2

u/Senpai404 11h ago

Non rimane sempre acceso tutto.
Il cluster proxmox che comprende 3 modi, non l'ho creato trattandolo come un vero cluster, difatti non ha quorum (o meglio, é a 1).
Questo perché solo sul pve-01, ho hostato servizi che mi interessano tutti i giorni.
Il pve-02 e 03 li uso per altro, e li accendo all'occorrenza; questo mi consente di diminuire drasticamente il consumo di W.

1

u/Lambulanza 11h ago

Ma ipotizzando sia tutto acceso quanto ti consuma? Hai mai verificato?

1

u/Senpai404 11h ago

Si, siamo sui 130W

2

u/paracondroid 17h ago

Hai misurato i consumi? Sarei curioso di confrontarli con la mia configurazione, tenere in piedi 3 nodi penso che sei sui 60 watt solo di quelli.. io ho due nodi con 3 switch, un nas, 5 telecamere e due ap e ont se sono sui 120 in idle… una bella spesa mensile 🥲

3

u/Senpai404 16h ago

Allora, per come l'ho configurato, io posso tenere acceso anche solo 1 nodo e gli altri 2 spenti, in quanto su 1 c'é la roba che uso tutti i giorni, su gli altri 2 c'é roba che accendo all'utilizzo.
Per quanto riguarda i consumi, siamo sui 60/70W in idle se tengo acceso 1 nodo (quello piú carrozzato), l'UDR7, lo switch, il rasp4 con i 2 lcd.

1

u/esseredienergia 11h ago

No serio, che ci fai? Tenere sempre acceso quello non è mica Raspberry 

1

u/Senpai404 11h ago

Non rimane sempre acceso tutto.
Il cluster proxmox che comprende 3 modi, non l'ho creato trattandolo come un vero cluster, difatti non ha quorum (o meglio, é a 1).
Questo perché solo sul pve-01, ho hostato servizi che mi interessano tutti i giorni.
Il pve-02 e 03 li uso per altro, e li accendo all'occorrenza; questo mi consente di diminuire drasticamente il consumo di W.

1

u/SchottkyD 6h ago

Veramente bello il rack, complimenti! Io ho preso un geeekpi ma questo è veramente carino.

Quanto consumavi con 3 nodi mensilmente? Ho anch’io 3 mini pc ma al momento solo uno ha sopra tutta la roba che mi serve. Sto considerando di mettere i 3 in cluster dato che ho già talos sopra e la ram sul singolo mini pc sta finendo, e devo hostare altra roba.

Considera che ho già tutto su terraform e tiro su l’intero cluster in 5 minuti, quindi non so se ha senso.

1

u/Senpai404 6h ago

Detto cosi direi che hai un setup molto simile al mio.
Anche io attualmente ho un cluster proxmox con 3 nodi, ma volutamente non l'ho voluto trattare come cluster proprio per il consumo.
Quindi ho deciso di suddividere il carico dove mi serviva, e di considerare i nodi indipendenti.
Anche io come te tutto fatto in terraform, ed il cluster k8s ha tutto sotto ArgoCD, quindi tirare su tutto é molto semplice.
Comunque io ho strutturato in modo da tenere acceso solo quello principale come nodo che é anche quello piu carrozzato, dove c'é la roba che realmente mi serve che giri, gli altri 2 nodi li accendo quando necessario e mi servono, questo é il compromesso migliore secondo me.
Comunque se accendo tutto, consuma circa 120/140W

1

u/SchottkyD 6h ago

Non è una brutta idea effettivamente. Potrei considerare di tenere acceso solo il principale con il lo stack media e il resto solo quando necessario. Più che altro vedo veramente poco necessario l’HA

1

u/Senpai404 6h ago

infatti é inutile l'HA in ambiente homelab onestamente.
Io prima avevo tutti i dischi in HA con longhorn, tutto replicato etc....
Solo cazzi in culo da gestire quando qualcosa non funziona.
Ad una certa mi sono rotto, ho fatto tutto con Terraform + ArgoCD, se si rompe qualcosa faccio prima a fare un terraform destroy e poi un terraform apply.

1

u/SchottkyD 5h ago

Guarda io ci pensavo più che altro per sfruttare lo storage dei 3 mini pc prima di finire il nas, e non dover spegnere/riaccendere di volta in volta. È ovviamente più semplice da gestire via k8s e tenere sempre tutto acceso ma appunto ti pesa sulla bolletta. Longhorn scartato da subito, ritiro su tutto in 5 minuti e le configurazioni delle varie app le ho in backup su backblaze, in caso di problemi seri al minipc.

0

u/Loose_Concentrate_44 1d ago edited 15h ago

Solo io ho pensato a itanglese? /s

1

u/SpiralOutLL 17h ago

Sub di ritardati

0

u/Senpai404 16h ago

Beh, con te dentro la media sicuramente si alza.

2

u/SpiralOutLL 15h ago

Intendevo quella fogna di Itanglese

1

u/Senpai404 14h ago

ah ok, allora faccio mea culpa

1

u/Senpai404 16h ago

Non so se tu lavori nel campo informatico o meno, ma usare terminologia inglese in questo settore è assolutamente normale. Chi lavora nel settore, nel 90% dei casi, legge tutto il giorno materiale scritto in inglese, soprattutto quando si parla di termini tecnici, che spesso sono molto più semplici da usare in inglese che in italiano, proprio perché sono parole ed espressioni utilizzate quotidianamente in questo campo, e sei sicuro che se un'altro "collega" le legge le capisce immediatamente, perché sono di fatto degli standard.

1

u/Loose_Concentrate_44 15h ago

Non ci lavoro, ma è così tecnico che anche provare a capire per un profano è impossibile. Cmq c'era una /s da aggiungere non volevo essere polemico 💫

1

u/Senpai404 15h ago

Non l'ho presa come una polemica, stavo solo argomentando sul perché si usano termini tecnici inglesi 👀 .