linux VM host, MediaCenter/VM/NAS/proxy/webb/labb/Tor, budget ~10kkr

Hej.

Jag ägnade gårdagen, eller natten, åt att plöja igenom trådarna med flest svar, och jag hittar en hel del interessant, men dock inget som passar mig som handen i handsken.

Min setup idag utgörs av min gamla desktop, och jag känner att det är dags att byta ut den då jag behöver ett nytt hobbyprojekt samt att den är nästan sex år gammal.

Gammal server:
- Dell Studio
- Quad core
- 4GB RAM
- ESXi v4.x
- 3 VM (debian wheezy med olika tjänster såsom squid, Tor, apache, mysql, wiki, backup av NAS, TS3 m fl.)

Det jag vill göra är att ersätta denna setup med en ny, mer kraftfull maskin.
Den ska köra ett antal VM för att köra ovan tjänster, samt kanske även ett sekundärt NAS
Egentligen spelar det inte så stor roll vad den kostar, men vill helst hålla det under 10kkr.

Jag trivs duktigt bra med ESXi, men jag skulle även vilja kunna använda burken som mediacenter, och då är ESXi uteslutet som OS.

Eller tänker jag fel här och bör istället köra just ESX/KVM/Xen och ett tillhörande mediacenter?
Med native linux wheezy kan jag ju streama Steamspel samt kolla på film. Samtidigt tror jag inte att det tar för mkt kräm i anspråk som VirtualBox VM:s inte kan använda. Dock helt klart sämre ur VM-synvinkel.

Jag har redan plockat ihop all hårdvara, men inser att jag kanske är fel ute i min logiska arkitektur.
Valet föll på en Octa core AMD främst för att jag ska köra så många VM, samt att den var riktigt bra pris jämfört med Intels dito.

http://www.prisjakt.nu/list.php?l=2413132&view=l

Har någon en liknande setup?
- Maskin som är både mediacenter och VM host

Har inte själv provat, men vet att en polare byggde ihop en ESXi-maskin (förmodligen 5.1) och lade till ett extra grafikkort som han dedikerade till en VM och lät den gå som mediamaskin. Fungerade tydligen klockrent.

Tjena!
Jag tänkte också på det, men visste inte om det var möjligt.
Kan alltså VM:en, som isåfall har grafikkortet som passthrough, outputta grafiken "rätt" på det viset?
Skulle du kunna visa din polare till denna tråden, får en sådan setup är EXAKT vad jag vill åt.

Då kan jag köra ESXi, VM med mediacentern, VM med NAS, VM med allt annat jag vill ha.

Nu tror jag inte att han finns på FB, men ska putta lite på honom och se vad han säger.

[quote=hakro807|51241837]Nu tror jag inte att han finns på FB, men ska putta lite på honom och se vad han säger.[/quote

Jag har informerat mig och läst på i flera veckor nu.
I slutändan bestämde jag mig för att köpa en Androidbaserad mediaspelare (MINIX), och behålla servern som just server.

Det svåra är att hitta moderkort och schassin för AMD.
Så jag fick gå upp till ATX istället.

Setupen som den ser ut nu är:
http://www.prisjakt.nu/list.php?l=2413132&view=b

- PCI pass through med raidkortet Adaptec 6405E i VM FreeNAS
- Moderkort Gigabyte GA-970A-UD3 från 2011. Stödjer IOMMU

Sammantaget tänker jag köra VMWare ESXi v5.5.
Där kör jag en virtuell NAS-maskin (FreeNAS) som har raidkortet via PCI pass through.
Där skapar jag upp hela raiden och exporterar till VMWare via NFS.

Smutt =)

Jag har alltså dissat tanken på att ha ett extra GPU och pass through på det till en mediaspelarVM med XBMC/Kodi e dyl. Burken kommer ju att låta en del, därav mitt köp av MINIXen.

Denna burk kommer istället att stå i en garderob med 1Gbit LAN. Internt kommer den ha 10Gbit NIC för maximal intern throughput mellan VM:arna och hosten.

Jag har börjat köpa in komponenterna till den något ändrade konfigen.

http://www.prisjakt.nu/list.php?l=2413132&view=l

På baremetal ska jag köra Proxmox installerat på SSDn. På SSDn ska installeras en VM med OpenMediaVault.
http://proxmox.com
http://openmediavault.org

OMV kommer att ha RAID-kortet via PCI-passthrough. RAID-volymen kommer att exponeras via NFS tillbaka till Proxmox, och Proxmox kommer att ha sin datastore där.

SSDn kommer även att ha en VM med LDAP-server som alla övriga VMar kan autenticeras mot.

Jag har inte bestämt mig kring kryptering än, men det lutar åt att hela Proxmox LUKS-krypteras. Samt OMV och LDAP-VM.

Därmed tror jag att det vore overkill att även kryptera de individuella VMarna som finns på RAIDens datastore, som redan är krypterad med LUKS i OMV.

Synpunkter?
Tips?

Så......
Nu är allting installerat enligt nedan:
http://www.prisjakt.nu/list.php?l=2413132&view=l
- AMD 8 core
- 16GB ECC-RAM

Mjukvarumässigt blev det "nästan" enligt plan, men lite dyrare.
Hade först tänkt 2x2TB i RAID1, men beslutade mig istället för att ersätta mitt gamla Synology 409+, där jag körde just RAID6, med detta bygge, och använda Synologyn som backupserver.

Bare metal:
- Proxmox manuellt installerat på debian wheezy (v7.8)
- SSD 128GB installationsdisk + lokal datastore
NFS datastore från VM med ZFS RAIDZ2 (4x3TB)

VMs:
- OpenMediaVault på SSD:n, autostart
- Exponerar ett NFS-share med ZFS RAIDZ2 (4x3TB)
- Owncloud, så att alla filer som behöver nås över internet blir nåbara. Smidigt för allt, inklusive jobbfiler, nycklar etcetera.
- Diverse andra VMs

Märkte till min fasa att min router (Asus RT-AC68U) blev en flaskhals med sina 1Gbit/sek.
Hrrrrrm.... Jag kan alltså "bara" skicka filer till burken i ~130Mb/sek.
Måste uppa till en router som klarar 10Gbit/sek =)

Glömde skriva att SSD:n på Baremetal med Proxmox (http://proxmox.com) är krypterad med LUKS.
ZFZ-volymen på VM OpenMediaVault är även den krypterad med LUKS.
Känns som en mkt bra och safe setup.

Allt är säkrat med SSH-nycklar och Fail2Ban (http://www.fail2ban.org) och root kan såklart inte SSH:a in. Det skulle då vara om någon plockar ur mitt RAM, kyler ned det och hittar krypteringsnycklarna :/
Ganska långsökt.

Jag hade en del problem att sätta upp allt, särskilt ZFS-delen där startordningen i /etc/init.d konflikterade just när man körde ZFS pga. att diskarna dekrypterades efter ZFS-mounten.

Dessutom fick jag kompilera drivisar till NIC själv. Inga problem det heller, men ändå lite bökigt.

Det som tog mest tid var att flasha RAID-kortet (IBM ServeRAID M1115 http://www.prisjakt.nu/produkt.php?p=1191984) till IR/IT-mode. Att få moderkortet att boota i UEFI-läge.

Lyckades tillslut, och lite svettigt var det. Moderkortet är för övrigt ett Gigabyte GA-990XA-UD3 (http://www.prisjakt.nu/produkt.php?p=917523).

Jag använde mig sedan av sk. "PCI-E Passthrough" av RAID-kortet till den autostartade VM:en med OpenMediaVault (http://openmediavault.org), som har ZFS-volymen samt exponerar via NFS upp till Proxmox.

Köpråd - PC: Stationärt --> Programvara - Övriga operativsystem
/Moderator