Webinar: Proxmox Virtual Environment

Haben wir die Möglichkeit, die Protokolle von Proxmox im JSON- oder Syslog-Format zu exportieren? Oder anders gefragt: Welche Art von Protokollen können wir erhalten und in welchem Format?
Syslog geht, allerdings kein Export in JSON-Format möglich.

Unterstützt Proxmox den Einsatz der Apcupsd USV Control Software?
Ja, darunter liegend ist ein Debian Linux

Sind "shared NFS Datastores" in Promox sinnvoll?
Ja, natürlich. Man kann NFS Shares als ISO Store, Backup Storage oder Shared Storage für Virtuelle Maschinen verwenden.
Es sollte halt einem guten redundanzkonzept unterliegen, dann spricht nichts dagegen, eine NFS Share zu verwenden.

Wie würde man am Besten einen Hyper-V-Cluster (6 Nodes) mit SAN-Cluster 2-Nodes Stück für Stück ausphasen und auf Proxmox einphasen, ohne massiv in neue Hardware gehen zu müssen?
Wenn dieselbe Hardware verwendet werden soll, hat man Idealerweise noch soviel "Luft" im Cluster, daß man vorübergehend 3 Nodes entfernen kann und mit Proxmox ausstatten kann. Dann würde man VM für VM migrieren, und schliesslich die anderen drei Nodes dem Proxmox Cluster hinzufügen. Über die Eignung der Bestandshardware muss man im Detail entscheiden.

Es fehlt mir VirtFS/9p. Geht das unter Proxmox nicht? KVM unterstützt das hervorragend. Bei "Storage Anbindung" war z.B. kein VirtFS/9p angegeben. Das böte sich aber an, weil extrem schnell.
Derzeit gibt es keinen stabilen Support für 9p unter Proxmox. Es gibt ein paar Experimente in den Foren, aber ich würde davon absehen das produktiv zu nutzen.

Ist ZFS beim Snapshotting besser als BTRFS? BTRFS als Basis für KVM ist grausam wenn man snapshots macht. (Denn dann geht eine Weile gar nichts mehr.)
BTRFS ist nur ein Dateisystem, ZFS ist Poolverwaltung und Dateisystem in einem. ZFS Snaspshots gelten im allgemeinen als robuster in der Implementierung. ZFS-Snapshots sind nicht nur schnell zu erstellen, sondern verbrauchen auch weniger Speicherplatz, dank der effizienten Handhabung der Datendeduplizierung. Diese Funktion verbessert die Speicheroptimierung und ermöglicht es Ihnen, das Beste aus Ihrer verfügbaren Speicherkapazität zu machen.

Weil es auf der Proxmox Seite nicht klar wird: Proxmox ist doch erst mal grundsätzlich frei/kostenlos und nur der Service kostet? Sind generell updates möglich OHNE eine Subscription license?
Ja, das ist problemlos möglich!

Was genau ist denn nun der Unterschied zwischen einer "normalen" KVM installation und Proxmox? Außer einem Webinterface (das gibt es ja jede Menge für KVM/LXC etc.)
Proxmox ist eine vollständige Virtualisierungslösung, die KVM als einen seiner Hypervisoren beinhaltet. KVM hingegen ist eine reine Hypervisor-Technologie. Proxmox bietet zusätzliche Funktionen wie Container-basierte Virtualisierung mit LXC, eine Web-Schnittstelle für die Verwaltung und integrierte Unterstützung für Clustering und Hochverfügbarkeit.

Gibt es eine gute Feature-Vergleichsmatrix Proxmox <-> ESXi?
https://www.howto-do.it/de/esxi-vs-proxmox/

Um welchen Faktor ist CEPH erasure-coded langsamer als replicated beim Lesen/Schreiben?
Wurde im Webinar behandelt. Es lässt sich leider nicht so einfach bestimmen. 

Vielen Dank für die tolle DeepDive-Einführung. Gibt es eine zentralisierte GUI zur Verwaltung von mehreren einzelnen Servern/Clustern, die an mehreren Orten stehen?
Eine zentralisierte GUI, wie z.B. vergleichbar mit dem vCenter Server, gibt es bei Proxmox noch nicht offiziell. Drittanbieter arbeiten bereits daran. Ansonsten hat man nur die Möglichkeit, alle Proxmox Nodes und Cluster in die Proxmox WebGUI zu integrieren, so lange man auf die anderen Nodes Zugriff hat. Das ist aber nicht zentral, sondern auf einer Node dann in der GUI ersichtlich.

Private und Public Netzwerk können zusammen betrieben werden, wiederum sollten wir ein dediziertes Netzwerk für CEPH eingerichtet haben. Hier ist nicht ganz klar was gemeint ist.
Wurde bereits im Webinar live beantwortet.

Funktionert denn ein 2 Host PVE-Cluster (Compute+RAM) + separates externes Storage über iSCSI und einem NUC als Quorum auch im HA?
Ja, das funktioniert. Sie können sogar einen Raspberry Pi als Quorum verwenden.

Inwieweit ist ein Ceph-Cluster für KMU-Workloads sinnvoll? (4-5 Win-Server o.ä.) Die angesprochenen Werten von NVMe/Cores/RAM mit min 3-5 Nodes sind ja schon "erschreckende" HW-Voraussetzungen…
Naja, das hängt ein bisschen von den Anforderungen an Hochverfügbarkeit sowie dem Budget ab. Vermutlich wird bei einem kleinen Unternehmen eine Lösung mit zwei Nodes und ZFS Replication eher abbildbar sein.

Unsere SANs (iSCSI und FC) sind mit VMFS5 und VMFS6 formatiert. Müssen diese bei der Migration neu formatiert werden?
Ja, da ja die VMs eine neue Signatur erhalten, Proxmox kann keine VMFS VMs verwalten. Proxmox kennt das Dateisystem VMFS nicht.

Für ein komplett neues Design einer Umgebung (nur Beispielhaft) wäre die Empfehlung rein technisch eher in Richtung HCI oder klassisches SAN?
Wenn das neue Design mit Proxmox sein sollte, dann auf jeden Fall in Richtung HCI, anders bekommen Sie den CEPH Storage nicht abgebildet. 

Ist ein SAN z.B. mit Datacore oder Storage-HA-Cluster machbar?
Ist möglich, Proxmox als Hypervisor und Hostserver, DataCore Grid als Storage HA-Cluster.

Für wen lohnt sich eine Proxmox Subscription?
Durch die Proxmox Subscription erhalten Sie Zugriff auf das Enterprise Repository und dadurch auch schnellere Updates als beim No-Subscription Repository (siehe https://pve.proxmox.com/wiki/Package_Repositories#sysadmin_enterprise_repo)

Weshalb wird NFS nicht verwendet?
Proxmox kann NFS, ist also kein Problem.

Gibt es Probleme mit der Windows-Aktivierung nach einer VM-Migration auf Proxmox?
Uns ist nichts dergleichen bekannt.

Clonezilla funktioniert für Migrationen von VMware zu Proxmox meiner Erfahrung nach auch sehr gut!
Guter Hinweis!

Funktioniert Replikation wenn die VMs auf LVM-THIN gespeichert sind?
Wurde bereits im Webinar live beantwortet.

Ist es korrekt, dass, wenn auf einem bestehenden Ceph Cluster 2 Hosts hinzugefügt werden, die bestehenden Daten rebalanced werden und der freie Speicher größer wird?
Ja, das ist vollkommen richtig!

Wenn man mal nicht gleich einen Cluster erstellen möchte sondern nur einen Server mit 1-2 VMs installiert, kann man dann die VMs vom Proxmox auf eine Synology NAS per Snapshot sichern? Oder muss man hierfür wieder den Proxmox Backup-Server installieren?

Wenn ich einen zweiten Server mit Proxmox Server installiere und den erst mal nur Offline lasse, damit ich dann die Snapshots wieder vom NAS hole... es soll keine HA-Lösung sein, es würde nur reichen wenn die HW ausfällt und man seine Maschinen wieder holen könnte...
Snapshots auf das Synology NAS funktionieren nicht. Sie könnten einen Backup Job einrichten. Aber bezüglich Snapshots müssen wir Sie enttäuschen, da Synology vermutlich kein ZFS beherrscht und Snapshots somit nur lokal möglich wären.

Können die VMs mit Veeam gesichert werden?
Ja, Sie können die VMs mit VEEAM sichern.

Können Sie "Snapshot auf rbd-export auf NFS" konkret ausführen? Was ist am Proxmox Cluster konkret durchzuführen?
Wurde bereits im Webinar live beantwortet.

Wird NVMe/TCP in der Zwischenzeit offiziell supported?
Das Thema wird leider noch nicht offiziell unterstützt, aber es funktioniert in der Praxis.

Wie verhält sich Proxmox wenn iSCSI Vol's nicht verfügbar sind? 
Wurde bereits im Webinar live beantwortet.

Bei vSAN werden sehr harte Kompatibilitätsanforderungen an die Hardware gefordert. In Ihrem Vortrag habe ich da keine Probleme diesbezüglich herausgehört. Wie sind da die konkreten Empfehlungen?
Bei Proxmox gibt es keine konkreten HCLs. Einfach "Best Practice" beachten und man ist auf der sicheren Seite!

Proxmox installiert ja standardmäßig auf ext4. Macht es Sinn in einer kleinen (z.B. Homeoffice- oder Lab-Umgebung) auf ZFS zu wechseln, wenn die PVEs nur  z.B. 64 GB RAM haben?
Ja, grundsätzlich würde ich auf ZFS nicht verzichten, alleine schon um vor Silent Data Corruption sicher zu sein. Es besteht die Möglichkeit den ARC von ZFS zu limitieren. Ich habe selbst einige Systeme mit 64GB in Betrieb und sie funktionieren einwandfrei.

Sind auch Integrationen zu Storage Herstellern geplant? z.B. Nutzung von NetApp SnapShots.
Darüber ist uns leider nichts bekannt!

Es werden eine ungerade Anzahl an Hosts empfohlen um Split Brain zu vermeiden. Wie ist es, wenn ein 5-Node Cluster nach dem Self-Healing nur noch 4 Nodes hat?
Zuerst einmal hat die ungerade Anzahl an Hosts nichts mit Split Brain zu tun, unter Ceph gibt es kein Split Brain. Vorher geht der Cluster in den Read-Only Modus. Die ungerade Anzahl an Hosts ist dem Quorum geschuldet, damit man immer eine Mehrheit hat in einem Ausfallszenario. Man braucht immer einen Entscheider, der letztlich sagt, welche Nodes noch aktiv sind.

Der QEMU Guest Agent ist per Default disabled. Gibt es mögliche Nachteile wenn man ihn aktiviert?
Nein im Gegenteil. Man sollte den Guest Agent in jedem Fall benutzen. Zum einen um bestimmten Daten wie die IP Konfiguration einen Gastes auf der GUI zu haben, und zum anderen um saubere Snapshot Backups zu haben.

Das Tool CV4PVE nutzen wir schon, Super das Sie mit unserem Partner arbeiten!
Vielen Dank!

Hallo, danke für das Webinar. Wie schaut es denn mit Enterprise Support aus? Gibt es 24/7 Support oder muss ich mir über Partner den Support einkaufen? Danke im Voraus.
Leider bieten wir keinen 24/7 Support und Proxmox ebenfalls noch nicht an. Von daher bleibt aktuell nur der Weg über einen Dienstleister, der das anbietet. Aber im Normalfall sollte ein normaler Support bei Betrieb eines abgesicherten Clusters vollständig ausreichend sein. Wenn Sie aber natürlich festgeschriebene SLAs haben, dann bringt Ihnen das natürlich auch nichts. 

Wie sind die Erfahrungen, wenn bei einem CEPH-Cluster sämtliche Nodes ausgefallen sind, z.B. wegen eines Stromausfalls. Bekommt man das Cluster relativ einfach wieder zum Laufen?
Wie so oft, hängt davon ab... Grundsätzlich kann man ein RBD Image gut recovern. Die Filesysteme in den RBD Images sind natürlich "dirty", das lässt sich nicht verhindern.
Kritisch wird es, wenn man Flash-Devices ohne PLP Feature verwendet hat, und Inflight Data noch nicht weggeschrieben wurde. Wenn es ungünstig läuft, ist mein pool dann corrupt und ich darf ein DR machen. Das ist aber kein eigentliches Ceph Problem, sondern betrifft auch andere Dateisysteme wie etwa EXT4, XFS, ZFS usw. ebenso. 
Bei Ceph und ZFS wird man es merken, weil man parity error / checksum errors bekommen wird. Einfache Filesysteme wie ext4 oder xfs erzeugen Silent Data Corruption. PLP bedeutet ""Power Loss Protection"" und ist das Pendant zu Batterybackup Units auf RAID-Controllern. Sie gewährleisten, dass nach einem Stromausfall Inflight data im SSD/NVME Controller noch geschrieben werden können.

Gibt es eine Möglichkeit bei iSCSI-Anbindung Snapshots zu nutzen, wenn mehrere Hosts auf den Speicher zugreifen sollen?
Hier finden Sie alles Wissenwerte dazu: https://pve.proxmox.com/wiki/Storage

Ist es empfehlenswert, die 3 Ceph Monitore auf die 5 vorhandnene OSD-Nodes zu verteilen? Oder sollte der Ceph Mon immer auf dedizierter HW laufen?
Absolut, das ist überhaupt kein Problem und wird in den allermeisten Fällen so gehandhabt.

Wie läuft die Entsprechung eines Host-Vmotions bei einem solchen Ceph-Cluster ab? Läuft das über das Storage-Netz oder gibt es dafür ein eigenes Netzwerk?
Unter Proxmox kann man für Live Migration ein eigenes Netz definieren über das es dann läuft. Sollte man kein eigenes Netz definieren, läuft es über das CEPH Netz.

Hat Proxmox ein Programmierschnittstelle wie PowerCLI bei VMware ? Interessant wäre REST z.B.
Wurde bereits im Webinar live beantwortet (REST API)

Ist Fibre Channel nicht möglich?
Wurde bereits im Webinar live beantwortet.

Kann man Proxmox VE ISO in VirtualBox testen, oder ist es ausschließlich für die Installation auf Bare-Metal-Systemen vorgesehen? Wie könnte ich Proxmox auf Debian installieren und konfigurieren?
Beantworten wir direkt nach der Präsentation.

Brauche ich also mind. 7 bis 8 Hosts (5x CEPH + 2-3x Monitor)? Wenn ich eine kleine Umgebung aufsetzen will vergleicbar zu ESX Essentials mit 2  (oder 3 Hosts) - wie klein kann ich eine Proxmox-Ungebung machen?
Gute Frage! Beantworten wir gerne nach der Präsentation. Aber die Monitore müssen keine eigenständige Hosts sein, die liegen normalerweise auf den CEPH Nodes. Aber wir beantworten das gleich noch ausführlicher.

Ich verliere aber im Falle von CEPH beim Ausfall von einem Node schlagartig vom freien Speicherplatz den notwendigen Platz für die Redundanz? Was würde passieren, wenn der Platz nicht vorhanden wäre?
Beantworten wir Ihnen gerne nach der Präsentation.

Gibt es bestimmte HCLs für Proxmox?
Beantworten wir nach der Präsentation, aber grundsätzlich nein, es gibt keine HCL wie bei VMware zum Beispiel. 

Für meine Ohren klingt das mit Proxmox und Ceph doch etwas aufwändig  als vergleichbarere Storage/HCI HA Lösungen am Markt... Oder liegt das an meiner fehlender Erfahrung im OpenSource Sektor?
Deswegen Proxmox mit SvSAN ;-). Aber ja, der Aufwand mit CEPH ist höher, aber man hat deutlich mehr Möglichkeiten, wir können da aber nachher nochmal kurz drauf eingehen.

Gibt es bei Proxmox auch Hardwarekompatibilitätslisten analog wie bei VMWare?
Nein, es gibt Best Practices, aber keine Kompatibilitätslisten und Zertifizierungen, zumindest bis jetzt noch nicht.

Wie siehts es mit VEEAM integration aus ?
Veeam und Proxmox arbeiten an einer Integration, soll wohl in Bälde erscheinen.