Kurzanleitung zum Anlegen einer Xen Virtual Machine unter Debian GNU/Linux. [[!toc ]]
Xen? WTF?
Mit Hilfe von virtuellen Maschinen können wir verschiedene Dienste (HTTP, Datenbank, Mail, BIND etc.) getrennt von einander fahren bzw. Server für verschiedene User/Anwendungsbereiche auf einem Host verwenden, ohne dass die jeweiligen VMs einander sehen. Ist der eine Webserver beispielsweise kompromitiert, laufen Email, Datenbanken etc. weiter, ohne von der Attacke betroffen zu sein. Außerdem fällt die Wartung leichter. Und zum Testen unterschiedlichster Software (Entwicklungsserver unter sid, Production unter sarge etc.) bzw. zum parallelen Betrieb unterschiedlicher Distributionen (wer will das schon? g) bzw. unterschiedlicher Betriebssyteme (Debian GNU/Linux neben Debian GNU/kFreeBSD oder sogar Debian GNU/Hurd) ist das ganze überhaupt supi!
Xen steht unter der GPL und wird hauptsächlich an der University of Cambridge entwickelt. Für weitere Infos siehe http://wiki.debian.org/Xen sowie http://linuxwiki.de/Xen oder andere Howtos. ;-)
Falls dein System nicht auf Debian basieren sollte (wie kann denn das sein? fg), findest du hier eine Liste weiterer Howtos:
Xen and friends...
Während Linux-VServer am Kernel ABI virtualisiert und somit keine Guest-Kernels, sondern nur Guest-Environments benötigt, wird bei Xen - wie auch bei UML (User Mode Linux) - die ganze Maschine virtualisiert und ein Guest-Kernel verwendet, d.h. die Virtualisierung findet auf einer anderen Ebene statt.
Der Hauptunterschied zu UML (User Mode Linux) wiederum besteht darin, dass Xen einen eigenen Mikrokernel, den so genannten Hypervisor, verwendet und die Guest-VM somit nicht einfach als ein Prozess des Linux Makrokernels, sondern als Hypervisor-Partition läuft. (Danke an ["Bertl"] für die Aufklärung! :-) )
Host (dom0)
Nachdem Xen 3.0 sich noch im Entwicklungsstadium befindet und regelmäßig verbessert wird, haben wir beim Test am DebiennaTreff darauf verzichtet, ein Debian-Paket zu verwenden, sondern bauten uns Xen stattdessen from Source. Für diejenigen, denen das (zumindest für den Anfang) zu stressig ist, gibt es aber auch eine kurze Beschreibung zum Installieren über dpkg/apt.
Debian
Es gibt die unterschiedlichsten Repositorys, von denen du Xen für Debian GNU/Linux beziehen kannst. Seit einiger Zeit gibt es auch ein Debian Xen Team und Xen ist in sid/unstable. Solltest du ein Produktionssystem fahren, benötigst du einen Backport (s. http://www.backports.org/) oder einen inoffiziellen Build, z.B. von Ralph Passgang. Eine genauere Auflistung findet sich hier: http://wiki.xensource.com/xenwiki/DebianPackageMaintenance
Nachdem die richtigen Quellen in /etc/apt/sources eingetragen sind und die Paketlisten mit 'apt-get update' bzw. 'aptitude update' auf den aktuellen Stand gebracht wurden (s. http://www.debian-administration.org/articles/320), können wir Xen schon installieren.
pablo@packman:~$ sudo aptitude install xen-hypervisor-3.0-i386 xen-utils-3.0 linux-image-2.6.16-1-xen-686 bridge-utils iproute sysfsutils libc6-xen xen-tools
In manchen Paketen findet sich das Skript 'update-grub-xen', welches die korrekten Entries für den Bootloader in /boot/grub/menu.lst schreibt. Wo dies nicht der Fall ist, muss dieser Schritt händisch durchgeführt werden (siehe weiter unten).
Um bei einem 2.6er Kernel eine bessere Leistung zu erzielen, müssen wir unter Sarge noch die TLS-Bibliothek (Thread Local Storage) verschieben. Selbiges sollte später auch bei den Gastsystemen unternommen werden.
pablo@packman:~$ sudo mv /lib/tls /lib/tls.disabled
VORSICHT: Bei einem Upgrade der GNU C-Bibliothek(en) wird dieser Schritt automatisch rückgängig gemacht. Für einen "nachhaltigen Weg" siehe: http://wiki.xensource.com/xenwiki/DebianTlsLibcDiversion Dieser Schritt entfällt unter AMD64!
Zuletzt müssen wir noch ein initramfs Image selber generieren. Alternativ gibt es unter http://www.debian-administration.org/articles/396 eine Anleitung für Xen mit mkinitrd. Die althergebrachte InitRamDisk wird jedoch zunehmend von initramfs abgelöst. Weitere Infos hierzu gibt es unter:
- InitrdReplacementOptions - Debian Wiki
pablo@packman:~$ sudo update-initramfs -c -k 2.6.16-1-xen0
oder:pablo@packman:~$ sudo mkinitrd /boot/initrd-2.6.16-1-xen0.img 2.6.16-1-xen0
Custom
Wir nehmen ein minimales Debian GNU/Linux 3.1 "Sarge", besorgen uns die Xen-Sourcen und kompilieren die Xen-Tools samt Kernel. Die GNU C Library sollte möglichst aktuell sein. Zum Entpacken des Xen-Tarballs benötigen wir gzip, für den Kernel bzip2 und zum Holen benötigen wir das Paket bittorrent. Der 'Compiler results cacher' ccache beschleunigt das Kompilieren von C/C++ Code, indem bei erneutem Umsetzen dort fortgesetzt wird, wo der Kompiliervorgang zuvor unterbrochen wurde. Zum grafischen Einstellen der Kernel-Settings brauchen wir ncurses-dev. Siehe auch:
What Debian packages do I need for Xen?
pablo@packman:~$ sudo aptitude install gzip bzip2 ccache libc6 libc6-dev bittorrent ncurses-dev
Um ccache im Pfad zu haben, müssen wir noch einen kleinen Hack machen. Folgendes gilt für die GNU Bourne Shell - äquivalent für Z Shell et.al.pablo@packman:~$ editor .bash_profile
if [ -d /usr/lib/ccache ] ; then PATH=/usr/lib/ccache:"${PATH}" fiNun holen wir uns Xen. Den aktuellen BitTorrent-Link bekommen wir unter: http://www.xensource.com/xen/downloads/dl_x30tarball_bt.html
Anschließend entpacken wir den Tarball. Prinzipiell kann das alles als User erfolgen.
pablo@packman:~$ cd src/ pablo@packman:~/src$ btdownloadcurses http://tx.downloads.xensource.com/torrents/xen-3.0.2-src.tgz.torrent pablo@packman:~/src$ tar xfz xen-3.0.2-src.tgz
Bevor wir Xen kompilieren, öffnen wir auf einer zweiten virtuellen Kosole, einem zweiten Terminalfenster oder am besten in GNU Screen ccache. Falls der Compile-Vorgang unterbrochen wird, sollte bei einem zweiten Versuch unter 'cache hit' 1 statt 0 stehen.
pablo@packman:~/src$ screen watch ccache -s C-a C-c pablo@packman:~/src$ make
Nachdem wir uns nun ein paar Tassen Kaffee oder mehrere Chips-Packerl gegönnt haben und unser Prozessor warmgelaufen ist, haben wir den längsten Teil hinter uns. Nun müssen wir noch einen Linux-Kernel für Xen bauen. Xen selbst bootet erst einen Mikrokernel, der in Folge den Linux-Betriebssystemkern aufruft.
KlausIta empfiehlt, sicherzustellen, ob alle benötigten Module aktiviert sind und ext3fs-Unterstützung (rootfs) fix in den Kernel zu integrieren. Außerdem sollten SATA bzw. SCSI aktiviert werden, falls benötigt. Für weitere Hilfe zum Kernel Bauen mit make-kpkg, sprich "The Debian Way", könnten die unteren Abschnitte des folgenden Dokuments hilfreich sein.
Creating custom kernels with Debian's kernel-package system
pablo@packman:~/src$ cd linux-2.6.16-xen/ pablo@packman:~/src/linux-2.6.16-xen$ make menuconfig pablo@packman:~/src/linux-2.6.16-xen$ cd .. pablo@packman:~/src$ make dist
Im Folgenden können wir Xen installieren ...pablo@packman:~/src$ cd xen-3.0.2 pablo@packman:~/src/xen-3.0.2$ make world pablo@packman:~/src/xen-3.0.2$ make install
Nun haben wir den Xen Hypervisor, einen Kernel und die Xen-Tools. Zuletzt müssen wir die Xen-Dienste registrieren und einen Boot-Eintrag in GRUB, dem GNU Grand Unified Bootloader, vornehmen. Solltest du keine eigene /boot-Partition haben, bitte unbedingt die Pfade anpassen. Außerdem sollten gegebenfalls root= und die Dateinamen an das eigene System angepasst werden. Sollte das alles Neuland für dich sein, siehe hier für weiterführende Links: http://wiki.debian.org/GRUB
pablo@packman:~/src/xen-3.0.2$ sudo update-rc.d xend defaults 20 21 pablo@packman:~/src/xen-3.0.2$ sudo update-rc.d xendomains defaults 21 20 pablo@packman:~/src/xen-3.0.2$ sudoedit /boot/grub/menu.lst
### END DEBIAN AUTOMAGIC KERNELS LIST
boot xen vm host
title Xen root (hd0,0) kernel /xen-3.0-i386.gz module /vmlinuz-2.6.16-1-xen root=/dev/hda1 ro console=tty0 module /initrd.img-2.6.16-1-xen
Konfiguration
Wir können die dom0 nun rebooten und Xen starten. Nicht vergessen, unter GRUB den richtigen Eintrag auszuwählen! ;-)
Folgende kleine Eingriffe müssen eventuell vorgenommen werden:
- Netzwerkeinstellungen unter /etc/network/interfaces von DHCP auf statisch ändern. (don't forget: /etc/init.d/networking restart)
- Die Nameserver in /etc/resolv.conf anpassen.
- Unter /etc/hostname den Namen des Hosts bzw. der dom0 eintragen.
Ist eine Netzwerk-Bridge erwünscht, muss die natürlich auch unter /etc/network/interfaces angegeben werden.
pre-up brctl addbr xenbr0 pre-up brctl addif xenbr0 eth0 post-down brctl delbr xenbr0
Weitere Infos zu Debian und network-bridge:Anleitung zum Absichern von Debian - Aufsetzen einer überbrückenden Firewall (bridge Firewall)
QEMU - Debian - Linux - TUN/TAP - network bridge
pablo@packman:~$ apt-cache show bridge-utils Package: bridge-utils Priority: optional Section: net Installed-Size: 148 Maintainer: Santiago Garcia Mantinan <manty@debian.org> Architecture: i386 Version: 1.0.4-1 Depends: libc6 (>= 2.3.2.ds1-4), libsysfs1 Recommends: ifupdown Conflicts: ifupdown (<< 0.6.0) Filename: pool/main/b/bridge-utils/bridge-utils_1.0.4-1_i386.deb Size: 26900 MD5sum: ef7bd97c308bc0291f6584f557abecf9 Description: Utilities for configuring the Linux ethernet bridge This package contains utilities for configuring the Linux ethernet bridge in Linux 2.4 or later. The Linux ethernet bridge can be used for connecting multiple ethernet devices together. The connecting is fully transparent: hosts connected to one ethernet device see hosts connected to the other ethernet devices directly.
Wir können nun den Xen-Domänendienst starten. Eventuell muss hier noch eine Änderung vorgenommen werden.pablo@packman:~$ sudo /etc/init.d/xendomains start touch: kann ,,/var/lock/subsys/xendomains" nicht berühren: Datei oder Verzeichnis nicht gefunden
Falls bei dir derselbe Fehler auftritt, musst du einfach nur das Verzeichnis anlegen, in das die Datei xendomains geschrieben werden soll.
pablo@packman:~$ sudo mkdir -p /var/lock/subsys/
Anschließend legen wir fest, wo unsere Virtual Machines liegen werden, welche IP unser Server (Gateway) hat, wo der Kernel liegt und dergleichen mehr.
pablo@packman:~$ sudo mkdir -p /srv/xen pablo@packman:~$ sudoedit /etc/xen-tools/xen-tools.conf
dir = /srv/xen size = 2Gb memory = 128Mb swap = 128Mb fs = ext3 dist = sarge gateway = 192.168.1.1 netmask = 255.255.255.0 passwd = 1 initrd = /boot/initrd.img-2.6.16-1-xen kernel = /boot/vmlinuz-2.6.16-1-xen mirror = http://ftp.at.debian.org/debian/
Gast (domU)
VM-Image
Sollte bis jetzt alles erfolgreich gewesen sein, können wir nun testweise ein Gastsystem aufsetzen. In den meisten Howtos wird dazu erst mit dd ein Image erstellt, dann partitioniert und über loop gemountet, und anschließend mit dbootstrap ein System aufgespielt. Dieses Image könnte nun beliebig oft kopiert werden und als Basis für verschiedenste Server u.dergl. verwendet werden.
Optional kann auch mit xen-create-image ein Image erstellt werden. Danach wird der Xen-Dienst gestartet und die Xen-Mashine mit Hilfe von xm erstellt.
pablo@packman:~$ sudo xen-create-image --dir=/srv/xen --size=2Gb --swap=128Mb --memory=128Mb --fs=ext3 --cache=yes --dist=etch --hostname=debiennerl --dhcp --initrd=/boot/initrd.img-2.6.16-1-xen --kernel=/boot/vmlinuz-2.6.16-1-xen- --mirror=http://http://ftp.at.debian.org/debian/ pablo@packman:~$ sudo xend start pablo@packman:~$ sudo xm create debiennerl -c
Einfacher als das manuelle Erstellen einer VM kann es sein, ein bestehendes System zu übernehmen: Entweder mittels dd in ein Image schreiben, oder ein bestehendes Logical Volume einer Linux LVM in Xen einbinden. Das ganze muss nur noch in die Konfigurationsdatei eingetragen werden und schon kann's losgehen!
# -*- mode: python; -*- kernel = "/boot/vmlinuz-2.6.16-1-xen" ramdisk = "/boot/initrd.img-2.6.16-1-xen" memory = 128 name = "debiennerl" vif = ' disk = ['phy:/dev/debiennerl/root,hda1,w','phy:/dev/lvmxen/domu1-swap,hda2,w'] ip="192.168.1.100" netmask="255.255.255.0" gateway="192.168.1.1" hostname = "debiennerl" root = "/dev/mapper/debiennerl-root ro" extra = "4"
LVM
Sollte der Einsatz von Logical Volumes erwünscht aber LVM noch nicht eingerichtet sein, musst du folgendes machen: LVM Partition anlegen (mit cfdisk, gparted o.ä.), LVM 2 Tools installieren, Volume Group anlegen, Logical Volumes anlegen und formatieren. Zum Verwalten von LVMs kann alternativ auch evmsn (ncurses) bzw. emvsgui (gtk) verwendet werden.
Überprüfen der Partitionstabelle:
redtux@testix:~$ fdisk -l /dev/sda
Gerät boot. Anfang Ende Blöcke Id System /dev/sda1 * 1 705 355288+ 83 Linux /dev/sda2 706 238216 119705544 f W95 Erw. (LBA) /dev/sda5 706 2737 1024096+ 83 Linux /dev/sda6 2738 238216 118681384+ 8e Linux LVM LVM einrichten:
redtux@testix:~$ sudo aptitude install lvm2 redtux@testix:~$ sudo pvcreate /dev/sda6 redtux@testix:~$ sudo vgcreate vserver /dev/sda6 redtux@testix:~$ sudo lvcreate -L1000 -nroot vserver Logical volume "root" created redtux@testix:~$ sudo lvcreate -L1G -nswap vserver Logical volume "swap" created redtux@testix:~$ sudo lvscan -v Finding all logical volumes ACTIVE '/dev/vserver/root' 1000,00 inherit ACTIVE '/dev/vserver/swap' 1,00 inherit redtux@testix:~$ sudo mkfs.ext3 -L xen-dom0 /dev/vserver/root redtux@testix:~$ sudo swapon -v /dev/vserver/swap swapon für /dev/vserver/swap redtux@testix:~$ sudo swapon -s Filename Type Size Used Priority /dev/hdb8 partition 562424 165328 -1 /dev/hda5 partition 248968 0 -2 /dev/mapper/vserver-swap partition 1048568 0 -3
Sonstiges
Damit eine Xen VM beim Hochfahren des Hosts automatisch gestartet wird, muss ein Link in /etc/xen/auto/ erstellt werden.
pablo@packman:~$ sudo ln -s /etc/xen/debiennerl /etc/xen/auto/
Um die laufenden VMs anzuzigen, gibt es den befehl 'xm list'.
pablo@packman:~$ xm list Name ID Mem(MiB) VCPUs State Time(s) Domain-0 0 64 1 r----- 112.0 debiennerl 3 128 1 ------ 27.4
Mit 'xm console ' gelangen wir auf die Konsole der jeweiligen VM.
pablo@packman:~$ xm console 3
Weitere Tipps folgen (hoffentlich) mit der Zeit.