Administrar discos duros con LVM

Clase 21 de 49 • Curso de Administración de Servidores Linux 2017

Resumen

LVM nos permite realizar una configuración de discos duros que nos permita administrar el espacio de almacenamiento del servidor.

Instalación

apt-get install lvm2

Crear volúmenes físicos

Primero debemos agregar los discos físicos que vamos a usar para crear el LVM, para esto debemos formatear la partición a usar con tipo 8e

pvcreate /dev/xvdf3, agrega la partición a los volúmenes físicos del LVM
pvs listar los discos en los volúmenes lógicos

Grupos

vgcreate databases /dev/xvdf3, se agrega la partición a un grupo
vgs listar los grupos
vgreduce databases /dev/xvdg remueve una partición del grupo

Volumenes lógicos

lvcreate -n postgres -L 10g databases, crea una partición usando el espacio de un grupo

Extender tamaño de la partición

lvextend -L+10G /dev/databases/posgress
resize2fs /dev/databases/posgress

Joaquin Araujo

student•

Administrar discos duros con LVM (Logical Volume Management)

LVM nos permite realizar una configuración de discos duros que nos permita administrar el espacio de almacenamiento del servidor.

apt-get install lvm2 Instala la configuración de LVM.
Ante todo se debe crear la partición y darle el formato Linux LVM (8e) con fdisk.

Volúmenes físicos (Physical Volumes):

pvcreate /dev/[nombre de la partición] Este comando agrega la partición a los volúmenes físicos del LVM.
pvremove /dev/[nombre de la partición] Este comando elimina la partición a los volúmenes físicos del LVM.
pvscan Este comando lista las particiones que están agregadas en los volúmenes físicos del LVM y el tamaño total de la suma de todas las particiones.
pvs Este comando lista los volúmenes lógicos.

Grupo de volúmenes (Volume Groups): Agrupación de volúmenes físicos.

vgcreate [nombre del grupo] /dev/[nombre de la partición] Este comando permite agregar la partición a un grupo.
vgextend [nombre del grupo] /dev/[nombre de la partición] Este comando permite agregar más particiones a un grupo existente.
vgreduce [nombre del grupo] /dev/[nombre de la partición] Este comando permite elimina la partición de un grupo.
vgdisplay Este comando lista y detalla los grupos existentes.
vgs Este comando lista los grupos existentes.

Volúmenes lógicos (Logical Volumes):

lvcreate -n [nombre de la partición lógica] -L [tamaño]G [nombre del grupo] Este comando crea una partición lógica tomando un grupo existente como su espacio.
lvextend -L+[tamaño]G /dev/[nombre del grupo]/[nombre del volumen lógico] Extiende el tamaño del volumen lógico, según el espacio que tenga disponible el grupo que se usó para crear dicho volumen lógico.
lvs Este comando lista las particiones que se han hecho de los grupos existentes (partición lógica).

A este tipo de particiones también se les puede dar su respectivo formato con el comando mkfs.[formato] /dev/[nombre del grupo]/[nombre del volumen lógico]

Si necesitas una guía rápida de todos los comandos que se verán en el curso (incluso estos) aquí la tienes.

Joaquin Araujo

student•

Mi práctica fue distinta:

Cree 3 particiones físicas, cada partición de 2G:

root@servidor:/home/joaqnjs# pvs
  PV         VG   Fmt  Attr PSize PFree
  /dev/sdb2  db   lvm2 a--  2.00g    0 
  /dev/sdb3  db   lvm2 a--  2.00g    0 
  /dev/sdb4  db   lvm2 a--  2.00g    0

Cree un grupo llamadao db donde agrupé las 3 particiones físicas creadas anteriormente, dando un total de 5.99G disponible:

root@servidor:/home/joaqnjs# vgs
  VG   #PV #LV #SN Attr   VSize VFree
  db     3   1   0 wz--n- 5.99g    0

Cree una partición lógica llamada servidorVE partiendo del espacio disponible del grupo db:

root@servidor:/home/joaqnjs# lvs
  LV         VG   Attr       LSize Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  servidorVE db   -wi-a----- 5.99g

Joaquin Araujo

student•

Actualicé el enlace de la guía, ahora es: https://joaquinaraujo.github.io/administracion-linux/

Edgar Omar Soto Escamilla

company_admin•

Una forma grafica de entender como funciona LVM

Volumen fisico - Physical Volumes (PV): discos fisicos, particiones, volumenes RAID
Grupos - Volume Groups (VG): contiene 1 o mas volumenes fisicos, se redimenciona agregando o quitando volumenes fisicos
Volumen logico - Logical Volumes (LV): divide los grupos, se redimenciona en “caliente”

Juan Carlos Mendoza Rodríguez

student•

Esta parte es muy interesante, en mi trabajo tenemos implementada una BBDD la cual tiene un tamaño de 1.5 TB. A medida que ha incrementado su tamaño hemos ido agregando discos y con LVM solucionamos el problema de extender el espacio.

La partición creada en LVM está formateada con XFS y aquí viene un detalle que me gustaría compartir

Para trabajar con el sistema de archivos XFS a nivel de LVM es igual en lo primeros pasos

pvcreate
vgcreate
lvcreate
vgextend

La diferencia radica en que a la hora de extender el tamaño de la partición no se utiliza resize2fs, para XFS se utiliza xfs_growfs

# xfs_growfs /punto/de/montaje -D tamaño

Donde “tamaño” representa la cantidad de bloques que se va a expandir. Pero si deseamos expandir en su totalidad, se omite -D tamaño

# xfs_growfs /punto/de/montaje

Otro detalle a tener en consideración es que XFS no soporta reducción de tamaño, solo se puede incrementar.

Brayhan Alejandro Gabriel Guerrero

student•

Muy buen aporte Carlos

Luis Enrique Galindo Arenas

student•

Excelente Capitulo! Así logre yo el reto propuesto:

Saludos!

andrés eduardo betancourt bescanza

student•

Encontre esto sobre LVM que aclara mucho la cosa.

Las ventajas que tienen son múltiples, pero la inicial y más evidente es la flexibilidad frente al particionado tradicional. Pongamos (sin LVM) que creamos 4 particiones contiguas en un disco. Si en el futuro quisieramos aumentar alguna de las 3 primeras no podríamos hacerlo sin borrar las siguientes, lo que es complejo, peligroso y requiere de parada del servicio casi seguro. Pongamos que quisieramos ampliar la última, siempre tendríamos el límite del tamaño del disco. Pongamos que compramos un disco nuevo, y queremos ampliar el espacio de un sistema de ficheros existente en el disco anterior con el espacio nuevo, imposible salvo con «ñapas» de nuevos sistemas de ficheros y puntos de montaje. Con LVM todas esas limitaciones desaparecen. Podemos aumentar sus «particiones» (volúmenes lógicos en adelante) independientemente de que no haya espacio libre contiguo a éstas. Podemos aumentar sus volúmenes lógicos con espacio libre de diferentes discos físicos. E incluso podemos mover volúmenes lógicos entre dispositivos físicos. Y lo mejor de todo… ¡en caliente! Sin desmontar el sistema de ficheros, ¡sin parar un servicio! ¡Brujería! ¡Brujería!

Sergio Velásquez Saldías

student•

Desafío 2: (Excelente curso y muy buenas clases, gracias…)

Inicio validando que no existe capacidad disponible en el volumen lógico, ni físico (sdb3).

root@ubuntu:~# df -h
Filesystem                   Size  Used Avail Use% Mounted on
udev                         477M     0  477M   0% /dev
tmpfs                        100M  3.3M   97M   4% /run
/dev/mapper/ubuntu--vg-root  8.3G  2.8G  5.1G  36% /
tmpfs                        497M     0  497M   0% /dev/shm
tmpfs                        5.0M     0  5.0M   0% /run/lock
tmpfs                        497M     0  497M   0% /sys/fs/cgroup
/dev/sda1                    472M  106M  342M  24% /boot
/dev/sdb5                    1.5G   33M  1.5G   3% /db
tmpfs                        100M     0  100M   0% /run/user/1000
/dev/mapper/databases-mysql  980M  980M     0 100% /db-mysql
root@ubuntu:~#
root@ubuntu:~# lvs
  LV     VG        Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  mysql  databases -wi-ao---- 1020.00m                                                    
  root   ubuntu-vg -wi-ao----    8.50g                                                    
  swap_1 ubuntu-vg -wi-ao---- 1020.00m                                                    
root@ubuntu:~#
root@ubuntu:~# pvs
  PV         VG        Fmt  Attr PSize    PFree 
  /dev/sda5  ubuntu-vg lvm2 a--     9.52g 24.00m
  /dev/sdb3  databases lvm2 a--  1020.00m     0 
  /dev/sdd             lvm2 ---     4.00g  4.00g

Una vez agregado el nuevo disco, se extiende el grupo de volúmenes con el disco.

root@ubuntu:~# vgextend databases /dev/sdd
  Volume group "databases" successfully extended

Valido que disco haya sido agregado al grupo

root@ubuntu:~# pvs
  PV         VG        Fmt  Attr PSize    PFree 
  /dev/sda5  ubuntu-vg lvm2 a--     9.52g 24.00m
  /dev/sdb3  databases lvm2 a--  1020.00m     0 
  /dev/sdd   databases lvm2 a--     4.00g  4.00g

Usando el comando pvmove, muevo la data de volumen lleno al nuevo volumen.

root@ubuntu:~# pvmove /dev/sdb3 /dev/sdd 
  /dev/sdb3: Moved: 3.5%
  /dev/sdb3: Moved: 100.0%

Una vez finalizado el movimiento de la data, eliminar el antiguo volumen del grupo

root@ubuntu:~# vgreduce databases /dev/sdb3
  Removed "/dev/sdb3" from volume group "databases"

Validar

root@ubuntu:~# pvs
  PV         VG        Fmt  Attr PSize PFree 
  /dev/sda5  ubuntu-vg lvm2 a--  9.52g 24.00m
  /dev/sdb3            lvm2 ---  1.00g  1.00g
  /dev/sdd   databases lvm2 a--  4.00g  3.00g

Extender capacidad del volumen lógico

root@ubuntu:~# lvextend -L +1g /dev/mapper/databases-mysql 
  Size of logical volume databases/mysql changed from 1020.00 MiB (255 extents) to 2.00 GiB (511 extents).
  Logical volume mysql successfully resized.

Ejecutar comando rezise2fs para actualizar la modificación de tamaño del volumen lógico

root@ubuntu:/~# resize2fs /dev/mapper/databases-mysql 
resize2fs 1.42.13 (17-May-2015)
Filesystem at /dev/mapper/databases-mysql is mounted on /db-mysql; on-line resizing required
old_desc_blocks = 4, new_desc_blocks = 8
The filesystem on /dev/mapper/databases-mysql is now 2093056 (1k) blocks long.

Validar la correcta modificación del tamaño

root@ubuntu:~# df -h
Filesystem                   Size  Used Avail Use% Mounted on
udev                         477M     0  477M   0% /dev
tmpfs                        100M  3.3M   97M   4% /run
/dev/mapper/ubuntu--vg-root  8.3G  2.8G  5.1G  36% /
tmpfs                        497M     0  497M   0% /dev/shm
tmpfs                        5.0M     0  5.0M   0% /run/lock
tmpfs                        497M     0  497M   0% /sys/fs/cgroup
/dev/sda1                    472M  106M  342M  24% /boot
/dev/sdb5                    1.5G   33M  1.5G   3% /db
tmpfs                        100M     0  100M   0% /run/user/1000
/dev/mapper/databases-mysql  2.0G  981M  907M  52% /db-mysql
root@ubuntu:~#

fin desafío…

Oscar Téllez

student•

Porque la partición se formateo con el file system LVM pero al agregar el disco no se inicializó la tabla de particiones MBR o GPT ni tampoco se le dio formato?

Diego Forero

Team Platzi•

Las particiones LVM por su forma de trabajar no necesita crear las tablas de particiones MBRo GPT, el formato se hace cuando se monta la partición lógica.

Te recomiendo veas el video un par de veces, a mi me toco verlo 3 veces para entender cada uno de los conceptos.

Carlos Alberto Vergara Ortiz

student•

¿si quiero tener dual boot de dos distribuciones linux puedo compartir cosas como swap y home?

Diego Forero

Team Platzi•

El swap no hay problema, pero no creo que sea buena idea compartir el home, ya que cada entorno puede escribir cosas de diferentes dependiendo del entorno de escritorio y puede que carpetas que se llamen igual puedan dar problemas.

Yefri Gonzalez

student•

Quiero compartir este video que explica que es LVM de una manera muy clara. https://www.youtube.com/watch?v=R1lMzb0sKMQ

Eduardo Rasgado Ruiz

student•

Es necesario desmontar todos las particiones el SSD para llevar a cabo la función de write con el Linux LVM? Es que a mi no me dejaba sino hasta que desmonté incluso la swap con swapoff /dev/swap_partition_example. Si hay otra opción para no tener que desmontar algunas cosas como la swap cual es?

David Granados

student•

mismo problema también tuve que desmontar la swap para que me dejará escribir la partición LVM

Juan Diego Silva Garcia

student•

Si, igual, creo que este vídeo debió ser el No.17

Edynson Edgardo Coronado Icochea

student•

Reto #2 cumplido

Rodolfo Sáenz

student•

Excelente herramienta! LVM

Juan Ledesma

student•

Hola, si en un servidor físico, la placa madre muere, se puede cambiar discos en raid a otra maquina igual con la misma placa raid pci?

Osmandi Gomez

student•

Hola, no creo que llegues a tener problemas en cambiarlo aunque dependiendo de tu sistema de particionado (MBR o GPT) puede que tengas que realizar algunos ajustes.

José Manuel Vázquez Castro

student•

El comando importante > pvmove /dev/xvdf3 /dev/xvdg1

Luis Rodrigo Alvarez Herrera

student•

pregunta, esto se comporta iugual que una particion normal, es decir si hay datos guardados estos se pierden?

Diego Forero

Team Platzi•

Si, al convertir las particiones primero deben ser destruidas las anteriores por lo tanto la información es eliminada.

Ricardo Andres Romero Gomez

student•

me costo entender esto ultimo del curso? pero si no estoy tan perdido, hay que agregar otro volumen en amazon cierto? para hacer el reto?

Diego Forero

Team Platzi•

Así es, solo ten en cuenta que te pueden cobrar el volumen, lo mejor es que no lo hagas con un volumen tan grande como 100 gb si no lo hagas con una de 8 gb y adaptes el ejercicio a ese tamaño.

Jaime Gary

student•

Desarrollo de la tarea:

Este es el proceso sin agregar otro disco:

Desmontar el filesystem

/home/ubuntu# umount /var_new/

Realizar un chequeo al filesystem

:/home/ubuntu# e2fsck /dev/databases/postgres
e2fsck 1.42.13 (17-May-2015)
/dev/databases/postgres: clean, 12/9175040 files, 2486614/36698112 blocks

Redimensionar el filesystem

/home/ubuntu# resize2fs -p /dev/databases/postgres 40G
resize2fs 1.42.13 (17-May-2015)
Please run 'e2fsck -f /dev/databases/postgres' first.

:/home/ubuntu# e2fsck -f /dev/databases/postgres
e2fsck 1.42.13 (17-May-2015)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/databases/postgres: 12/9175040 files (0.0% non-contiguous), 2486614/36698112 blocks

/home/ubuntu# resize2fs -p /dev/databases/postgres 40G
resize2fs 1.42.13 (17-May-2015)
Resizing the filesystem on /dev/databases/postgres to 10485760 (4k) blocks.
Begin pass 3 (max = 1120)
Scanning inode table          XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
The filesystem on /dev/databases/postgres is now 10485760 (4k) blocks long.

Reducir el volumen logico

/home/ubuntu# lvreduce -L 40G /dev/databases/postgres
  WARNING: Reducing active logical volume to 40.00 GiB
  THIS MAY DESTROY YOUR DATA (filesystem etc.)
Do you really want to reduce postgres? [y/n]: y
  Size of logical volume databases/postgres changed from 139.99 GiB (35838 extents) to 40.00 GiB (10240 extents).
  Logical volume postgres successfully resized.

Mover las extensiones físicas del disco

/home/ubuntu# pvmove /dev/xvdf3
  /dev/xvdf3: Moved: 0.1%
  /dev/xvdf3: Moved: 2.4%
  /dev/xvdf3: Moved: 4.6%
  /dev/xvdf3: Moved: 6.9%
  /dev/xvdf3: Moved: 9.1%
  /dev/xvdf3: Moved: 11.3%
  /dev/xvdf3: Moved: 13.6%
  /dev/xvdf3: Moved: 15.8%
  /dev/xvdf3: Moved: 18.1%
  /dev/xvdf3: Moved: 20.3%
  /dev/xvdf3: Moved: 22.5%
  /dev/xvdf3: Moved: 24.8%
  /dev/xvdf3: Moved: 27.0%
  /dev/xvdf3: Moved: 29.2%
  /dev/xvdf3: Moved: 31.5%
  /dev/xvdf3: Moved: 33.7%
  /dev/xvdf3: Moved: 35.9%
  /dev/xvdf3: Moved: 38.1%
  /dev/xvdf3: Moved: 40.4%
  /dev/xvdf3: Moved: 42.6%
  /dev/xvdf3: Moved: 44.9%
  /dev/xvdf3: Moved: 47.1%
  /dev/xvdf3: Moved: 49.4%
  /dev/xvdf3: Moved: 51.6%
  /dev/xvdf3: Moved: 53.8%
  /dev/xvdf3: Moved: 56.1%
  /dev/xvdf3: Moved: 58.3%
  /dev/xvdf3: Moved: 60.5%
  /dev/xvdf3: Moved: 62.8%
  /dev/xvdf3: Moved: 65.0%
  /dev/xvdf3: Moved: 67.2%
  /dev/xvdf3: Moved: 69.5%
  /dev/xvdf3: Moved: 71.7%
  /dev/xvdf3: Moved: 74.0%
  /dev/xvdf3: Moved: 76.2%
  /dev/xvdf3: Moved: 78.4%
  /dev/xvdf3: Moved: 80.7%
  /dev/xvdf3: Moved: 82.9%
  /dev/xvdf3: Moved: 85.1%
  /dev/xvdf3: Moved: 87.4%
  /dev/xvdf3: Moved: 89.6%
  /dev/xvdf3: Moved: 91.8%
  /dev/xvdf3: Moved: 94.1%
  /dev/xvdf3: Moved: 96.3%
  /dev/xvdf3: Moved: 98.5%
  /dev/xvdf3: Moved: 100.0%

Remover la partición del volumen logico.

/home/ubuntu# vgreduce databases /dev/xvdf3
  Removed "/dev/xvdf3" from volume group "databases"

Remover la partición del volumen físico

/home/ubuntu# pvremove /dev/xvdf3
  Labels on physical volume "/dev/xvdf3" successfully wiped

Verificación

/home/ubuntu# pvs
  PV         VG        Fmt  Attr PSize   PFree
  /dev/xvdg  databases lvm2 a--  100.00g 60.00g

:/home/ubuntu# mount /dev/databases/postgres /var_new

:/home/ubuntu# df -h
Filesystem                      Size  Used Avail Use% Mounted on
udev                            488M     0  488M   0% /dev
tmpfs                           100M  3.3M   96M   4% /run
/dev/xvda1                      7.7G  1.4G  6.3G  19% /
tmpfs                           496M     0  496M   0% /dev/shm
tmpfs                           5.0M     0  5.0M   0% /run/lock
tmpfs                           496M     0  496M   0% /sys/fs/cgroup
/dev/loop0                       87M   87M     0 100% /snap/core/5145
/dev/loop1                       88M   88M     0 100% /snap/core/5328
/dev/loop2                       13M   13M     0 100% /snap/amazon-ssm-agent/495
/dev/loop3                       13M   13M     0 100% /snap/amazon-ssm-agent/295
/dev/xvdf6                       10G  498M  9.6G   5% /var/basededatos
tmpfs                           100M     0  100M   0% /run/user/1000
/dev/mapper/databases-postgres   40G  7.2G   31G  20% /var_new

/home/ubuntu# pvs
  PV         VG        Fmt  Attr PSize   PFree
  /dev/xvdg  databases lvm2 a--  100.00g 60.00g

/home/ubuntu# ls -l /var_new/
total 7474196
drwx------ 2 root root      16384 Sep 13 21:27 lost+found
-rw-r--r-- 1 root root 7653556224 Sep 13 21:31 zeros

Referencia:

http://www.networkinghowtos.com/howto/remove-disk-from-lvm-array-on-ubuntu/

jorge hernandez

student•

aguas profundas

DANIEL JESÚS ORGAS CAMACHO

student•

DANIEL JESÚS ORGAS CAMACHO

student•

con un poco de ayuda lo logre jejeje
Alguien sabrá como reducir el tamaño de la partición
tengo entendido que con lvreduce pero al aplicar resize2fs me marca error (resize2fs 1.42.13 (17-May-2015)
Filesystem at /dev/databases/postgres is mounted on /var_new; on-line resizing required
resize2fs: On-line shrinking not supported )

pero entonces alguien me podrá explicar como se hace?

John Enrique Maldonado Gonzales

student•

una consulta, al estar creando tantos volumenes con diferentes capacidades esto hara un cobro aparte de la tarjeta de credito cuanto dinero se nos cobra al final por todo?