Objective 3.3: Configure vSphere Storage Multi-pathing and Failover

Explain common multi-pathing components

Para administrar el acceso multipath al almacenamiento, ESXi utiliza una arquitectura formada por diferentes componentes:

• PSA (Pluggable Storage Architecture): Es el sistema que se encarga de coordinar las operaciones de E/S en los accesos multipath al almacenamiento. Coordina las operaciones de los plugins que gestionan el multipath, ya sea el nativo de VMware (NMP) o plugins de terceros (MMP) Es el encargado de realizar las siguientes tareas:
  • Carga y descarga los Plug-in NMP/MMP
  • Enruta las solicitudes E/S de un dispositivo lógico al NMP/MPP que administra el dispositivo
  • Controla la cola de E/S a los dispositivos lógicos
  • Implementa el uso compartido del ancho de bando de dispositivos lógicos entre las máquinas virtuales
  • Controla la cola de E/S a los HBA de almacenamiento físico
  • Controla la detección y elminiación de rutas de acceso
  • Proporciona estadísticas de E/S
• NMP (Native Multipathing Plug-in): de forma predeterminada, ESXi proporciona el modo nativo llamado NMP. Este módulo admite todos los sistemas de almacenamiento indicados en el HCL de VMware. Está compuesto por dos subplugins: Storage Array Type Plug-in (SATP) y Path Selection Plug-in (PSP) Se encarga de:
  • Administrar la noticiación y anulación de noticiación de un path
  • Administra la creación, registro y anulación del registro de los dispositivos lógicos
  • Asocia las rtuas físicas con los dispositivos lógicos
  • Procesan las solicitudes de E/S para dispositivos lógicos
    • Seleccionan la ruta de acceso física óptima para la solicitud
    • Pueden realizar tareas específicas para controlas los errores de paths y los reintentos de E/S
  • Admiten tareas de administración
• SATP (Storage Array Type Plug-in): es un subcomponente de NMP. ESXi ofrece un SATP para cada tipo de sistema de almacenamiento. Es encargado de las siguientes tareas:
  • Supervisa el estado de cada path
  • Informa de los cambios de estado de cada path
  • Realiza tareas necesarias para el cambio de path, como puede ser activar rutas de acceso pasivas.

• PSP (Path Selection Plug-in) es un subcomponente de NMP. Es el responsable de elegir una ruta de acceso (path) para las solicitudes E/S. Están disponibles las siguientes opciones:
  • VMW_PSP_MRU (Most Recently Used): el host selecciona el path de acceso que utilizó más recientemente. Cuando el path deja de estar disponible, el host selecciona un path alternativo y no revierte al path original cuando vuelve a estar disponible. Es la predeterminada en la mayoría de sistemas almacenamiento activo-pasivo.
  • VMW_PSP_FIXED: el host utiliza el path preferido indicado si se ha configurado. Si no se ha indicado expresamente, el sistema utiliza el primer path detectado. Cuando el path seleccionado vuelve a estar disponible, se vuelve a utilizar este path. Es la predeterminada en la mayoría de sistemas almacenamiento activo-activo.
  • VMW_PSP_RR (Round Robin): el host utiliza un algoritmo de seleccion de paths por todas las paths activos en sistemas de almacenamiento activo-pasivo o por todos los paths disponibles en sisemas activo-activo.

Differentiate APD and PDL states

All Paths Down (APD) y Permanent Device Loss (PDL) definen 2 estados en los que un servidor ESXi pierde conectividad con el almacenamiento.

• Permanent Device Loss (PDL): un dispositivo de almacenamiento entra en estado PDL cuando tiene errores y no está disponible de forma permanente. El servidor ESXi recibe la comunicación del sistema de almacenamiento de que no tienen acceso al dispositivo de forma permanente. Por ejemplo: se elimina una LUN del sistema de almacenamiento o se cambia el identificador.
• All Paths Down (APD): un dispositivo de almacenamiento entra en estado APD cuando ninguno de los paths de acceso está disponible. ESXi trata este problema como una situación temporal o transitoria y espera que vuelva a estar disponible. El host vuelve a intentar ejecutar comandos sobre el dispositivo de forma indefinida ya que espera que vuelva a estar disponible. Al entrar en estado APD, el servidor host establece un tiempo (por defecto 140 segundos) en los que deja de enviar comandos para evitar problemas de rendimiento. Por ejemplo, un switch tiene errores o se ha desconectado los cables que conectan los equipos.

Given a scenario, compare and contrast Active Optimized vs. Active non-Optimized port group states

Uno de los SATP disponibles en un servidor ESXi es el plug-in ALUA (Asymmetric Logical Unit Access) En entornos que soportan ALUA, de los paths disponibles para un dispositivo se diferencia entre rutas active/optimized y active/unoptimized. Pueden darse casos en los que existan dos paths y que el sistema las diferencie entre Optimized y Unoptimized:

• Rutas que acceden al procesador del almacenamiento que gestiona la LUN.
• Rutas con diferente distancias y tiempos de respuesta.

Understand the effects of a given claim rule on multipathing and failover

Claim rules indican que plug-in NMP o MMP administra una ruta de acceso física determinada. Cada claim rule, identifica el plugin a utilizar según las siguientes datos:

• Fabricante o modelo del almacenamiento
• Tipo de conectividad como puede ser SATA, IDE, FC
• Tipo de adaptador, target o LUN
• Driver de un adaptador

Explain the function of claim rule elements:

Podemos ver las reglas existentes de un servidor con el comando esxcli storage core claimrule list

Vendor

Permite establecer una regla según el fabricante del almacenamiento detectado, por ejemplo EMC, Dell, IBM, HP...

Model

Permite establecer una regla según el modelo del sistema de almacenamiento detectado, por ejemplo

Device ID

Permite establecer una regla para un dispsotivo en conecreto utilizado su identificador.

Para crear una regla utilizamos el comando esxcli:

esxcli storage core claimrule add

En los parámetros del comando indicamos los valores de fabricante, modelo, Plugin...

Para cargar una regla creada ejecutamos:

esxcli storage core claimrule

Por ejemplo:

esxcli storage core claimrule add -t vendor -V FabricaA -M Modelo1 -P NMP -r 200

Change the Path Selection Policy using the UI

La configuración de la politica de selección de path se indica por dispositivo y por servidor ESXi

• Accedemos al datastore
• Accedemos a Manage -> Settings -> Connectivity and Multipathing

• Seleccionamos el host y pinchamos en Edit Multipathing
• Seleccionamos la política a aplicar

Determine required claim rule elements to change the default PSP

Podemos definir que PSP se asigna por defecto a cada SATP disponible. Para realizar este cambio unicamente necesitamos el Plug-in SATP que vamos a modificar y la politica PSP que vamos a establecer. Por ejemplo: Si vamos a modificar la política PSP del Plug-in SATP VMW_SATP_EVA

• Comprobamos la regla existente

  esxcli storage nmp satp list

• Ejecutamos el comando para modificar la regla

  esxcli storage nmp satp set -s VMW_SATP_EVA -P VMW_PSP_MRU

• Comprobamos que la regla se ha actualizado

  esxcli storage nmp satp list

Determine the effect of changing PSP on Multipathing and failover

El Plugin PSP elegido determina el comportamiento de la selección del path utlizado para enviar los comandos de E/S. El PSP elegido lo determina princpalmente el fabricante del sistema de almacenamiento.

• VMW_PSP_MRU (Most Recently Used): el host utiliza siempre un único path, hasta que falla. En este caso, cambia de path activo hasta que falla y selecciona otro..
• VMW_PSP_FIXED: el host utiliza siempre un único path fijo. Si falla, cambia a otro path. Cuando el original se recupera vuelve a este path.
• VMW_PSP_RR (Round Robin): cada cierto tiempo, se ejecuta un algoritmo que evalua que path utilizar entre los disponibles.

Determine the effects of changing SATP on relevant device behavior

El Plugin SATP está asociado a un tipo de almacenamiento por lo que un cambio en la configuración puede implicar no utilizar la configuración recomendada para ese tipo de fabricante. Los SATP que tenemos por defecto y su PSP correspondiente, son los siguientes:

• VMW_SATP_MSA: VMW_PSP_MRU
• VMW_SATP_ALUA: VMW_PSP_MRU
• VMW_SATP_DEFAULT_AP: VMW_PSP_MRU
• VMW_SATP_SVC: VMW_PSP_FIXED
• VMW_SATP_EQL: VMW_PSP_FIXED
• VMW_SATP_INV: VMW_PSP_FIXED
• VMW_SATP_EVA: VMW_PSP_FIXED
• VMW_SATP_ALUA_CX: VMW_PSP_RR
• VMW_SATP_SYMM: VMW_PSP_RR
• VMW_SATP_CX: VMW_PSP_MRU
• VMW_SATP_LSI: VMW_PSP_MRU
• VMW_SATP_DEFAULT_AA: VMW_PSP_FIXED
• VMW_SATP_LOCAL : VMW_PSP_FIXED

Si ejecutamos

esxcli storage nmp satp rule list

Podemos ver con más detalle cada uno de los modelos de almacenamiento que se tienen en cuenta para la asignación del plug-in SATP corrspondiente

Differentiate available Storage Load Balancing options

Las opciones para proporcionar Load Balancing depende del tipo de almacenamiento que estemos utilizando. Por ejemplo:

• Fibre Channel: normalmente cada servidor contiene 2 interfaces FC, ya sea una tarjeta multipuerto o varias tarjetas diferentes
• iSCSI: es un protocolo de network, pero no utilizamos configuraciones tipo teaming, tenemos la opción de tener varios interfaces configurados en el servidor ESXi para poder balancear el tráfico por diferentes interfaces de red.
• NFS: sólo está disponible a partir de la versión 4.1

Differentiate available Storage Multi-pathing Policies

Las politicas de balanceo son comunes a los distintos tipos de almacenamiento y son las mismas que hemos visto varias veces a lo largo de ste capítulo:

• Fixed
• Most Recently Used
• Round Robin

Configure Storage Policies

Las directivas de almacenamiento ayudan a definir los requisitos de almacenamiento para las máquinas virtuales y controlar en qué tipo de almacenamiento se ubican los archivos de la máquina virtual. Se pueden crear diferentes directivas para los archivos de discos de las máquinas virtuales y para el resto de archivos de las máquinas (configuracion, logs...) Las caracterísitcas de los sistemas de almacenamiento se pueden basar en diferentes reglas:

• Reglas comunes: se basan en datos que pueden estar disponibles en todo tipo de almacenamiento, como puede ser almacenamiento caché, replicación...
• Reglas basadas en servicios de datos específicos del almacenamiento: se basan en datos que proporcionan los propios sistemas de almacenamiento, normalmente, a través de un Storage Provider. Puden definir varias características del almacenamiento: capacidad, rendimiento, disponiblidad...
• Reglas basadas en etiquetas: se basan en etiquetas asignadas a los datastores.

Gestionamos y creamos las directivas desde el cliente web en el apartado de Storege Policies

La asignación de las directivas a las máquinas virtuales la podemos realizar en el momento de la creación de la máquina virtual o desde el menú VM Policies -> Edit VM Storage Policies

Locate failover events in the UI

Para localizar eventos de failover producidos en un host ESXi podemos utilizar:

• El apartado Monitor -> Events de un servidor ESXi
• El archivo /var/log/vmkernel.log

Vamos a ver, de forma resumida, los eventos que generaría, por ejemplo, un almacenamiento iSCSI en el archivo de logs:

• El path se marca como OFFLINE

2016-03-13T09:11:20.056Z cpu1:38947)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba33:CH:0 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event)

• El servidor ESXi para la sesión iSCSI

  2016-03-13T09:11:20.056Z cpu1:38947)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000001 TARGET: iqn.2005-10.org.freenas.ctl:iscsi-targe] 2016-03-13T09:11:20.056Z cpu1:38947)WARNING: iscsi_vmk: iscsivmk_StopConnection: Conn [CID: 0 L: 10.0.4.121:20556 R: 10.0.4.101:3260]

• Se aborta la tarea

  2016-03-13T09:11:20.065Z cpu0:38947)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba33:CH:0 T:0 L:0 : Task mgmt "Abort Task" with itt=0x25b (refITT=0x25.

• El Plug-in NMP detecta el problema

• PSP cambia el path activo

  2016-03-13T09:11:30.059Z cpu0:32807)vmw_psp_mru: psp_mruSelectPathToActivateInt:346: Changing active path from vmhba33:C0:T0:L0 to vmhba33:C1:T0:L0 for d.

Y los mismos eventos en el interfaz del cliente web

Cuando se recupera la conectividad, vemos los eventos correspondientes:

2016-03-13T09:21:24.455Z cpu0:38947)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba33:CH:0 T:0 CN:0: iSCSI connection is being marked "ONLINE" 2016-03-13T09:21:24.455Z cpu0:38947)WARNING: iscsi_vmk: iscsivmk_StartConnection: Sess [ISID: 00023d000001 TARGET: iqn.2005-10.org.freenas.ctl:iscsi-targ] 2016-03-13T09:21:24.455Z cpu0:38947)WARNING: iscsi_vmk: iscsivmk_StartConnection: Conn [CID: 0 L: 10.0.4.121:59336 R: 10.0.4.101:3260]