Configurar NetApp FAS2552/4 10G iSCSI Direct Attach en CDOT con VMware

Hola a todos,

En muchas de las implementaciones de almacenamiento nos encontramos que hay una buena aceptación en ampliar la velocidad de 1 Gb a 10Gb. A primera vista y sobre el papel encaja bien, normal multiplicamos por 10 el ancho de banda. Pero nos encontramos que no quieren invertir en electrónica de red por precio. Desde NetApp con las FAS25XX si escogemos la opción en 10G podemos implementar Direct Attach. Ahora bien esta implentación esta limitada a 2 hosts si queremos alta disponibilidad o 4 hosts sin alta disponibilidad.

Teniendo en cuenta que los servidores de hoy en día soportan 18 cores por procesador y hasta 384GB de RAM, muchas Empresas tienen de sobras para implementar una solución de virtualización en alta disponibilidad.

El modelo elegido de NetApp es el FAS2552 que dispone de dos controladoras y 6 puertos en cada una de ellas:

• 4 puertos UTA2. (10G o 16FCP)
• 2 puertos a 1Gb. 

De los puertos UTA2, 2 bocas las utilizaremos para la conexión Switchless del cluster data ontap y las otras 2 las utilizaremos para trafico SAN a 10Gb. Las 2 conexiones a 1Gb las podemos utilizar para para trafico CIFS, SnapManager o trafico iSCSI para peralizar backup mediante LAN FREE.

Empezamos con la implementación

Esta implementación se ha realizado mediante iSCSI porque será VMware quien se encarge de realizar el multipath.


Configuración de Broadcast Domains

Al tratarse de una configuración en Direct Attach contra dos servidores crearemos un dominio de broadcast por interfaz dejando el multipath para VMware.

En este punto definiremos si nuestros puertos de 10Gb trabajaran con JUMBO FRAMES o no. Mi recomendación es que se habiliten, pero debemos tener en cuenta que todos los elementos del circuito completo de cabina, switches y tarjeta de red lo soporten. En este caso solo necesitamos que este habilitado en el VMware.

Subnets

Una vez creado el broadcast domain crearemos un subnet para cada interfaz.

Network Interfaces

Ahora es el momento de definir las direcciones ip de cada puerto de 10Gb

iSCSI en SVM

Comprobar que están habilitados todos los LIFS en el protocolo de la SVM que tiene que dar servicio iSCSI.

Configuración en VMware

En VMware solo nos queda implementar el multipath de iSCSI que en el siguiente articulo podemos ver como se realiza dicha configuración.

Una vez implementado iSCSI binding solo nos queda presentar las LUNS a nuestros servidores ESXi y reescanear los discos en VMware.

Espero que sea de gran ayuda y hasta la próxima.

Asignar particiones de discos con NetApp ONTAP

Hola a todos,

Después de haber creado el cluster los sistemas entry level de NetApp FAS25XX y con version ONTAP9 por defecto particionarán los discos con dos particiones Root y SPARE, pero de forma automática el sistema asignara la parte de spare de forma simétrica a cada controladora.

• Partición de root 

• Partición de Spare 

Por ejemplo, si tenemos un FAS2552 con 4 discos SSD y 20 discos SAS, en que queremos crear un único agregado de todos los discos (One large Pool), no podremos el setup inicial asignara la partición de spare 10 discos mecánicos a la controladora A (nodo1 del cluster) y otros 10 a la controladora B (nodo 2 del cluster).

En muchos proyectos queremos asignar los 20 discos a una única controladora, pues vamos a ello.

• Primero entraremos a la administración del cluster a través de la shell y entramos en modo diag con el comando "set diag"

• Comprobaremos el estado de las particiones con el comando "Partition Show"

Con la siguiente información vemos que la partición de SPARE de los discos pares están asignados al NODO2del cluster "CLU02-02"

Y la partición de SPARE de los discos impares esta asignada al NODO1 del cluster "CLU02-01"

Ahora nos queda asignar las particiones al nodo que queramos en este caso asignaremos todos los discos al nodo1 del cluster "CLU02-01"

• Primero entraremos a la shell del nodo del cluster. a través de la ip del nodo
• Entraremos en modo diag con el comando "set diag"
• asignaremos la partición de spare del nodo "CLU02-02" al nodo "CLU02-01" con el comando "partition assign -partition 1.0.4.P1 -owner CLU02-01 -force"

Una vez asignados todos los discos de SPARE al nodo1 "CLU02-01" ya podremos crear un agregado de todos los discos

Espero que haya sido de vuestra ayuda

Como convertir una cabina NetApp FAS2200 o FAS2500 de 7-mode a CDOT 8.3 con ADP

Hola,

En el presente artículo explicaremos como actualizar nuestros sistemas de almacenamiento FAS2200 y 2500 de 7-mode a Cluster Data Ontap (CDOT) con Advanced Drive Partition (ADP).

Tenemos que tener presente que al realizar esta operación tendremos un perdida de la información si esta reside en los discos de la propia controladora, en caso de disponer bandejas adicionales deberemos mover los volúmenes que tengamos en producción a dichas bandejas.

Conversión a Cluster Data ontap

Primero debemos asegurarnos de que nuestra cabina está trabajando con la versión 8.2 Actualizar del sistema operativo, en caso de tener una versión inferior deberemos actualizar a la 8.2.

• Mediante SSH ejecutamos la instrucción "sysconfig" para ver en que versión de sistema operativo de DataOntap estamos trabajando.

Una vez actualizamos tengamos nuestra cabina actualizada cambiaremos de 7-mode a Cluster Data Ontap (CDOT)

• Conectaremos por cable serie a cada uno de las dos controladoras y las detendremos mediante el comando "Halt"
• En la primera de las controladoras cambiaremos la variable que determina si el S.O es 7-mode o CDOT

LOADER> set-defaults
LOADER> setenv bootarg.init.boot_clustered true 

• Iniciaremos el primer nodo con el comando

LOADER> boot_ontap

• El siguiente paso es realizar un wipeconfig, para ello presionaremos CTRL-C para detener el proceso de arranque.

*******************************
* Press Ctrl-C for Boot Menu. *
******************************* 

• Para realizar el wipeconfig presionaremos la opción 4 del menú. Nos advertirá de si estamos seguros de la perdida de la información, la controladora se reiniciará y empezará el formateo de discos.

Este proceso tardará una serie de horas, en función del tamaño y de la cantidad de discos que tengamos (6 discos de 900 SAS 2 horas) y hay que realizarlo en ambas controladoras.

Actualizar a 8.3

Una vez realizado el Zeroed de los discos nuestros nodos aparecerán con el “cluster setup” para crear un nuevo cluster. Como el objetivo es implementar ADP y este solo esta soportado en la versión 8.3 cancelaremos el asistente de “Cluster Setup” con un CTRL-C.

Para actualizar la versión del sistema operativo en CDOT tenemos dos opciones, mediante el menú de arranque de cada nodo o por comandos del cluster. En el presente documento lo realizaremos mediante el menú de arranque porque son cabinas que no estaban trabajando en CDOT.

• Primero asegurarnos que tenemos conexión de red en el interfaz e0M
• Copiar el fichero de CDOT 8.3 a un servidor Web o FTP.
• Reiniciaremos el primer nodo con el comando “system node reboot”
• El siguiente paso es detener el proceso de arranque mediante el CTRL-C 

*******************************
* Press Ctrl-C for Boot Menu. *
******************************* 

(1) Normal Boot.

(2) Boot without /etc/rc.

(3) Change password.

(4) Clean configuration and initialize all disks.

(5) Maintenance mode boot.

(6) Update flash from backup config.

(7) Install new software first.

(8) Reboot node.

Selection (1-8)?

• Seleccionaremos la opción 7.
• En los siguientes pasos no pedirá:

• Por que interfaz queremos actualizar

• Dirección IP

• Mascara de Subred

• Puerta de enlace

• La dirección URL con el nombre del paquete a instalar

• Una vez finalizado el proceso de instalación comprobaremos que la versión del S.O es 8.3 con el comando

::>system node image show




• Detendremos el nodo con el comando

::>system node halt

• Repetiremos estos pasos con el segundo nodo del Cluster

Quitar el propietario de los discos

Con los dos nodos detenidos tendremos que desasignar y quitar el propietario de los discos. Para ello necesitaremos realizar estas operaciones en los dos nodos.

• Arrancaremos el primer nodo del cluster con el comando

LOADER> boot_ontap

• El siguiente paso es detener el proceso de arranque mediante el CTRL-C 

*******************************
* Press Ctrl-C for Boot Menu. *
******************************* 

(1) Normal Boot.

(2) Boot without /etc/rc.

(3) Change password.

(4) Clean configuration and initialize all disks.

(5) Maintenance mode boot.

(6) Update flash from backup config.

(7) Install new software first.

(8) Reboot node.

Selection (1-8)?

• Entraremos en modo mantenimiento con la opción 5

• Desasignaremos los discos y el propietario

*> storage release disks

*> disk remove_ownership all

• Una vez realizadas estas operaciones en ambos nodos los tenedremos con el comando

*> Halt

Configurar ADP

• Iniciamos el primer nodo

LOADER> boot_ontap

• El siguiente paso es detener el proceso de arranque mediante el CTRL-C para realizar un wipeconfig

******************************** Press Ctrl-C for Boot Menu. ******************************** 

• Para realizar el wipeconfig presionaremos la opción 4 del menú. Nos advertirá de si estamos seguros de la perdida de la información, la controladora se reiniciará y empezará el formateo de discos. Esta vez el formateo es más rápido (10 discos 900 SAS 10 minutos) porque no existen agregados ni asignación de discos.
• Mi recomendación es que nos esperemos delante de la pantalla y esperar a que se reinicie el nodo y detener el proceso de boot presionando CTRL-C

Starting AUTOBOOT press Ctrl-C to abort...

Pressing Ctrl-C  launches the LOADER/CFE prompt:

• Realizar la misma operación el segundo nodo

En este punto  ya disponemos de 10 o 12 discos por nodod con el espacio reservado para el agregado root de cada nodo.

• Iniciamos ambos nodos con el comando

LOADER> boot_ontap

• El siguiente paso es introducir dirección ip, mascara de subred y puerta de enlace del interface de administración del nodo e0M

• En cuanto ambos nodos tengan ip y visibilidad ejecutaremos el programa "system setup", que podemos descargar desde pagina de soporte de NetApp. Mediante el system setup podremos configurar la asignacion de discos de nuestro cluster.

Activo/Pasivo

Activo/Activo

En nuestro caso escogeremos la opción de activo/pasivo para tener el mayor número de discos trabajando en paralelo y mayor tamaño para datos

Espero que haya sido de vuestra ayuda y hasta la próxima. 

Configurar SMB 3.0 en NetApp Clustered Data Ontap contra Hyper-V

Hola a todos, 

En el siguiente articulo hablaremos de como configurar nuestro Almacenamiento NetApp FAS con sistema operativo Clustered Ontap via SMB 3.0 contra entornos de virtualizacion en Hyper-V.

Primero tenemos que asegurarnos que tenemos los siguientes pre-requisitos:

• Sistema de Almacenamiento FAS con versión 8.2 en Clustered Ontap.
• Licencia CIFS en ambos nodos de Cluster
• Configurar en nuestro cluster  Storage Virtual Machine que sirva datos via CIFS.
• Rol de Hyper-V en Windows 2012R2.

Una vez disponemos de los pre-requisitos podemos proceder a la configuración en NetApp del Storage Virtual Machine, el directorio compartido y nuestro Host Hyper-V

Configuración del Clustered Data Ontap

Mediante conexión SSH Entraremos en modo avanzado y verificaremos que todas las opciones de SMB 3.0 están activas.

• set advanced

Listar los Storage Virtual Machines que tenemos con CIFS para poder crear nuestro volumen.

• cifs show

Listar todas las opciones de configuración de las Storage Virtual Machines que sirven CIFS.

• vserver cifs options show

En las opciones de configuración de nuestro Storage Virtual Machine debemos tener habilitadas las siguientes opciones:

• SMB3 Enabled  "vserver cifs options modify -vserver nacifs -smb3-enabled true"
• Copy offload Enabled (ODX) "vserver cifs options modify -vserver nacifs -copy-offload-enabled true"
• Shadowcopy enabled "vserver cifs options modify -vserver nacifs -shadowcopy-enabled true" 

La configuración de seguridad de Kerberos tiene que estar al mínimo de seguridad porque no necesitamos una negociación agresiva mediante Kerberos via SAN. La siguiente opción "Is referal" estará deshabilitada

• Is Referal Enabled "vserver cifs options modify -vserver nacifs -is-referral-enabled false"

Una vez configuradas las opciones genéricas de nuestro Storage Virtual Machine ya podemos crear el volumen y las carpetas compartidas donde alojaremos nuestras maquinas virtuales.

Si la carpeta compartida donde alojaremos las maquinas virtuales la creamos de nuevo a través de onCommand system Manager debemos marcar la opción de continuous  availability para Hyper-V o SQL vía SMB3.0

En caso de aprovechar una carpeta compartida ya existente habrá que habilitar continuous available mediante comandos:

• "vserver cifs share properties add -vserver CIFS_VOL1 -share-name VOL_VM1 -shareproperties continuously-available"

Ahora solo falta configurar que nuestros hosts Hyper-V apunten al directorio compartido de nuestro Clustered Ontap.

Configuración en Hyper-V

Para que las maquinas virtuales de nueva creacion trabajen contra el directorio compartido de nuestro Clustered Ontap es necesario cambiar en los valores por defecto de nuestro hypervisor el destino de las maquinas virtuales y sus discos.

A Partir de este momento ya podemos mover, clonar, copiar Maquinas con Hyper-V vía SMB 3.0 contra nuestro sistema de almacenamiento NetApp en Clustered Ontap y gracias a ODX cualquier operación de clonado o snapshot será nuestro sistema de almacenamiento quien trabaje liverando al hypervisor de este trabajo.

Cambiar Numero de Serie del Simulador de NetApp Clustered Ontap 8.2

Hola a todos,

Si queremos hacer pruebas con los sistemas de almacenamiento de NetApp podemos decargarnos los simuladores con todas las funcionalidades.

Al descargarnos el simulador a través de la Web de soporte de NetApp podemos escoger entre la version de 7-Mode o CDOT.

El problema que nos encontramos es que al instalar una pareja de nodos de Clusterded Ontap tenemos que cambiar el numero de serie para el segundo nodo porque el el simulador siempre tiene el mismo numeor de serie. Sino cambiamos el numero de serie no podremos introducir las licencias y no podremos aprovechar todas las funcionalidades de la solucion (SnapMirror, SnapManager, SnapRestore, SnapProtect, CIFS, NFS, ect...).

Primero tenemos que arrancar el primer nodo y ejecutar los siguientes parasos a través de la consola de WMware Workstation, Fusion o Player

• Esperaremos a que nos pregunte si queremos presionar CTRL+C y lo pulsamos para que entre en el boot menu.
• En las opciones que nos muestre seleccionaremos la numero 4 para reinizializar todos los discos.

Una vez el primer nodo esta preparado para el asistente de creacion del cluster arrancaremos nuestro segundo nodo y a través de la consola de WMware Workstation, Fusion o Player esperamos el siguiente mesaje.

• "Hit [Enter] to boot immediately, or any other for command prompt. Booting in 10 seconds..."
• Presionamos qualquier tecla y entraremos en la consola de comandos apareciendo VLOADER> donde escribiremos lo sigiente tal qual.

              setenv SYS_SERIAL_NUM 4034389-06-2
              setenv bootarg.nvram.sysid 4034389062
              boot

Para comprobar que los nuemeros de serie estan instalados de forma correcta ejecutaremos el comando "printenv" que nos mostrará todas las variables del sistema.

En cuanto arranque el segundo nodo deberemos inicializar los discos con  la opción 4 del boot menu.

En este punto ya podemos crear nuestro primer cluster con el simulador que nos proporciona NetApp.

Muchas gracias.

Configurar VAAI NetApp y VMWare

Para poder tener la funcionalidad de VAAI (vStorage APIs for Array Integration) en nuestro entorno de visualización lo primero que debemos consultar es la versión de VMWare, no todas las versiones de vSphere permiten la integración con VAAI y VASA.

http://www.vmware.com/products/vsphere/features/storage-api.html

VAAI nos permitirá una descarga de funciones hacia el Storage pudiendo optimizar operaciones como clonado, snapshots, creación de discos eageredzeroed, etc.

Para su configuración tanto en NetApp como en VMWare debemos tener presente lo siguiente:

VMWare

• ver si las siguientes opciones están habilitadas y con valor a 1, en caso de que el valor sea 0 hay que modificar el valor a 1.

           # esxcfg-advcfg -g /DataMover/HardwareAcceleratedInit
                                 Value of HardwareAcceleratedInit is 1
           # esxcfg-advcfg -g /VMFS3/HardwareAcceleratedLocking
                                 Value of HardwareAcceleratedLocking is 1

           # esxcfg-advcfg -g /DataMover/HardwareAcceleratedMove
                                 Value of HardwareAcceleratedMove is 1

• Descargar el pluguin de NetApp https://support.netapp.com
• Copiar el fichero .ZIP en los servidores ESXi con un cliente SFTP
• Instalar el plug-in de VAAI

           esxcli software vib install -n NetAppNasPlugin -d file:///NetAppNasPlugin.v18.zip

• reiniciar los servidores ESXi i comprobar en los datastores que aparece "supported" en la columna de "Hardware Acceleration"

NetApp

• Modificar el paramero NFS

                options nfs.vstorage.enable on