La computación grid
Es una tecnología innovadora que permite utilizar de forma coordinada todo tipo de recursos (entre ellos cómputo, almacenamiento y aplicaciones específicas) que no están sujetos a un control centralizado. En este sentido es una nueva forma de computación distribuida, en la cual los recursos pueden ser heterogéneos (diferentes arquitecturas, supercomputadores, clusters...) y se encuentran conectados mediante redes de área extensa (por ejemplo Internet). Desarrollado en ámbitos científicos a principios de los años 1990, su entrada al mercado comercial siguiendo la idea de la llamada Utility computing supone una importante revolución.El término grid se refiere a una infraestructura que permite la integración y el uso colectivo de ordenadores de alto rendimiento, redes y bases de datos que son propiedad y están administrados por diferentes instituciones.
En la computación grid, las redes pueden ser vistas como una forma de computación distribuida donde un “supercomputador virtual” está compuesto por una serie de computadores agrupados para realizar grandes tareas.
¿Qué es?
Llamamos grid al sistema de computación distribuido que permite compartir recursos no centrados geográficamente para resolver problemas de gran escala. Los recursos compartidos pueden ser ordenadores (PC, estaciones de trabajo, supercomputadoras, PDA, portátiles, móviles, etc), software, datos e información, instrumentos especiales (radio, telescopios, etc.) o personas/colaboradores.La computación grid ofrece muchas ventajas frente a otras tecnologías alternativas. La potencia que ofrece multitud de computadores conectados en red usando grid es prácticamente ilimitada, además de que ofrece una perfecta integración de sistemas y dispositivos heterogéneos, por lo que las conexiones entre diferentes máquinas no generarán ningún problema. Se trata de una solución altamente escalable, potente y flexible, ya que evitarán problemas de falta de recursos (cuellos de botella) y nunca queda obsoleta, debido a la posibilidad de modificar el número y características de sus componentes.
Estos recursos se distribuyen en la red de forma transparente pero guardando unas pautas de seguridad y políticas de gestión de carácter tanto técnico como económico. Así pues, su objetivo será el de compartir una serie de recursos en la red de manera uniforme, segura, transparente, eficiente y fiable, ofreciendo un único punto de acceso a un conjunto de recursos distribuidos geográficamente en diferentes dominios de administración. Esto nos puede llevar a pensar que la computación Grid permite la creación de empresas virtuales. Es importante saber que una grid es un conjunto de maquinas distribuidas que ayudan a mejorar el trabajo sobre software pesados.
Historia
El término computación grid tiene su origen en el comienzo de los años noventa como una metáfora para hacer que el acceso a la potencia de los computadores sea tan sencillo como acceder a una red eléctrica. La metáfora de la red eléctrica para el computación accesible en seguida se volvió canónica cuando Ian Foster y Carl Kesselman publicaron su trabajo seminal, “The Grid: Blueprint for a new computer infrastructure” (1999).Las ideas de grid (incluidas aquellas de la computación distribuida, programación orientada a objetos y servicios Web) fueron reunidas por Ian Foster, Carl Kesselman, y Steve Tuecke, conocidos como los “padres de la grid”.1 Lideraron el esfuerzo por la creación del Globus Toolkit incorporando no sólo la gestión de la computación, sino también la gestión del almacenamiento, aprovisionamiento de seguridad, traslado de datos, monitorización, y un conjunto de herramientas para el desarrollo de servicios adicionales basados en la misma infraestructura, incluyendo la negociación de los acuerdos, mecanismos de notificación, servicios de activación y agregación de información. Mientras que Globus Toolkit se mantiene como el estándar de facto para soluciones de creación de redes, otras herramientas han sido creadas para responder a una serie de servicios necesarios para crear una red empresarial o global.
En 2007, el término computación en la nube se hizo popular, lo cual es conceptualmente similar a la definición canónica de Foster de la computación grid (en términos de recursos de computación consumidos tal como la electricidad en una red eléctrica).
Actualidad
Existen muchos proyectos que han sido desarrollados en esta línea, tales como Edonkey, Emule o Limewire. Se trata de programas para compartir datos a nivel mundial entre diferentes máquinas. Las grid y Peer-to-peer (P2P) tienen mucho en común y especialmente la idea básica de compartición de recursos. Entre las características diferentes podemos ver la P2P como más anónima y generalizada en ordenadores de usuarios de Internet, mientras que las grids nacen de una estructura de nodos más controlada y jerarquizada en centros científicos. Una primera experiencia fue GriPhyN, para unir nodos en el proceso de físicas de altas energías en Estados Unidos.Otro proyecto también muy importante es SETI@home. Éste cuenta con miles de PC repartidos por Internet que ceden tiempo de sus procesadores, ciclos de proceso desocupados, para analizar señales buscando patrones inteligentes extraterrestres. Sin embargo, su uso destaca también en los centros de investigación desde finales del 1990en proyectos que van desde Física de Partículas a Astrofísica o incluso Biología. En Europa con el apoyo de proyectos de CERN (Centro Europeo Investigación Nuclear) y el programa marco europeo se creó el software y red EDG (grid de datos europea). El uso de la computación grid en estos campos ha supuesto una mejora exponencial en los últimos años.
Existen varias soluciones comerciales en forma de empresas, por ejemplo:
La Enterprise Grid Alliance (EGA):
se crea en California, en abril de 2004, por un grupo de empresas líderes en tecnología para desarrollar soluciones comerciales-empresariales de informática distribuida y para acelerar el despliegue de esta tecnología en las empresas. Es un consorcio abierto enfocado en el desarrollo y promoción de soluciones de mallas empresariales.
Sun Microsystems:
el software Grid Engine de Sun hace más fácil agregar máquinas al grid y automáticamente toma ventaja de la energía incrementada, por lo que ahorra tiempo y recursos a través de un grid rápido, eficiente y confiable para el manejo y despliegue.
el software JPPF habilita las aplicaciones con altos requerimientos de procesamiento para ser ejecutadas en varias computadoras con diferentes características (heterógeneas)gracias a su arquitectura basada en Java, de manera escalable(agregando o disminuyendo computadoras participantes) de manera dinámica, distribuyendo la aplicación en tareas(jobs).
Existen diversos middleware con capacidades y funcionalidades muy variadas que, en función de la complejidad, servicios ofrecidos y dimensión de la red grid a implantar, se seleccionará la opción idónea. Las soluciones middleware, todas ellas de código abierto, utilizadas (por ejemplo por Andago) son: EGEE para grandes proyectos, Globus Solutions para proyectos medios, Grid Engine para pequeñas implantaciones.
Utility computing se refiere al aprovisionamiento de computación grid y aplicaciones como servicio tanto como una utilidad de grid abierta o una solución de hospedaje para una organización u organización virtual (VO). Los principales competidores en el marcado de utility computing son Sun Microsystems, IBM y HP.
Las aplicaciones habilitadoras de grid son aplicaciones de software específicas que pueden utilizar la infraestructura grid. Esto es posible mediante el uso del middleware grid, como mencionábamos anteriormente.
El software como servicio (SaaS) es un “software que se posee, provee y se gestiona remotamente por uno o más proveedores” (Gartner 2007). Adicionalmente, las aplicaciones SaaS se basan en un solo set de código común y definiciones de datos. Son consumidos en un modelo one-to-many, y utiliza un modelo Pay As You Go (PAYG) o un modelo de suscripción que se basa en el uso. Los proveedores de SaaS no son necesariamente dueños de los suministros de computación, los cuales son requeridos para ejecutar su SaaS. El mercado de utility computing provee de suministros de computación para los proveedores de SaaS.
Alta disponibilidad. con la nueva funcionalidad, si un servidor falla, se reasignan los servicios en los servidores restantes;
Reducción de costes: con esta arquitectura los servicios son gestionados por "granjas de recursos". Ya no es necesario disponer de "grandes servidores" y podremos hacer uso de componentes de bajo coste. Cada sistema puede ser configurado siguiendo el mismo patrón;
Se relaciona el concepto de grid con la nueva generación del protocolo IP. El nuevo protocolo de Internet IPv6 permitirá trabajar con una Internet más rápida y accesible. Una de las ideas clave en la superación de las limitaciones actuales de Internet IPv4 es la aparición de nuevos niveles de servicio que harán uso de la nueva capacidad de la red para intercomunicar los ordenadores.
Este avance en la comunicación permitirá el avance de las ideas de grid computing al utilizar como soporte la altísima conectividad de Internet. Es por ello que uno de los campos de mayor innovación en el uso del grid computing, fuera de los conceptos de supercomputación, es el desarrollo de un estándar para definir los Grid Services frente a los actuales Web Services.
Recursos heterogéneos: la computación grid debe ser capaz de poder manejar cualquier tipo de recurso que maneje el sistema, si no resultará totalmente inútil.
Descubrimiento, selección, reserva, asignación, gestión y monitorización de recursos son procesos que deben controlarse externamente y que influyen en el funcionamiento del grid.
Necesidad de desarrollo de aplicaciones para manejar el grid, así como desarrollo de modelos eficientes de uso.
Comunicacion lenta y no uniforme.
Organizativos: dominios de administración, modelo de explotación y costes, política de seguridad...
Económicos: precio de los recursos, oferta/demanda
El World Wide Web proporciona un acceso transparente a información que está almacenada en millones de ordenadores repartidos por todo el mundo. Frente a ello, el grid es una infraestructura nueva que proporciona acceso transparente a potencia de cálculo y capacidad de almacenamiento distribuida por una organización o por todo el mundo.
Los requisitos que debe cumplir cualquier grid son:
Los datos deben compartirse entre miles de usuarios con intereses distintos. Se deben enlazar los centros principales de supercomputación, no sólo los PC. Se debe asegurar que los datos sean accesibles en cualquier lugar y en cualquier momento. Debe armonizar las distintas políticas de gestión de muchos centros diferentes. Debe proporcionar seguridad.
Y los beneficios que se obtienen:
Proporciona un mecanismo de colaboración transparente entre grupos dispersos, tanto científicos como comerciales.
Posibilita el funcionamiento de aplicaciones a gran escala.
Facilita el acceso a recursos distribuidos desde nuestros PC.
Todos estos objetivos y beneficios se engloban en la idea de "e-Ciencia".
Estos beneficios tendrán repercusión en muchos campos:
Medicina (imágenes, diagnosis y tratamiento).
Bioinformática (estudios en genómica y proteómica).
Nanotecnología (diseño de nuevos materiales a escala molecular).
Ingeniería (diseño, simulación, análisis de fallos y acceso remoto a instrumentos de control).
Recursos naturales y medio ambiente (previsión meteorológica, observación del planeta, modelos y predicción de sistemas complejos).
La tecnología derivada del grid abre un enorme abanico de posibilidades para el desarrollo de aplicaciones en muchos sectores. Por ejemplo: desarrollo científico y tecnológico, educación, sanidad, y administración pública.
Existen también algunas diferencias en la programación y el despliegue. La escritura de programas que se ejecuten en el entorno de un supercomputador puede resultar costosa y compleja, la cual puede tener un sistema operativo personalizado, o requerir de un programa para lidiar con los problemas de concurrencia. Si se puede paralelizar un problema adecuadamente, una capa “delgada” de infraestructura “grid” puede permitir que programas convencionales e independientes se ejecuten en múltiples máquinas. Esto hace posible escribir y depurar sobre una sola máquina convencional, y elimina complicaciones debidas a múltiples instancias de un mismo programa ejecutándose en la misma memoria compartida y espacio de almacenamiento simultáneamente.
Supercomputadores virtuales más rápidos
Abril de 2013, Folding@home – 11.4 x86-equivalente (5.8 "nativo") PFLOPS.
Marzo de 2013, BOINC – procesando de media 9.2 PFLOPS.
Abril de 2010, MilkyWay@Home computa sobre los 1.6 PFLOPS, con una gran cantidad de trabajo que recae sobre GPUs.
Abril de 2010, SETI@Home computa medias de datos superiores a los 730 TFLOPS.
Abril de 2010, Einstein@Home trabajando a más de 210 TFLOPS.
Junio de 2011, GIMPS procesa 61 TFLOPS.
Se trata de un paradigma computacional en fase de desarrollo actualmente que ya ofrece servicios a muchos campos de investigación y que en el futuro tendrá una mayor influencia si cabe en dichos campos, al gozar de una estructura evolucionada respecto a la actual, con mayor robustez, mucho más rápida en cuanto a la comunicación entre sus equipos y, obviamente, con una mayor capacidad computacional de cada máquina debido a la evolución en términos de procesamiento y de rendimiento del hardware.
Andago:
con el objetivo de acercar la tecnología grid a los entornos industriales y de negocio, Andago añadió a su oferta de soluciones su experiencia en proyectos Grid.JPPF:
el software JPPF habilita las aplicaciones con altos requerimientos de procesamiento para ser ejecutadas en varias computadoras con diferentes características (heterógeneas)gracias a su arquitectura basada en Java, de manera escalable(agregando o disminuyendo computadoras participantes) de manera dinámica, distribuyendo la aplicación en tareas(jobs).
Existen diversos middleware con capacidades y funcionalidades muy variadas que, en función de la complejidad, servicios ofrecidos y dimensión de la red grid a implantar, se seleccionará la opción idónea. Las soluciones middleware, todas ellas de código abierto, utilizadas (por ejemplo por Andago) son: EGEE para grandes proyectos, Globus Solutions para proyectos medios, Grid Engine para pequeñas implantaciones.
Segmentación del mercado en la computación grid
Para la segmentación del mercado de la computación grid, hemos de considerar dos perspectivas: la parte del proveedor y la parte del usuario.La parte del proveedor
La totalidad del mercado grid abarca múltiples mercados específicos. Estos son el mercado del middleware grid, el mercado de aplicaciones habilitadoras de grid, el mercado deutility computing y el mercado del software como servicio (SaaS). El middleware grid es un producto software específico, el cual permite la compartición de recursos heterogéneos y organizaciones virtuales. Se instala e integran en la infraestructura existente de la compañía o las compañías involucradas, y provee de una capa especial situada sobre la infraestructura heterogénea y las aplicaciones específicas de usuario. Los principales middleware grid son Globus Toolkit, gLite y UNICORE.Utility computing se refiere al aprovisionamiento de computación grid y aplicaciones como servicio tanto como una utilidad de grid abierta o una solución de hospedaje para una organización u organización virtual (VO). Los principales competidores en el marcado de utility computing son Sun Microsystems, IBM y HP.
Las aplicaciones habilitadoras de grid son aplicaciones de software específicas que pueden utilizar la infraestructura grid. Esto es posible mediante el uso del middleware grid, como mencionábamos anteriormente.
El software como servicio (SaaS) es un “software que se posee, provee y se gestiona remotamente por uno o más proveedores” (Gartner 2007). Adicionalmente, las aplicaciones SaaS se basan en un solo set de código común y definiciones de datos. Son consumidos en un modelo one-to-many, y utiliza un modelo Pay As You Go (PAYG) o un modelo de suscripción que se basa en el uso. Los proveedores de SaaS no son necesariamente dueños de los suministros de computación, los cuales son requeridos para ejecutar su SaaS. El mercado de utility computing provee de suministros de computación para los proveedores de SaaS.
La parte del usuario
Para compañías que lo demandan o usuarios del mercado de la computación grid, los diferentes segmentos tienen implicaciones significativas para su estrategia de despliegue de TI. La estrategia de despliegue de TI así como el tipo de inversiones de TI hechas son aspectos relevantes para usuarios de grid potenciales y juegan un papel importante en la adopción del grid.Características
Capacidad de balanceo de sistemas: no habría necesidad de calcular la capacidad de los sistemas en función de los picos de trabajo, ya que la capacidad se puede reasignar desde la granja de recursos a donde se necesite;Alta disponibilidad. con la nueva funcionalidad, si un servidor falla, se reasignan los servicios en los servidores restantes;
Reducción de costes: con esta arquitectura los servicios son gestionados por "granjas de recursos". Ya no es necesario disponer de "grandes servidores" y podremos hacer uso de componentes de bajo coste. Cada sistema puede ser configurado siguiendo el mismo patrón;
Se relaciona el concepto de grid con la nueva generación del protocolo IP. El nuevo protocolo de Internet IPv6 permitirá trabajar con una Internet más rápida y accesible. Una de las ideas clave en la superación de las limitaciones actuales de Internet IPv4 es la aparición de nuevos niveles de servicio que harán uso de la nueva capacidad de la red para intercomunicar los ordenadores.
Este avance en la comunicación permitirá el avance de las ideas de grid computing al utilizar como soporte la altísima conectividad de Internet. Es por ello que uno de los campos de mayor innovación en el uso del grid computing, fuera de los conceptos de supercomputación, es el desarrollo de un estándar para definir los Grid Services frente a los actuales Web Services.
Desventajas
No obstante, la computación grid presenta algunos inconvenientes que deben solucionarse. Estos problemas son:Recursos heterogéneos: la computación grid debe ser capaz de poder manejar cualquier tipo de recurso que maneje el sistema, si no resultará totalmente inútil.
Descubrimiento, selección, reserva, asignación, gestión y monitorización de recursos son procesos que deben controlarse externamente y que influyen en el funcionamiento del grid.
Necesidad de desarrollo de aplicaciones para manejar el grid, así como desarrollo de modelos eficientes de uso.
Comunicacion lenta y no uniforme.
Organizativos: dominios de administración, modelo de explotación y costes, política de seguridad...
Económicos: precio de los recursos, oferta/demanda
Ventajas y requisitos
En definitiva, grid supone un avance respecto a la World Wide Web:El World Wide Web proporciona un acceso transparente a información que está almacenada en millones de ordenadores repartidos por todo el mundo. Frente a ello, el grid es una infraestructura nueva que proporciona acceso transparente a potencia de cálculo y capacidad de almacenamiento distribuida por una organización o por todo el mundo.
Los requisitos que debe cumplir cualquier grid son:
Los datos deben compartirse entre miles de usuarios con intereses distintos. Se deben enlazar los centros principales de supercomputación, no sólo los PC. Se debe asegurar que los datos sean accesibles en cualquier lugar y en cualquier momento. Debe armonizar las distintas políticas de gestión de muchos centros diferentes. Debe proporcionar seguridad.
Y los beneficios que se obtienen:
Proporciona un mecanismo de colaboración transparente entre grupos dispersos, tanto científicos como comerciales.
Posibilita el funcionamiento de aplicaciones a gran escala.
Facilita el acceso a recursos distribuidos desde nuestros PC.
Todos estos objetivos y beneficios se engloban en la idea de "e-Ciencia".
Estos beneficios tendrán repercusión en muchos campos:
Medicina (imágenes, diagnosis y tratamiento).
Bioinformática (estudios en genómica y proteómica).
Nanotecnología (diseño de nuevos materiales a escala molecular).
Ingeniería (diseño, simulación, análisis de fallos y acceso remoto a instrumentos de control).
Recursos naturales y medio ambiente (previsión meteorológica, observación del planeta, modelos y predicción de sistemas complejos).
La tecnología derivada del grid abre un enorme abanico de posibilidades para el desarrollo de aplicaciones en muchos sectores. Por ejemplo: desarrollo científico y tecnológico, educación, sanidad, y administración pública.
Comparación entre las grid y los supercomputadores convencionales
La computación “distribuida” o “grid”, en general, es un tipo especial de computación paralela que se basa en computadores completos (con CPUs, almacenamiento, fuentes de alimentación, interfaces de red, etc.) conectados a una red (privada, pública o Internet) por una interfaz de red convencional aportando un hardware sencillo, en comparación al diseño y construcción de baja eficiencia de un pequeño número de supercomputadores personalizados. La principal desventaja en cuanto a rendimiento es que los diversos procesadores y áreas locales de almacenamiento no tienen conexiones de alta velocidad. Esta composición es apropiada para aplicaciones donde pueden tener lugar múltiples computaciones paralelas independientemente, sin la necesidad de comunicar resultados inmediatos entre procesadores.Existen también algunas diferencias en la programación y el despliegue. La escritura de programas que se ejecuten en el entorno de un supercomputador puede resultar costosa y compleja, la cual puede tener un sistema operativo personalizado, o requerir de un programa para lidiar con los problemas de concurrencia. Si se puede paralelizar un problema adecuadamente, una capa “delgada” de infraestructura “grid” puede permitir que programas convencionales e independientes se ejecuten en múltiples máquinas. Esto hace posible escribir y depurar sobre una sola máquina convencional, y elimina complicaciones debidas a múltiples instancias de un mismo programa ejecutándose en la misma memoria compartida y espacio de almacenamiento simultáneamente.
Supercomputadores virtuales más rápidos
Abril de 2013, Folding@home – 11.4 x86-equivalente (5.8 "nativo") PFLOPS.
Marzo de 2013, BOINC – procesando de media 9.2 PFLOPS.
Abril de 2010, MilkyWay@Home computa sobre los 1.6 PFLOPS, con una gran cantidad de trabajo que recae sobre GPUs.
Abril de 2010, SETI@Home computa medias de datos superiores a los 730 TFLOPS.
Abril de 2010, Einstein@Home trabajando a más de 210 TFLOPS.
Junio de 2011, GIMPS procesa 61 TFLOPS.
Últimos apuntes
En definitiva, nos encontramos ante un paradigma de computación distribuida altamente versátil, escalable y que permite combinar la potencia de muchos equipos para lograr una capacidad global prácticamente ilimitada. Sus principales inconvenientes provienen de la dificultad para sincronizar los procesos de todos estos equipos, monitorizando recursos, asignando cargas de trabajo y estableciendo políticas de Seguridad informática fiables.Se trata de un paradigma computacional en fase de desarrollo actualmente que ya ofrece servicios a muchos campos de investigación y que en el futuro tendrá una mayor influencia si cabe en dichos campos, al gozar de una estructura evolucionada respecto a la actual, con mayor robustez, mucho más rápida en cuanto a la comunicación entre sus equipos y, obviamente, con una mayor capacidad computacional de cada máquina debido a la evolución en términos de procesamiento y de rendimiento del hardware.
