Windows. Distribuido red Red local básica de búsqueda de herramientas de alineación (W.ND-BLAST)

Basic Local Alignment Página de búsqueda (BLAST) responde a la pregunta: "¿Qué sabe secuencias de nucleótidos o aminoácidos en una secuencia de bases de datos existentes es más similar a un desconocido de entrada (query) secuencia?" BLAST fue originalmente destinados a la comparación de los nuevos y desconocidos Secuenciado secuencias genéticas contra la base de datos de secuencias anotadas para encontrar las secuencias con las que la más estrecha similitud biológica a la consulta [1, 2]. Muchos documentos describen el algoritmo de BLAST y conceptos para la búsqueda de similitud en detalle [1 - 3].

Con el advenimiento de alto rendimiento de las tecnologías de secuenciación, existe una cada vez mayor aportación de nuevos datos genéticos, que normalmente necesita ser evaluado utilizando BLAST. Como este volumen cada vez mayor de nuevos datos se analizaron mediante BLAST y, a continuación, las nuevas secuencias anotado posteriormente se añadirán a la base de datos pública, que a su vez sigue aumentando su tamaño. Se trata de un círculo vicioso, en el que los nuevos datos de la secuencia se genera en el aumento de las tasas y las bases de datos son cada vez mayores en tamaño. BLAST El proceso de búsqueda es, por lo tanto, adquiere cada vez más tiempo, la productividad cuello de botella en la genómica. En el ejemplo, un típico laboratorio de trabajo (2,4 Ghz procesador Pentium 4, 1 GB de memoria física, 60 GB de disco duro SATA) puede buscar una secuencia de consulta (800 bp) en contra de una copia local de NCBI http://www.ncbi.nlm. Nih.gov nucleótidos (nt) base de datos (320 millones de bp base de datos) en poco menos de 3 minutos. Así, un típico alto rendimiento BLAST búsqueda, en el que participan 10000 secuencias, puede tomar más de 20 días para completar en una sola estación de trabajo. Se trata de una cantidad excesiva de tiempo de espera de los resultados.

Existe una creciente necesidad de encontrar formas de reducir estos cuellos de botella BLAST productividad en la evaluación de nuevos datos de la secuencia. Uno de los enfoques más lógica es aumentar el rendimiento general de BLAST mediante la mejora de la escalabilidad, facilidad de uso y fiabilidad. Hay un creciente número de comerciales y no comerciales de varios paquetes de software que han sido desarrolladas (Tabla 1]. La evidente desventaja de los productos comerciales es muy alto precio. Por otra parte, no comercial y de libre acceso BLAST soluciones (Tabla 1] han demostrado aumentar el rendimiento de las grandes BLAST puestos de trabajo, pero requieren un alto nivel de conocimientos informáticos y la creación de redes de habilidades para que puedan ser utilizados de manera eficaz. Como ejemplos, WU-BLAST [3], establece un aumento espectacular en la velocidad y la eficiencia del algoritmo de BLAST en sí, pero actualmente no está disponible para entornos Windows, no tiene la capacidad inherente de distribución, y requiere a alguien con habilidad por encima de la media de ordenador a la configuración , El funcionamiento y el mantenimiento. Del mismo modo, MPI-BLAST [4], que es posiblemente el más popular y potente aplicación distribuida BLAST disponibles en la actualidad, distribuye a través de BLAST de Windows, basado en UNIX, o de redes heterogéneas y, sin embargo, necesidad de la expansión de las redes de habilidades, la falta de interfaces de usuario, y la baja Tolerancia a fallos pueden dar lugar a utilidad limitada para el usuario final promedio.

En última instancia el alto precio, la falta de facilidad de uso, u otros similares factor reduce la utilidad de la mayoría de las tecnologías disponibles para la mayoría de los científicos que podría realmente beneficiarse de tal alto rendimiento BLAST herramientas. Así, después de evaluar la disponibilidad de software libre, hemos identificado la necesidad dentro de la comunidad de investigación para un amplio conjunto de herramientas BLAST con un alto grado de facilidad de uso y funcionalidad. Hemos tratado de crear un completo conjunto de herramientas de Windows con las siguientes características:

• Utiliza el sistema operativo más común (2000)

• Utiliza Red de Área Local (LAN) en el marco de trabajo de Windows como un entorno distribuido

• Totalmente disponible para fines no comerciales y de uso académico.

• No requiere de la expansión de las redes, hardware o software habilidades para configurar y utilizar.

• GUI basado en el formato de bases de datos personalizadas desde cualquier archivo fasta

• GUI basado en la importación y distribución de las actuales bases de datos de BLAST (dependiente de la arquitectura)

• escaneo automático de LAN para Windows de trabajo que están disponibles y listos para ejecutarse WND-BLAST

• Capacidad para usuarios de los niños en los nodos de cancelar computacionalmente intensivas BLAST búsquedas sin perturbar la totalidad de puestos de trabajo si se requieren más recursos que se encuentran disponibles durante las búsquedas.

• Posibilidad de BLAST de múltiples FASTA archivo (solo archivo que contenga más de una secuencia fasta)

• Posibilidad de BLAST una carpeta que contiene múltiples archivos fasta única (una sola carpeta con varios archivos)

• Creación automática y gestión de los distintos proyectos en cualquier estación de trabajo en la red.

• Generación y visualización en tiempo real de BLAST archivos de registro para mostrar el rendimiento de la red y el progreso

• Los progresos en la mayoría de bares de tiempo funciones como la base de datos de formato grande y de alto rendimiento BLAST búsquedas

• Lógica de formato y visualización de resultados de búsqueda BLAST utilizando cualquiera de los campos disponibles (por ejemplo, poco puntaje, ganó a golpear, E-valor, etc)

• Exportadores de la costumbre anotado FASTA archivos que contengan cualquiera de los campos de datos BLAST de salida o entrada de datos manualmente.

• Exportadores de fasta archivos que contienen cualquier combinación de hits, "no encontrado", o "falsos éxitos".

• Posibilidad de forma manual y automática cura BLAST archivos de salida

• Indexación de archivos de entrada y salida relacionados con la anotación de una rápida curación de la base de datos intuitiva y manipulación de los datos y la cartografía, junto con otros experimentos.

• La instalación basada en GUI y fácil de seguir las instrucciones necesarias para la creación de carpetas compartidas en la red de Windows.

• Un archivo de ayuda útil.

La solución desarrollada para hacer frente a todas estas cuestiones ha sido nombrado W.ND-BLAST, que está a favor de Windows. NET Distribuida Básica Local Búsqueda de Herramientas de alineación.

El paquete fue escrito utilizando Microsoft Visual Studio. NET 2003 y C # como el principal lenguaje de programación. El software se basa en el uso de. NET 1,1 marco, que puede ser libremente descargado desde el sitio web de Microsoft http://www.microsoft.com.

W.ND-BLAST ha encapsulado el software BLAST NCBI http://www.ncbi.nlm.nih.gov incluidos blastall, formatdb y matrices de puntuación (es decir, Blosum62, PAM). W.ND-BLAST sólo requiere una base de datos de usuario y las secuencias de entrada para una correcta ejecución. W.ND-BLAST tiene la capacidad de ejecutar cualquiera de los sub-programas de blastall (es decir, blastx, tblastx, blastn etc).

El W.ND-BLAST guía se compone de varias soluciones de software integrado

• Panel de control de proyectos

• Motor de Base de datos

• Motor de BLAST

• W. ND explosión distribución algoritmo

• explosión de salida Viewer

• Anotación Motor

La red de trabajo de pruebas utilizados para la realización de pruebas se limita a la cantidad de los puestos de trabajo disponibles dentro de nuestras instalaciones (25 ventanas de trabajo). Todas las estaciones de trabajo tienen varias versiones de Microsoft Windows (por ejemplo, XP, 2000, 2003 server, y 98). Las estaciones de trabajo utilizadas en el proceso de prueba se detallan en la Tabla 2.

Diversas combinaciones de trabajo de parte de la red de prueba se utilizaron para probar la funcionalidad y fiabilidad de W.ND-BLAST. Para las pruebas de rendimiento, los tiempos de inicio de puestos de trabajo se registra automáticamente, así como el momento en que el trabajo haya terminado. Duración de los puestos de trabajo se calcula restando el software registró el tiempo desde el inicio de software registrada hora de finalización. Rendimiento de W.ND-BLAST fue probado con distintos números de las secuencias de entrada, la base de datos de tamaño, y el número de estaciones de trabajo. Dos tamaños de las bases de datos se utilizaron para probar la funcionalidad de W.ND-BLAST, un 332 MB (formato tamaño total), proteínas (para residir en la memoria física) y de 1,5 GB (formato tamaño total), la base de datos de nucleótidos (demasiado grande para residir en Memoria física). El principal racional para la realización de pruebas más amplio de la base de datos es que la mayor base de datos excede la capacidad de almacenamiento en caché de la memoria física y requiere de la computadora para acceder a disco. Además, las bases de datos más grandes son automáticamente segmentado por formatdb. Por esta razón, es necesario probar tanto el motor de base de datos y motor de BLAST sus habilidades en el manejo de grandes bases de datos y segmentado. La versión actual de W.ND-BLAST BLAST mejora la escalabilidad sólo mediante la distribución de puestos de trabajo a través de redes. Como se observa en la labor futura sección al final del manuscrito futuras versiones de W.ND-BLAST será más optimizados para mejorar el rendimiento en cada vez más grandes bases de datos utilizando la base de datos de particiones (segmentación) y la dinámica de las asignaciones de tareas (Calidad de Servicio de particionado). La base de datos más pequeña estaba poblada por secuencias de la proteína de manera BLASTx fue ejecutado. La mayor base de datos fue poblada por un subconjunto de los nucleótidos de la NCBI nt base de datos, por lo tanto, BLASTn fue ejecutado. Las actuales versiones de NCBI nt nr bases de datos NCBI y se pusieron a prueba para asegurar que el software es capaz de manejar bases de datos mucho más grandes. Por último, el común de todos los programas se pusieron a prueba BLAST (BLASTp, BLASTx, BLASTn, y tBLASTx) y encontró para llevar a cabo correctamente.

Al igual que con cualquier sistema distribuido, la tolerancia de fallas es siempre una cuestión clave. W.ND-BLAST muestra varias capas de la tolerancia de fallas. El primer nivel de tolerancia a fallos se consigue al permitir que el nodo maestro para asignar los puestos de trabajo y distintas a cada niño nodo. Porque los puestos de trabajo (cada secuencias) se envía de forma independiente el nodo maestro para cada niño nodo, si un nodo falla, sólo el único de la secuencia no se nodo de procesamiento en el momento de la falla se encuentra temporalmente perdido. La secuencia es, en última instancia perdió reasignarse a otro nodo por el capitán a fin de que no habrá datos faltantes. A diario se mantiene en el nodo maestro de todas las preguntas en la secuencia en la piscina (puestos de trabajo a la espera de ser ejecutados) y sus respectivos estatus. Cuando un resultado es recibida en el nodo maestro, la validez de los resultados está marcada, la secuencia se cambia a la condición de hecho en el registro, la secuencia y se elimina de la piscina. El nodo maestro sólo permiten la secuencia de permanecer en el estado de trabajo de un usuario se especifica cantidad de tiempo antes de regresar a la condición de no hacer. De este modo, los puestos de trabajo se estancó en los ganglios lento hacia el final de los grandes puestos de trabajo. Cuando un niño no se reinicia el nodo de la red, se emitió un mensaje a la maestra informándole de su regreso a la condición de listo. El maestro entonces le pide al usuario agregar u omitir este nodo a su trabajo nodos. Si el nodo maestro se cae (al reiniciarse del nodo maestro o de reiniciar el software), el trabajo puede ser reanudado en el punto de fallo y de todos los datos hasta ese momento se mantiene intacta. Todas las restantes secuencias de consulta en la secuencia de la piscina se reanudaría luego de la ejecución de los niños disponibles. La última capa de la tolerancia de fallas se produce al final de un gran BLAST trabajo cuando el software realiza una comprobación final de la integridad de los datos y se asegura de que todas las secuencias de entrada han generado una producción de calidad. Cualquier secuencia que no se generará un archivo de salida es automáticamente sometida a una segunda BLAST.

Eficiencia (calculada como porcentaje) fue utilizado con el fin de determinar la escalabilidad de W.ND-BLAST. La eficiencia se calculó mediante la ecuación siguiente:

E = [σ / (n * x)] * 100%.

Donde:

E = eficiencia, expresada en porcentaje.

Σ = tiempo para procesar un número determinado de secuencias (puestos de trabajo) en un único medio de la Clase E (Tabla 2] de trabajo.

N = Número de estaciones de trabajo que se está evaluando para un determinado punto de datos (por ejemplo, si 9 de trabajo se están probando n = 9). Esto no incluye el nodo maestro, que no realiza las consultas.

X = tiempo al proceso de trabajo en n de trabajo.

Figura 6 se dispone de datos para ilustrar la cuenta de ahorro de tiempo con el uso de W.ND-BLAST en un número cada vez mayor de estaciones de trabajo. Estos datos se obtuvieron mediante la realización de diversos BLASTx número de secuencias en contra de un 332 MB (formato tamaño) de la base de datos. La cifra indica una disminución en la cantidad de tiempo necesario para BLAST de los grandes archivos de entrada como el número de estaciones de trabajo se incrementa. W.ND-BLAST casi inversa exhibe una relación lineal entre el tiempo necesario para completar un determinado puesto de trabajo y el número de estaciones de trabajo utilizadas para este trabajo. Esta tendencia es muy evidente cuando se considera la figura 7, que muestra la eficacia de W.ND-BLAST como máquinas adicionales se añaden. Tenga en cuenta que el número de estaciones de trabajo estaba limitada a la disponibilidad de trabajo dentro de nuestro laboratorio y no podemos proyectar cómo el rendimiento de la red que afectan a esta relación lineal cada vez más cuando un gran número de estaciones de trabajo son utilizados. La Tabla 3 presenta los datos primarios para la realización de pruebas de puestos de trabajo como el tiempo en minutos.

Al realizar la prueba de 1500 utilizando una estación de trabajo sobre secuencias de la BLASTx tomó, en promedio, 662,68 min. En teoría, al aumentar el número de estaciones de trabajo por tres el tiempo debería disminuir en no más de 3 veces (220,89 minutos). El tiempo real, derivados de la Tabla 3, se midió en 222,67 minutos, que corresponden a un 99% la eficiencia de estrellas utilizando la ecuación 1. Con 6 el tiempo de trabajo debería ser teóricamente 110,33 minutos. El tiempo promedio efectivo fue alcanzado 109,12 minutos, lo que da una calificación de eficiencia mejor que el 100%. Esta tendencia también se puede apreciar cuando se duplica el número de estaciones de trabajo de 6 a 12. Es probable que esas eficiencias superiores al 100% pueden atribuirse a los efectos de la adición de nodos trabajador con un poco más de recursos (por ejemplo, la clase D) como parte de la piscina infantil nodo. Esto se debe a que la eficiencia se calcula en relación con la misma máquina, lo que se determine en nuestra Clase E nodos (Tabla 2].

Figura 7 muestra la secuencia tamaño de la muestra de eficiencia, expresada en porcentaje (Ecuación 1) cuando se trazan para todos los puntos de referencia. Estos datos demuestran que W.ND-BLAST es más eficiente cuando se utiliza un mayor número de secuencias de consulta. Las eficiencias de 15 y 17 de trabajo no se calculó porque los experimentos se vieron obligados a realizar en las estaciones de trabajo de mucho menor (clase F - I) o de mucho mayor capacidad de calcular el rendimiento (clase A). Sin embargo, los resultados utilizando estos terminales adicionales ilustrar la escalabilidad y se incluyen en la Tabla 3. Cuadro 4 muestra los resultados de BLAST aún mayor escalabilidad utilizando las bases de datos (1,5 GB) que indica que W.ND-BLAST puede acomodar y hacer más eficiente tan intensa búsqueda en bases de datos. Como última prueba de operatividad hemos obtenido y probado W.ND-BLAST en plena 12-15-04 y segmentada de las dos versiones NCBI nr nt y las bases de datos y encontró que era fácil de utilizar incluso en condiciones de muy grandes bases de datos (datos no presentados).

W.ND-BLAST de trabajo permite al fracaso, se apaga o se enciende durante puestos de trabajo. Es fácilmente adaptados por la reorientación de las preguntas no, la adición de nuevos de trabajo, o no hacer caso omiso de trabajo. Incluso cuando el nodo maestro se apagará durante la prueba y, aunque el trabajo no progreso, W.ND-BLAST pudo continuar el trabajo en el punto de fracaso, una vez que el nodo maestro fue reiniciado.

W.ND-BLAST se diseñó como una de fácil aplicación de software distribuido BLAST. Para grandes bases de datos, como las versiones actuales de nr nt o de NCBI hay una inherente disminución de la eficiencia del algoritmo de BLAST, tal como se describe en la introducción. Mediante la distribución de las tareas entre las computadoras todavía W.ND-BLAST reduce el tiempo que se necesita para realizar búsquedas en bases de datos de cualquier tamaño (en proporción al número de nodos utilizados trabajador), pero no mejora la eficiencia del algoritmo de BLAST. Con herramientas como MPI-BLAST [4], que utiliza una base de datos de la segmentación del sistema, de las consultas en contra de las grandes bases de datos son más eficientes. Como se señala en la sección siguiente sobre la labor futura evolución de la próxima W.ND-BLAST incluirá una base de datos de la segmentación del sistema que mejorará de manera espectacular la eficiencia general en las bases de datos cada vez más grandes.

En la versión actual de W.ND-BLAST existe es la incapacidad de los programas informáticos para manejar simultáneamente múltiples proyectos procedentes de un único nodo maestro. Sin embargo en las grandes redes de múltiples instancias del software se pueden ejecutar simultáneamente, de manera que aparte maestro se activan los procesos de trabajo y de los diferentes nodos son la partición de los trabajadores entre puestos de trabajo. Este proceso permite potencialmente a más de un científico a estar utilizando el software en la misma red.

W.ND-BLAST software es capaz de efectuar una BLAST localmente en el nodo maestro solo (BLAST local), pero no está en condiciones de BLAST en el nodo maestro, en el desempeño de BLAST distribuido. Esto significa que el número de máquinas distribuidas por BLAST es siempre n-1 si el nodo maestro se cuenta. Cabe señalar que todos los cálculos sobre la base de tiempo en este trabajo no se cuentan el nodo maestro. W.ND-BLAST en el nodo maestro distribuye las tareas, coordina y elabora los resultados.

Por último, hay una falta de capacidad en la versión actual de utilizar más de un procesador en máquinas multi-procesador. En futuras versiones de esta función será de nuevo como una función.

Hay varias áreas en las que W.ND-BLAST se beneficiarían de la labor futura. En primer lugar, W.ND-BLAST prevé la suficiente tolerancia a fallos cuando el nodo maestro falla, pero la aplicación de una sombra maestro sería el más eficiente Además del algoritmo. La sombra maestro actuaría como un clon para el nodo maestro, y en caso de que no la sombra continuará la ejecución de la aplicación. Si el nodo maestro falla, la aplicación actual no reanudaría hasta que el usuario regresó al maestro de trabajo para reiniciarlo. Con una sombra maestro, el software seguirá. En segundo lugar, una de las más dramáticas mejoras en el rendimiento previsto en el W.ND-BLAST aplicación será el desarrollo de una base de datos similar a la segmentación del sistema MPI-BLAST [4]. Teniendo en cuenta la eficiencia de W.ND-BLAST bases de datos más pequeñas en una segmentación sistema debería proporcionar un mayor aumento de la eficiencia en las grandes bases de datos, como las versiones actuales de nr o nt. Este aumento de rendimiento se basa fundamentalmente en la capacidad de un determinado nodo designado para mantener un segmento (trozo pequeño), de grandes bases de datos en su memoria para que no sea superior a la física y la capacidad de la memoria permitiendo que el caché de archivos de bases de datos en la memoria Después de la primera búsqueda. Esto impide la escritura en el disco excesiva carga adicional a las porciones de la base de datos. En lugar de segmentar la base de datos de un nodo se suelen buscar todas las secuencias en contra de su propia pequeña pieza de la base de datos y devolver los resultados al maestro a ser compilado. En tercer lugar, varios niveles de calidad de servicio (QoS) se llevará a cabo dentro del sistema de W.ND-BLAST. La implementación actual sólo permite a los usuarios remotos (usuarios en nodos) para poner fin a la aplicación si es necesario. Los esfuerzos futuros permitirá al usuario en el nodo o trabajador en el nodo maestro para disminuir la cantidad de uso de la CPU es BLAST asignado en cada nodo de un nodo por nodo. QoS también se aplicarán en relación con la disponibilidad o falta de disponibilidad de espacio en disco en los nodos hijo. En el ejemplo, si el niño nodo no es capaz de celebrar la base de datos que puede ser señalado automáticamente o de forma manual el acceso asignados a un fichero compartir base de datos.

BLAST es uno de los más utilizados en aplicaciones de la biología moderna, incluyendo la genómica, la microbiología y la biología molecular en general. Su importancia puede ser demostrado en las miles de publicaciones que se refieren a su uso cada año. En la ciencia, cuando esta es una herramienta importante, el siguiente paso lógico es el de mejorar su funcionalidad (facilidad de uso). WND-BLAST proporciona esta con su instalación sin complicaciones y las interfaces de usuario intuitivas. Asimismo, cuando esta es una herramienta ampliamente utilizada surge la necesidad de mejorar el rendimiento. WND-BLAST realiza por este modo que el usuario pueda distribuir BLAST puestos de trabajo de una sola estación de trabajo a todos los recursos informáticos disponibles sin necesidad de un servidor de clase de máquina. WND-BLAST proporciona a la comunidad de investigadores con una visión más general, tolerancia a fallos, de fácil uso, confiable y eficiente de herramientas de tiempo para realizar consultas BLAST distribuido a través de redes basadas en Windows. W.ND-BLAST 's de salida y visor anotador también proporcionan al usuario un alto rendimiento método para el análisis, el proceso y los resultados de exportación BLAST en una manera bien organizada.

WND-BLAST puede ser descargado gratuitamente desde la página web http://liru.ars.usda.gov/mainbioinformatics.html. WND-BLAST requiere Windows 2 k o superior con el. NET 1,1 marco instalado. Como se mencionó anteriormente, WND-BLAST fue escrito utilizando Microsoft Visual Studio. NET 2003 utilizando C #. El WND-BLAST software se proporciona "tal cual" sin ninguna garantía o garantía de ninguna clase. El WND-BLAST software está disponible para todos los usos no comerciales. Cualquier otro uso de este software requiere de un permiso especial de la autora principal.

La mención de nombres comerciales o productos comerciales en esta publicación es únicamente con el fin de proporcionar información específica y no implica la recomendación ni aceptación de los EE.UU. del Departamento de Agricultura.

SD concebido el proyecto, elaborado el algoritmo W.ND-BLAST, diseñado la funcionalidad de cada uno de los aspectos del software, y muy pronto las versiones editadas y proyectos finales del manuscrito; JZ codificada mucho el software y escribió la primera versión del manuscrito ; MO ayudó con las pruebas, la búsqueda de bugs en el software, y la edición de la primera versión del manuscrito; JR asistida con todas codificación de los programas informáticos; PP colaboró en la escritura manuscrita y las pruebas del software.