Los datos masivos que encontramos en la Big Data son la base de cualquier sistema informático del momento y las empresas buscan con desesperación expertos que puedan analizar y convertir toda esa información en soluciones para sus problemas y poder tomar la decisión comercial correcta. Sin embargo, actualmente se vive una crisis de talento, ya que las empresas tienen dificultad para encontrar y contratar el talento que necesitan para cubrir sus vacantes en torno a manejar la Big Data. El Arquitecto de Big Data (Big Data Architect) es uno de los más solicitados y difíciles de encontrar, pero para comenzar hablar de ellos y las habilidades que se requieren para convertirse uno comenzaremos explicando sobre su rama de trabajo.
¿QUÉ ES LA AQUITECTURA DE DATOS?
Es un proceso que consiste en estudiar y crear métodos de análisis no convencionales para los grandes volúmenes de datos. Se deben diseñar esquemas personalizados de trabajo y estructuras de información para poder valorar esa gran cantidad de bases de información que necesita cada empresa. Esto se hace con ayuda de diferentes herramientas de Software para poder lograr un adecuado almacenamiento, gestión y tratamiento de los datos.
¿QUÉ HACE UN BIG DATA ARCHITECT?
Los Arquitectos de Big Data se encargan de diseñar sistemas de procesamiento de datos (arquitectura tecnológica) a cada negocio especifico, sistemas que sean capaces de soportar todo el proceso de la Big data como la recopilación de datos, lectura de información, salida y presentación de resultados. Ellos necesitan conocer muy bien el negocio y sector para el que trabajan para poder construir un plan de datos adecuado, igualmente deben tener un amplio conocimiento de las nuevas tecnologías, porque deben saber la relación entre ellas y la manera de combinarlas para poder resolver de manera eficaz cualquier problema relacionado con datos.
¿POR QUÉ ES TAN IMPORTANTE Y COTIZADA ÉSTA PROFESIÓN?
Es indispensable que cada empresa logre tener una buena arquitectura de datos, que este centrada y alineada con sus objetivos principales, para que de ese modo, los Científicos de datos puedan trabajar con información relevante y datos confiables. Sabemos que la manera tan rápida en que evolucionan las tecnologías que se aplican a procesos empresariales, hacen que se produzca un importante diferencia entre los profesionales preparados para ellos y los perfiles que buscan las empresas, todo esto hace que sea necesario una constante capacitación profesional y reorientación de la formación que se tiene. Los Big Data Architect se mantiene a la vanguardia de las nuevas tecnologías y contantemente amplían sus conocimientos es por ese motivo que se vuelven el profesional más cotizado dentro del sector IT, especialmente aquellos que cuentan con la experiencia suficiente, ya que por el momento no hay muchos.
Ahora bien, sabiendo ya para qué sirve la Arquitectura de datos y qué papel desempeñan los Big Data Architects, explicaremos ahora cuáles son esas principales habilidades que estos deben tener para desempeñar su profesión:
- CONOCIMIENTO DE NUEVAS TECNOLOGÍAS: Como lo dijimos anteriormente, los Big Data Architects se destacan por ser pioneros en el conocimiento de las nuevas tecnologías, esto les ayudará a mantenerse a la vanguardia e igualmente debe ser capaz de implementarlas e integrarlas en sus sistemas de arquitectura de datos. Entre las tecnologías de datos más reciente encontramos algunas como Hadoop, MapReduce, HBase, oozie, Flume, MongoDB, Cassandra y Pig, se debe tener el conocimiento y la experiencia necesaria para poderlas implementar de manera óptima y eficiente.
- DISEÑAR SISTEMAS DE RECOGIDA: Su función principal será la de poder diseñar un sistema optimo y personalizado en el que cada compañía pueda realizar el procesamiento de datos. Además de diseñar sistemas y modelos para el almacenamiento y el tratamiento de los datos en función del volumen, veracidad y velocidad de los mismos.
- IDENTIFICACIÓN DEL ORIGEN DE LOS DATOS: Deben cerciorarse de ir a la fuente e identificar cuáles son los sistemas que van a proporcionar los datos para poder reunirlos en categorías y separarlos dependiendo del tipo al que pertenezcan. Este paso es fundamental ya que será el que nos guiará sobre cómo será la arquitectura global de los datos que se pondrá en marcha en la empresa. Además de ayudarnos identificar las fuentes externas e internas, planear qué cantidad de datos se va obtener de cada una y el mecanismo que usaremos para obtener la información, entre otras.
- ESTABLECER UN ADECUADO ALMACENAMIENTO DE DATOS: El arquitecto de Big Data es la persona responsable en establecer cómo, cuándo y dónde se va a realizar el almacenamiento de datos (Ver Blog: Big data y analítica de datos: afrontando retos en sistemas de almacenamiento a escala petabyte). Debe estar preparado para almacenar grandes volúmenes de información y lograr que se puedan actualizar de forma diaria dependiendo de los requisitos de la empresa. Encontramos dos opciones que pueden escoger para este objetivo: la primera es el almacenamiento sincrónico que consiste en analizar la información siempre en tiempo real o con un lapso pequeño en el tiempo de espera, la segunda es el almacenamiento asincrónico, la cual es donde se recogen los datos y se analizan después en bloques.
- CONOCIMIENTOS ESPECIFICOS: Para poder desempeñarse efectivamente en su cargo, un Arquitecto de Base de Datos debe tener amplios conocimientos. En computación deberá conocer el funcionamiento, diseño y estructura de bases de datos Y Smart Data (SQL Server, MySQL, Apache), al igual que tener Conocimientos varios en matemáticas, estadísticas, programación R o PYTHON.
- HABILIDADES SOCIALES: Se requiere que un Arquitecto en Big Data tengan una gran capacidad de trabajo colaborativo, liderazgo y habilidades amplias en la comunicación ya que servirán para llevar informes comprensibles para la empresa. Él deberá trabajar de la mano con los desarrolladores de Software, los analistas de negocio y las personas encargadas de la empresa para poder detectar los problemas y saber explicar claramente, según el estudio de los datos obtenidos, las soluciones requeridas.
