Aprovechando que me quedan unos dias de vacacione por coger y también que por el norte, en Vitoria, tengo un amigo decidí irme al País Vasco a disfrutar un poco de ocio.
Y vaya que si lo he disfrutado, salvo algunas problemillas que no empañaron estas vacaciones contaré lo que he disfrutado.
El primer día no empezó muy bien, en el aeropuerto cancelaron por cuestiones técnicas el vuelo, no había aviones disponibles hasta el día siguiente, un día y medio perdido, porque no solo no llegaria de noche. Pero no estuvo mal la experiencia nos dieron un hotel de 4 estrellas con una estupenda habitación y comidas de lujo, no recuerdo tener a mi disposición tantas opciones para desayunar en mi vida. También gracias a este imprevisto hice amigos durante ese tiempo, gente, la mayoría del norte que con sus acentos y costumbres me entretuvieron.
Vuelo Cancelado Hotel Vueling
Y luego el airbnb que reservé no tenía las mejores condiciones para descansar, tuve frio la primera noche hasta que descubri una manta en otro lugar de la casa, y en el cuarto de baño tenia que accionar el grifo del lavabo con un destonillador, tampoco habia calefacción y cuando volvía de la calle, las toallas y ropa seguian húmedas por la poca ventilación que había. Muy mal, hoy dejaré una dura crítica.
Grifo mal estado Airbnb
Ya en Bilbao hice un free tour por sus calles, el tiempo estuvo variable, a veces con paraguas otras veces despejado, pero iba preparado, en Sevilla me había ya comprado todo el equipamiento para este tiempo: una chaquetón impermeable que aguanta más de 10 grados bajo cero, camisetas térmicas y unos zapatos impermeables también. Me sorprendió que casi no había turisas por sus calles.
Free Tour Bilbao
Es interesante conocer las costumbres de otras regiones, allí había no había papás noeles, sino otro personaje de la tradición vasca con chapera y pipa, y en cuanto a alumbrado me sosprendió también la sobriedad con la que estaba adornada las calles para ser la 10 ciudad más poblada de España, creo que algún pueblo de la zona del condado tenía más luces que la avenida principal, la Gran Via de Bilbao.
Ayuntamiento de Bilbao en Navidad
Y hablando de calles, menuda ciudad, que arquitectura, tanto la moderna que jalona la ría, empezando con el Gughennein que fue el primero que se construyó, sino también por otros puentes, oficinas y rascacielos que no paraba de admirar; Pero es en la propia ciudad, en la parte nueva del centro donde se nota que Bilbao es una ciudad donde la gran burguesía tiene sus edificios de viviendas, creo que ni Barcelona ni Madrid tiene unas calles tan bonitas en diseño de pisos y apartamentos. En la oficina de turismo pedí un mapa sobre arquitectura y me dieron hasta cuatro recorridos disintos para hacer. No era extraño que me quedara parado en una esquina observando a mi al rededor cada detalle.
Edificios Residenciales en Bilbao
Bilbao tiene muchas cuestas, he subido muchos escalones y con cuidado, por el agua, también he bajado por pendientes empinadas. He visto pocas bicicletas y pocos patinetes comparado con Sevilla, tiene buen sistema de transporte y un metro muy bueno. Y lo que me ha sorprendido es que tiene ascensores públicos en las calles, sin coste, para que la gente pudiera subir o bajar fácilmente a sus barrios.
Bilbao desde el parque Zurbarán
Y en cuanto cultura visité tres museos que me han encantado, tanto que no cocibo mi próximo viaje a una ciudad sin que haya un museo que visitar, quizas, San Petesburgo y el Hermitage como meta, eso si, sigo con mi trabajo e ingresos extras.
Claustro Museo Pueblo Vasco
El museo vasco está lleno de las tradiciones, sobre todo la cultura de la pesca. Hay maquetas de edificios, incluso de regiones, de barcos, artes de pesca y también una parte de este museo está dedicado al pasado industrial con la que se hizo rico esta ciudad, me recordó mi trabajo hace 10 años en la fábrica, como los tiempos cambian y todo el trabajo que quedó después de la crisis en que me quedé desempleado.
Jardines museo de bellas artes de Bilbao
Pero si hay un museo que me cautivó fue el de Bellas Artes de Bilbao porque esperaba obras de arte, pero no expuestas de una manera tan original; Los cuadros estaban ordenados por temas universales de la A a la Z pero no por épocas y estilos. Cada sala correspondía a una letra del abecedario. Al dia siguiente fui a comprarme el catálogo de la exposición, escrito en cuatro idiomas contextos literarios de Kirme Uribe.
Catálogo de la exposición Abecedario del museo de bellas artes de Bilbao
El último día de mi visita pensé en visitar otro museo antes de coger el avión, el dia no pintaba bien, llovía mucho y hasta por la tarde no tenia el vuelo, así que decidí ir al museo naval que parecia bastante interesante, pero en el camino por la ría pasé cerca del Guggenhein, ya lo había visto por fuera hace 10 años o más, pero no entré porque la entrada era muy cara y las exposiciones temporales no me llamaban la atención, realmente lo atractivo del museo es su edificio y por fuera, por dentro no tiene interés, de todas formas decidió bajar las escaleras para ver el hall y me llevé la sopresa que esta vez sí me parecian interesante lo que exponian: Una colección de arte del siglo XX del museo Kunsthallen de Bremen; una muestra de un fotógrafo llamado Thomas Struth y esculturas de SOTO, (Jesús Rafael) Eran trece euros, pero pensar que me he gastado más dinero en otras cosas menos gratificantes, ¿Por qué no? Y también disfruté muchisimo.
Guggenhein Bilbao
La cultura que he disfrutado no hubiera sido posible si esa educación que mis profesores de instituto de bachiller me dieron durante esos años de mi juventud, en cierta forma muestro mi agradecimiento a ellos. En este museo vi muchos estudiantes que iban acompañados de sus profesores, yo no tuve la oportunidad de viajar como ellos a museos, pero sí desde el pueblo, a través de diapositivas y lecturas pude admirar obras que por entonces no soñé podré ver como lo hago ahora, sin embargo también pienso que lo mismo que las exposiciones universales actualmente no tienen sentido porque con Internet tenemos al alcance todos esos adelantos técnicos que las motivaron, quizás en el futuro y actualmente podemos visitar muchos de estos museos online. De todas formas todavía no es comparable la experiencia.
Para terminar mi viaje al norte quiero agradecer a mi amigo Carlos la excursión que hicimos en bicicleta a un embalse al norte de la ciudad, un paisaje que nunca olvidaré y puedo asegurar que es la tercera maravilla que hasta ahora he visto en mi vida; Después de ver las estrellas en el desierto de Marruecos y hacer el camino de Santiago, creo que ese paisaje reune todo lo que me gusta de esta tierra: El agua, puesta de sol, montaña, paisaje espectacular.
Recordando el mito de la caverna de Platón uno no se acuerda de como es la vida acostumbrado a ver sombras, pero cuando sale de la cueva y conoce la realidad, la puede tocar, oler, sentir y caminar sobre ella, no puede dejar de experimentar la felicidad.
Con esto me refiero que mi últimas vacaciones fuera de España fue en París y me costó preparar el viaje, pero luego las satisfacciones han sido enorme, lo mismo me ha pasado con esta ciudad que tenía pendiente visitar, ha sido una semana inolvidable.
Estuve alojado en un Airbnb del centro, a menos de dos minutos andando de los principales monumentos.
Estación de trenes de Oporto
La primera tarde, cuando llegué estuve paseando difrutando de cada paso y me despisté un poco, tanto que luego, sino es gracias a Google Maps, no hubiera encontrado el camino, es más tenía miedo porque la batería la tenia bajo minimos.
Al día siguiente me apunté a un Free Tour que me confirmó que estaba en la ciudad más bonita de Portugal, más que Lisboa, por supuesto. Gracias a nuestro guía pude conocer más no solo ha historia de Oporto, sino también de la misma Portugal
Palacio de la Justicia de Oporto
Por la tarde me fui a la orilla del río, que en esta semana he visitado hasta tres veces conociendo sus famosos puentes y un mirador espectacular donde la gente va a disfrutar las puestas de sol.
Al día siguiente me puse como objetivo visitar el mejor museo de arte moderno del país, la fundación Serralves, no solo por su colección sino sobre todo por su arquitectura, paisajes y jardines.
Fundación Serralves
A mi regreso, deviado regreso, la verdad, pasé por la desembocadura del río, y en ese camino conocí el museo botánico y unos jardines románticos llamados Parque de las Virtudes encantadores.
La semana fue poco a poco visitando otros edificios como el de la antigua Bolsa de Oporto o el museo nacional de bellas artes, no quise entrar en la librería Lello que dicen es una de las librerías más bonitas del mundo y donde la autora de Harry Potter se inspiró para escribir sus libros por la enorme cola que había que esperar para entrar.
Sala principal Bolsa de Oporto
Pero si aproveché para ir a otra ciudad histórica, Guimaraés donde se dice nació Portugal.
E incluso una tarde-noche estuve corriendo por el paseo del río hasta llegar al mar y coger por el paseo marítimo hasta Matosinhos, la vuelta la hice andando, (demasiadas cuestas).
Oporto tiene esa mezcla de tradición que aún se usa con modernidad de gran capital europea. Podría perfectamente compararla con Praga o la mismisima París. Está en permanente reconstrucción, en 15 años o antes lucirá magnifica.
Tienda ultramarinos Oporto
Me han faltado cosas, pero no me importaría repetir, durante una semana he disfrutado paseando por sus calles y admirado mucha belleza. Os la recomiendo.
Ayer por la tarde recibía un mensaje de Facebook, en el que decía que como administrador de la página web de Impreconsa, alguien había hecho una rectificación diciendo que la empresa había cerrado definitivamente, y aunque dejé de trabajar allí hace más de 7 años no puedo dejar de sentir lástima por el lugar donde desarrollé mi vida laboral por más de 13 años, dicho así, hoy en día parece una eternidad, pero puedo afirmar que gracias a Impreconsa fui muy feliz, con el trabajo mis compañeros y mi jefe Manuel Periáñez.
He intentado hacer una búsqueda por LinkedIn de algunos de ellos, pero poco he sacado, espero que les vaya bien y que también sean felices.
Escribo estas lineas de una empresa, como he dicho, que me lo dio todo, pude viajar y conocer otros países, comprarme mi apartamento, mi Vespa, y también pude crecer profesionalmente, instalé la tienda virtual, desarrollé aplicaciones macros en word para los comerciales, traté con proveedores, clientes.
Pues eso, que queden estas lineas para el recuerdo de una parte de mi vida que, como marca, cierra definitivamente.
El pasado miércoles me invitaron a dar una pequeña charla en el Meetup Databeers de Sevilla sobre visualización de datos abiertos y libres.
La verdad es que me siento muy agradecido porque pueda compartir lo que voy aprendiendo en el máster en Data Big de Datahack y a su vez, difundir fuentes de información libres y abiertas como las que publica semanalmente el Instituto de Estadística y Cartografía de Andalucía.
La presentación que veis abajo la comencé hablando de mí y mi relación con los datos de hace 25 años, de alguna manera me tenía que justificarme como licenciado en psicología hablando ante un público lleno de ingenieros e informáticos.
Conté la historia cuando estaba en Virgin Megastore donde hice una base de datos de videojuegos con los artículos de revista que me caía en la mano y que sirviera de fuente de consulta para clientes y para mí mismo ante la locura de títulos que semanalmente entraban en la tienda.
Nono en Virgin Megastore
Luego hablé de OpenStreetMap, la wikipedia de los mapas como ejemplo de datos libres y, a la vez, como trabajo voluntario, participativo y sobre todo exacto para buscar la fidelidad de la representación de lo que medimos y luego publicamos, así que mostré errores de Google Maps del 2011, en comparación a lo que realicé en OSM
Continúe hablando de herramientas sencillas de usar para publicación visual de datos, como Infogram con la que hice una representación de la población sevillana en la ciudad usando los datos del portal de datos abiertos del ayuntamiento de Sevilla; es una herramienta gratuita con la que, gracias a sus iconos y herramientas de soltar y arrastrar con una simple tabla se pueden crear infografías realmente vistosas.
Seguí con el principal motivo de la presentación, el mapa de Andalucía de crecimiento vegativo y como lo hice con Tableau usando los datos abiertos que publica el Instituto de Estadística y Cartografía de Andalucía. Intenté transmitir la facilidad de visualizar con esta herramienta, básicamente consiste en abrir la fuente de datos y como, gracias a que entiende lo que son medidas de dimensiones, con el ratón podemos arrastar éstas al tablero principal y automáticamente se dibujan mapas si son datos geográficamente referenciados, etiquetas, números, etc.
Finalicé la presentación hablando de otra herramienta Qlik con la que desarrollé un estudio comparando el porcentaje de viviendas que actualmente se están construyendo en cada municipio de Andalucía comparándola con el crecimiento poblacional esperado en cada uno de ello, visualizando como en algunas localidades, a pesar de que se espera crecimiento negativo de población se están construyendo más viviendas de las necesarias y, por tanto los riesgos de que esás casas y pisos no puedan ser vendidas o abandonadas estimando una nueva burbuja inmobiliaria en el futuro.
Con esa sesión la academia en Big Data y Analytics Datahack en su delegación en Sevilla pone fin al ciclo de jueves que desde principio de noviembre nos ha regalado con clases magistrales de algunos de los profesionales y, a la vez, profesores en los masters que ofrece.
Esta semana Francisco Rodríguez, data scientist en Telefóncia I + D y profesor que tendremos en el módulo de Machine Learning en los próximos meses nos habló de la Data Augmentation.
En su presentación nos ofreció casos reales en los que ha trabajado y para los cuales tuvo que "crear" un método pues, no contaba con suficientes datos para poder llevarlo a cabo, y de esta manera nos explicó la ayuda que la data augmentación ofrece..., o que, traducido al español significa aumentar datos.
¿En qué consiste? Pues en una metodología, dentro de los aprendizajes de Machine Learning, y en concreto los de aprendizaje supervisado, en los que se necesitan más datos de los que disponemos para crear un modelo. Ejemplo: podria ser el caso de reconocimiento de fotos para que entrenar al modelo con pares de imágenes etiquetadas según un concepto; Y claro, no siempre disponemos de cientos de miles de datos que nos de esta información, luego tenemos que "inventar" o "crear" esos datos con las variaciones, ruido, calidades y distorsiones que en la vida real pudieran producirse.
En realidad esto es más común de lo que pudiéramos pensar, porque solo las grandes empresas con bases de datos de millones de imágenes puede hacer, Google Maps - Street View, para calles, por ejemplo, disponen de esta posibilidad.
Francisco también nos comentó otros recursos como Imagenet que dispone de más de 14 millones de fotos etiquetadas, pero aún así no es suficiente
.
Por otra parte podemos recurrir, en caso de reconocimiento de textos, a aquellos documentos que han sido traducidos con el mismo contenido a varios idiomas, sería el caso de los que la UE pone a disposición en su portal. Google usa Neural Machine Translation para este otro tipo de casos.
En definitiva y si hay que dar una definición exacta, Data Augmentation es crear datos sintéticos a partir de datos que ya tenemos.
Estrategias.
Nos explicó dos, una basada en transformaciones, en el caso de fotos, por ejemplo la de un gato, hacer cambios a aquellas fotografías con distintos niveles de zoon, color, luz, giros, etc; de esta manera a fuerza de entrenar la modelo se crearían esos algoritmos que permitan aprenderlo.
Otra estrategia seria hacer clasificaciones trabajando con datos que venga con fuentes diferentes (cámaras profesionales o cámaras para móviles), y esto es muy importante también si pensamos en crear un modelo que va a a trabajar con teléfonos móviles, en tal caso tenemos que tener mucho cuidado de que las fotos no vengan de cámaras profesionales.
Lo ideal sería hacer fotos con el mismo móvil con el que queremos crear el modelo.
Como ejemplo de su trabajo nos puso tres casos, un trabajo que le encargaron a su equipo para detectar matrículas de coches, usaron un formato de caja grande a caja pequeña, es decir, primero detectar en el vehículo la zona donde está la matrícula, luego, en ella, cajas pequeñas como serían cada uno de los dígitos que la componen y sus letras, para ello construyeron muchos datos para entrenar el modelo a la manera "frankestein" ya que consistía en crear muchas matrículas para el dataset de entrenamiento construidas con partes de otras matrículas (dígitos y letras).
Y por otra parte, usando la data augmentation para crear otras matrículas combinando letras y números usando la misma tipografía que tiene las matrículas, pero con variaciones añadiendo ruido como manchas, rayas, ligeros cambios de posición, alturas, etc. Cuando probaron el modelo con datos reales llegaron a un acierto entre el 90 y 97% según el sistema que emplearon.
Detector de matrículas con data augmentation
Otro de los trabajos en los que ha puesto en practica sus conocimientos fue la corrección de errores ortográficos, y ya que no existe una base de datos de los mismos, crearon pares de frases, como por ejemplo nombres y apellidos emparejándolas con otros nombres y apellidos que tenían las mismas letras pero con ligeros errores o aquellos errores comunes que los lingüistas están acostumbrados a detectar. Fue interesante esta prueba porque para casos en los que cambiaba una sola letra, el modelo llegaba a muy buenos aciertos, pero, incluso en los casos en los que metía mucho ruido, por ejemplo cambiar no solo varias letras sino poner letras de un nombre entremetidos en los apellidos, etc, el modelo se esforzaba en ofrecer un nombre muy parecido al original verdadero, en dichos casos era lógico que el "ruido era excesivo". En otros casos el modelo se equivocaba porque se forzaba a traducir un nombre, como Antoni en catalán y lo devolvía como Antonio en español. Todo este tipo de casos nos da una muestra de todas las variables que tenemos que tener en cuenta. A pesar de todo, el grado de acierto se llegó entre el 84% y 89 %
Como no existe un data set de errores de personas, pero lo que se puede hacer combinaciones con los errores que normalmente se cometen.
De un nombre correcto, se crea el -> augmented -> (incorrecto) para cada elemento generar otro.
Un último ejemplo que puso, pero en el que no ha trabajado fue la clasificación de curriculums, ya que, normalmente éstos están divididos en los mismos aparatos de siempre, datos personales, formación, experiencia, etc. Pues bien, se crearon datos cortando estas partes y creando otros curriculums con ellas también para crear más datos de entrenamiento.
Y bien, ya tenemos los datos que nos faltaban para tener cientos de decenas de miles (por lo menos) con los que trabajar nuestro modelo, ¿Donde se mente y qué cantidad? Nos podemos preguntar y de hecho, una compañera del master hizo. Francisco contestó: -"pues en el set de entrenamiento, nunca en el set de validación y tampoco en el Test Set donde se prueba el modelo final elegido". Tiene su lógica, es más es conveniente probar con seres humanos incluso los errores que comete en comparación con los cometidos con este tipo de datos por el modelo.
Conjuntos de datos para validar el modelo
Es decir, si normalmente para un entrenamiento de machine learning con data real tenemos tres partes en los datos, con la data augmentation tendremos cuatro tipos de datos con los que trabajar. y en cuanto a cantidades y porcentajes, no quiso dar una cantidad fija, simplemente tener en cuenta que si en el validación tenemos 5 datos, si uno está mal, ya tenemos el 20% del modelo invalidado, es una exageración, claro, pero si, a partir de mil datos reales para las partes de validación y test, ya podemos meter con tranquilidad todos los datos "creados" en el set de entrenamiento.
Francisco también nos habló de los distintos problemas que podemos tener, como son el Overfiting, es decir que el modelo memorice las respuestas, pero no aprenda ante casos nuevos; el Underfitting. cuando ha sido tan débil el altgorismo que ni siquiera puede clasificar una vez que se "saca de la caja" y el Data Mismatch, en el que los datos "aumentados" son tan diferentes de los datos reales que resulta inútil usarlo.
También nos puso ejemplo de sus trabajos como matrículas "machacadas" que eran imposibles reconocerse o aquellas matriculas que nos se detectaban porque algunas tenía una sombra superior, estudiando estos errores, pero solo una pequeña parte, por supuesto, decidieron reducir y cambiar la forma en que se generaban las matriculas añadiendo a éstas sombra, pero no hicieron lo mismo con las matrículas rotas o deformadas, porque sería llevar el modelo con ruido a un extremo excesivo. Todo tiene su medida.
De hecho para optimizar el trabajo dio una serie de consejos.
Evitar traer suposiciones o sesgos, como por ejemplo no pensar que aún existen en circulación coches con matrículas antiguas, es decir la letra de la provincia seguida de número, cosa que no pensaron.
Actuar con Ideas simples, y actuar rápido. Ejemplo no implementar los errores de matriculas "machadas", por su complejidad en abordarlo, coste excesivo y bajo porcentaje en los errores.
Metodología correcta. Como puede ser el uso ponderado de los datos en cada set, el proceso de etiquetado, etc.
Hacer análisis error. Usar humanos para confirmar que algunos errores son inevitables, o corregir en la medida de lo posible, como dijo antes, los segos o detectar como mejor los datos aumentados.
Finalizó su exposición, con otros casos como la Red neuronal, Las Generative Adversarial Networks, o el llamado Generative adversarial networks (GANs)que aunque salía del tema de la exposición, personalmente sentía mucha atracción, como es el ejemplo de generar imágenes de personas automáticamente, llegando a extremos en los que podríamos dudar, efectivamente que es la foto de una persona que realmente existe. o convertir y transformar incluso vídeos como puede ser un caballo corriendo convertido en una cebra, hasta el punto que incluso los detalles del fondo son modificados por la máquina, como puede ser cambiar la hierba verde por pasto seco de la sabana.
Pues lo dicho, con muchas ganas de volver a ver a Francisco como profesor el master de Datahack y seguir aprendiendo de su experiencia profesional. Y aunque las sesiones abiertas al público en general se han acabado por ahora, podéis escribir a su correo y manteneros informados de otros meetups que pudiera organizarse para el próximo curso.
Artículo: Red neuronal creando caras de personas.
Aprovechando las nuevas herramientas que estoy conociendo en el máster de Datahack, dejo aqui algunas visualizaciones con los datos de las pasadas elecciones Andaluzas. Las tablas provienen de Periódicos.
Dentro de la serie de Meetup que datahack Sur está realizando este curso, el pasado día 22, Antonio Marín hizo una demostración de como se puede analizar una base de datos en bruto y convertirla en información valiosa para una empresa.
Antonio, CEO de DSC Energy nos explicó en una primera parte qué era Python, nos contó que su creador desarrolló este lenguaje con la idea de que fuera fácil de aprender y de usar, y no solo es popular por una gran comunidad de usuarios, sino que además grandes empresas como Facebook o Google participan aportando recursos para que siga evolucionando. Cuenta con más de 140.000 librerías. Es eficiente, fiable y accesible.
Nos explicó alguna de sus librerías más usadas, habló de Panda, de Matplotlib, de Seaborn y Anaconda.
Nos quiso dejar claro un par de cosas, la primera es que una exploración de los datos, llamada EDA (Exploratory Data Analytics) es esencial antes de trabajar con los datos y tan siquiera antes de imaginar el modelo, y por otra parte, también es importante antes de ponerse a trabajar es definir bien el problema, lo ideal es que el cliente te lo plantee, hecho esto será más fácil enfocar el objetivo.
¿Qué es big data? - "Es todo aquello que no cabe en una hoja de Excel"
En la segunda parte se planteó el ejercicio de demostración, imaginando por ejemplo que una empresa necesita saber como está el mercado de la clase de productos que vende y la competencia en un país en el que pretende introducirse;, pues bien, gracias a que existen países con transparencia en datos, se pudo acceder a los datos de la aduana de dicho país y extrayendo los códigos del tipo de producto en el que la empresa está especializada, a través de una serie de pasos se llegó a la visualización para el cliente de gráficos temporales de precios de los productos a los cuales se están comercializando y hasta la cantidad vendida por la competencia.
Para mí, esta demostración fue nada más que suficiente para comprender lo importante que es actualmente tratar la información, y a la vez que esta sea una información abierta y transparente.
Próximamente, Antonio, que él mismo se grabó su exposición, subirá el vídeo completo para que podáis también comprender y entender la extraordinaria herramienta que es Python para estos tipos de trabajo.
Uno cuando lee artículos de Machine Learning puede quedar impresionado por los casos que describen en sus logros gracias a los altgorismos que emplean, pero Alejando Arránz quiso quitar tanta "mitología" y desarrolló su charla como de una manera más sencilla y cercana haciendo una introducción a los de conceptos básicos que emplea
Se presentó como informático programador que trabaja en Datahack Labsen labores de consultoría aunque también daba algunas clases, pero no era su principal función, además nos dijo que no se consideraba más inteligente que los demás sino que simplemente le pone empeño a las cosas en las que trabaja.
Alejandro Arranz
Empezó con dos definiciones de Machine Learning; la primera como "La ciencia (y el arte) de programar máquinas de manera que estas puedan aprender a partir de los datos".
Por "arte" él entiende que no hay una lista de reglas, sino que depende de los problemas que uno se enfrenta; uno va, con la práctica, creando estrategias y trucos que has experimentado en otros problemas similares, pero no existe un libro donde estén todas las soluciones.
Nos dijo que las personas que se adentran en el mundo del Machine Learning y vienen la parte técnica y de programación, informática, ingeniería... se tienen que enfrentar a un nuevo paradigma porque están acostumbrados a escribir órdenes para máquinas, pero si se enfrentan a Machine Learnin y surgen discrepancias a lo esperado no debe de entenderlas como errores cometidos en su "programación" sino que es la máquina la que va aprendiendo con los datos produciendo "resultados inesperados". No so fallos en "su programación".
Meetup con asistentes a Introducción Machine Learning en Datahack Sevilla
Otra definición que dio para ML, un poco más técnica, era considerar la fórmula ETR.
E de Experiencia. cuanto más datos vea la máquina con relación a una T (tare) mejor va a ser los resultados (R)
Alejandro nos explico que el ML no es algo nuevo, o por lo menos los fundamentos de su uso se empezaron a usarse cuando los correos se empezaron a llenar de spam y algunos mensajes eran clasificados como tal por detectar palabras y expresiones comunes siguiendo un proceso.
- Detección de palabras
- Codificar algoritmo de detención para todos los patrones detectados.
- Probar el programa y repetir los dos pasos anteriores hasta que el resultado sea bueno.
Este proceso heredado del filtro de correo que ha heredado Machine Learning se le añade un elemento más llamado "Entrenar al modelo" (modelo matemático), que busque patrones y que sean más efectivos que el que haríamos nosotros y, además, se añade una tercera ventaja: la adaptación al cambio, ya que pueden aparecer nuevas reglas. El modelo tiene que aprender y adaptarse.
Pero cuidado, siempre tiene que haber un control para vigilar los datos que le suministremos porque puede ocurrir a veces como le ocurrió a un bot de Microsft, que aprendió de una manera tan inesperada que, al cabo de 24 horas la conversación con el robot, sus expresiones y mensajes derivaron en comentarios machistas, agresivos y xenófobos.
Hubo comentarios y preguntas a Alejandro durante su exposición con dudas y él confirmó algunos casos de errores en la identificación de patrones, como clasificar a dos personas negras como gorilas o el caso que uno de los asistentes comentó casos de machismo, pero dijo que el problema viene más de los sesgos de los datasets que se suministran a las máquinas, más que errores "de programación" (?)
Otras de las preguntas que se hizo era si era siempre necesario la intervención humana par vigilar al modelo, y confirmó que sí, que, a veces hay que realizar ciertos ajustes revisando los resultados y que las predicciones que está dando el modelo son persistentes y si los datos que se le suministra también lo son.
La máquina no solo aprende, el humano también aprende porque puede llevarnos a descubrir tendencias o relaciones que no sospechaba siquiera.
¿Cuando es buen momento para usar Machine Learning?
Cuando nos enfrentemos a problemas cambiantes, que necesiten muchas reglas, muchos datoss o sea humanamente muy difícil hacerlo.
Problemas y tipos de aprendizajes en Machine Learning
APRENDIZAJE SUPERVISADO Y TAMBIÉN PARA APRENDIZAJES NO SUPERVISADOS.
Para explicarlo introdujo dos conceptos, el de FEATURE y el de LABEL=TARGET.
Por feature explicó que serían los datos que se suministra, en caso del correo, sería por ejemplo, cuerpo del correo, asunto, la ip, etc, es decir, los datos que se le van a pasar. Y el LABEL o TARGET sería el resultado a lo que el modelo llegue, en caso del correo sería si es SPAM O NO SPAM.
En el aprendizaje supervisado es el humano el que ayuda al modelo dando las features y tambien las labels.
Sin embargo cuando se aplica el modelo hay que tener en cuenta que pueden surgir problemas, cuando los datos son insuficientes datos y si tenemos muchos o demasiados, ver que tipo de algoritmo puede ser mejor (según la cantidad).
Distintos roblemas con los datos
Otro problema puede ser que lo datos no son representativos, y puso un caso ¿La satisfacción en la vida está relacionada con la renta percápita? y nos mostró un gráfico donde, con los datos reales (puntos azules) se elaboró un modelo diciendo que efectivamente, los países con renta per cápita lo eran, pero el problema se descubre que los datos no son representativos porque con el tiempo, las pruebas de nuevos resultados otros paises resultaron, que diendo más ricos, no estaban tan "feliz de la vida"
(eso se llama sampling noise).
Otro caso seria el sampling bias, cuando la muestra es grande pero el método no es adecuado, no había representativo.
Más problemas, com que se suministren Datos de baja calidad, como outliers que son valores que están muy distantes de los valores medios de la representación. ¿Pero como se gestionan? Se eliminan; pero ¿cómo definirlos? Depende del problema.
los Missig values, por ejemplo registros a los que le faltan algunos huecos, normalmente se dan valores concesuales, o entrenar modelos imputando valores disintos para distintos modelos.
Features irrelevantes. Por ejemplo meter en una base de datos del cliente el nombre del perro. o que países son más felices según las letras que contiene su nombre.
Pero también puede no existir correlación con una causa aparente. Puede existir otras variables ocultas que relaccione una causa con un resultado.
El machine learning dará variables lineales, el deep learning si daria las no lineales.
No solo con los datos podemos tener problemas, también puede ser por los altgoritmos los que nos den quebraderos de cabeza, lo llamados el OVERFITTING, es el riesgo de generalizar y no predecir nada más que los datos que le dan en el entrenamiento. Cuanto más complejo sea el modelo más fácil encontrar relaciones no lineales. Para ello suministraremos más datos.
Otra manera de solucionar el overfitting seria introducir REGULARIZACIÓN, es decir, limitar la libertad del modelo.
UNDERFITTING, otro problema porque se puede dar el caso de tener un modelo tan simple que no abarca la complejidad de los datos que manejamos. La solución sería si hemos metido regularizacion, aflojarla para dar más libertad al modelo.
Alejandro terminóo la última parte de su charla sobre Machine Learning hablando de TRAINING, VALIDACIÓN Y TEST
Pero no se quiso despedir de nosotros sin antes confesarnos que él fue alumno también de Datahack, nos enseñó hasta su diploma, y nos dio varias razones, eligió este máster por los profesores que lo imparten, auténticos profesionales dentro de su sector, por la parte práctica de las enseñanzas, por el trato humano que recibió desde el primer día y porque es un máster vivo, en continua mejora y cambio donde al alumno se le escucha para seguir mejorando.
Regalitos, merchandaising que regaló Datahack a los asistentes
VIDEO próximamente: (Se está editando para solucionar un problema de sonido). Mientras se mejora podéis ver esta otra charla que dio en Madrid con relación al mismo tema.
El 16 de octubre del 2018 se inauguró en Sevilla Datahack Sur; apunten esta fecha señores, que eramos poquitos y quizás en un futuro no muy lejano, ojalá seamos muchos los que podamos asistir a presentaciones como esta.
En la recepción estos chicos de Madrid, y alguno también del sur, nos obsequiaron con iPatch, es decir, un cacharrito de plástico para tapar la webcam de portátiles, a parte de un descuento en los masters que venían a promocionar. Todo un detalle la encuesta para que opináramos del evento, debería de ser algo obligatorio en cualquier conferencia que se precie.
Gregorio Romero nos dió la bienvenida y nos pidió que nos presentáramos. Allí había de todo, estudiantes de informática, empleados de empresas públicas en busca de formación, trabajadores que quieren reciclarse, estudiantes e ingenieros de informática, personas que se han quedado en desempleo y quieren dar un giro a su vida y hasta algún que otro headhunter que trabaja en bigdata, amigo del equipo de Datahack.
Hubo tres presentaciones; primero Javier Moralo habló de Internet de las Cosas, Inteligencia Artificial y Big Data, nos dio datos y fechas muy interesantes en las que todas estas tendencias nacieron, y lo más sorprendente que solo recientemente, se han potenciado.
Javier Moralo y Gregorio Romero de Datahack
De IoT, es decir, de la interconexión de objetos cotidianos que a través de Internet son capaces de mandar datos, nos dio unas previsiones para el año 2020 que habrá 6,8 aparatos de este tipo por habitante del planeta.
También nos habló de qué significa BigData, no solo de las tres V que se conoce, Velocidad, Variedad y Volumen, sino también otras "Vs" como de que el BigData tiene que ser Verificado y que aporten Valor.
El campo es tan grande y tan por explorar que afirmó que solo se está usando el 20% de los datos que existen en las empresas para tomar decisiones, por eso prometía un futuro de mucho trabajo en esta área.
Todo se puede medir, hasta el color de Sevilla, ¿Sabéis cual es el color de nuestra ciudad? Tomad nota, el #FFAB60
La siguiente ponencia sobre empleabilidad corrió a cargo de Lourdes, CEO fundadora de Datahack, nos contó como fue la idea de crear ésta; en un principio academia y ahora algo más que un centro de estudio.
Lourdes, CEO de Datahack
AREAS DE DATAHACK Datahack labs, Consultoria y Proyectos como robots para tratamientos de enfermedades degenerativa. Datahack Share, Donde comparten toda la información. Comunidad de conocimiento, y sea a través de eventos como meetups o congresos. Datahack School, Formación con profesores expertos, Práctico. Adaptan el master a lo que demandan las empresas. Datahack Seed, Un área nueva de recursos humanos, ya que prepara gente, pues ¿por qué no gestionar su empleabilidad?
¿Por qué surge Datahack? Porque existe un gap entre lo que demanda el mercado y los profesionales existen, además la formación que exitía, y que mayor mente sigue exitiendo en estas áreas es/era demasiado teórica. o muy específica en cada materia.
¿Qué hay que saber para estudiar esto? pues muchas herramientas.
Hizo un repaso de las dos áreas que ellos llevan trabajando, el Analytics machine learning y la Arquitectura de datos, además de los nombres que se le dan a estos tipos de especialistas como DATA SCIENTIST, DATA ENGINEER, DATA ARCHITECT, DATA ANALIST, STATISTICIAN, DATABASE ADMINISTRATOR, DATA ANALYTICS...
Pero los profesionales con esos títulos no sólo necesitan APTITUDES como saber estadisticas, analitica, reporting, visualización, almacenamiento y procesamiento, sino que también ACTITUDES como curiosidad, creatividad, flexibilidad, aprendizaje, motivación...
En su presentación, hizo un análisis de como está el mercado en demanda de este tipo de profesionales y, aunque se basó en Infojobs, dijo que no era realmente el mejor sitio para buscarlos, las cifras eran pequeña localmente, pero grandes a nivel mundial en previsiones en los próximos años, además, como confirmó uno de los asistentes, casi el 90% de la oferta no se hace publica, se cuece entre las empresas y los centros de formación, ni da tiempo a publicarlas y si lo hacen es con motivos de autopublicidad para decir que ellos están en "la onda" contratando este tipo de trabajadores de moda.
Lourdes, afirmó que el 100% de los alumnos que terminan el master encuentran trabajo y que el nivel que poseen es como si lo hubieran hecho en una empresa durante dos años como junior, ya que se trabaja con casos reales y siempre prácticos, y sobre todo, porque se dan muchas herramientas, no una, la que por defecto puede usar una empresa en su dia a día.
Para Lourdes, el producto que esta tarde presentaba en Sevilla no era el master, son las personas que forma Datahack.
Resumen de las ponencias en #VisualThinker
La presentación final fue de Goyo, que nos explicó el Master en sí, su calendario, sus contenidos y los casos de usos.
En CONTENIDOS, nos explicó los dos grandes bloques en los que consiste, para especializarte en Científico de datos, los encargados de extraer los datos y convertirlos en información. Estaditica, R, python, y/o arquitecto de datos. Y los Arquitectos de datos, encargados de diseñar la infraestrutura para mantener, extraer y procesarlos. Hadoop, Spark
El calendario, 22 fines de semana hasta abril, antes de feria, en horario de viernes tarde y sábado por la mañana. Aunque siempre se le va a pedir trabajo extra, a una media de dos o tres horas por sesiónn presencial
Los casos de uso seran muy variados, podrán ser desde Análisis de comportamiento de clientes, Personalización oferta, Modelo bursátil, Detección de ciberataques, Seguridad personas, Optimización del transporte, Mejora del rendimiento deportivo, Salud Prevención temprana, etc.
Goyo definió El big data como una solución buscando problema.
Y al igual que Lourdes recomendó los siguientes perfiles para hacer el master:
Personas con conocimientos y/o experiencia técnica.
Que desean mejorar condiciones laborales
Empleados que encuentran estos problemas.
Que estén dispuestos a un esfuerzo extra.
Y las cosas básicas que hay que tener para hacerlo Motivación y Capacidad.
Asi ahi estoy, poniéndome las pilas en programación para ver si puedo optar una plaza en este master de Datahack.
¿Te apuntas conmigo? Si llevo a un amigo nos hacen un buen descuento a los dos.
Venga, pregúntame o, mejor aún, pregúntale a ellos, que estarán encantados de ayudarte.
Aprovechando los conocimientos en la práctica que estoy haciendo he importado desde Facebook usando Lost Circles, una extensión para Chrome, las relaciones que entre mis amigos tienen entre sí y he descubierto entre tres y cuatro grupos grandes y dos menores.
El principal grupo de amigos que tengo en Facebook son los que he hecho en los últimos 10 años gracias a la parte profesional y de eventos relacionados con el Marketing Digital y el emprendimiento en Sevilla; el segundo grupo, al que he llamado los "Alamederos" es de hace más tiempo, unos 20 años y son los amigos que conocí de forma más personal y continuidad, son con los que he compartido vivencias, excursiones, penas y felicidades. Hay un tercer grupo de una antigüedad de 6-8 años relacionados con mis actividades políticas que durante 4 años estuve siendo afiliado en un partido. Hay otros dos grupos menores pero significativos, los amigos que hice cuando fui voluntario del proyecto Andalucía compromiso digital y el último grupo menor es para mis compañeros de universidad, los más antiguos "amigos" pero que en la época en que los conocí no existía Facebook y por supuesto no conocía Internet, hace más de 25 años, ha sido con el tiempo y en un encuentro que tuvimos como recuerdo del 25 aniversario de la carrera cuando agregué a algunos.
Para mí ha sido interesante ver esta clasificación, me ha traído recuerdos y también he descubierto relaciones de amigos que no sabían que se conocían, he visto también amigos que han fallecido pero siguen activos sus perfiles en Facebook y los más aislados son sobre todo extranjeros que pasaron por Sevilla y tuve la oportunidad de establecer una buena amistad, aunque solo durara un par de días.
¿Qué opinas de todo esto? Hay algunos que se asustan que haga esta información pública, ¿Eres de los que van a dejar se ser "mi amigo" por publicarla? o al revés ¿Quieres que te analice tu red de amigos?
El domingo 9 de septiembre he participado en una ruta por el Parque Dunar llamada "Rastros y huellas" gracias a SurOeste.org , una empresa que organiza actividades relacionadas con deportes en la naturaleza.
Nuestro guía fue Jesús y comentó "el dicho" de -Doñana es como un libro que se escribe de noche y se lee por la mañana- con relación a lo que íbamos a hacer. Nos pidió que observáramos y disfrútaramos de lo que en nuestro camino fuéramos encontrando.
Jesús delante del sendero, paseo de tablas hacia el faro
La zona que rodeaba el conjunto residencial de Matalasañas lo componen 25 kilómetros de suelos de arena, aunque adentrándose en el parque, la marisma, era una zona de arcilla que a modo de tapón mantenía el agua arriba, pero que sin embargo debajo existe un acúifero enorme. Digamos que mirando al mar, la parte de zona de costa de la derecha de la urbanización lo componian dunas fósiles muy altas, que con el desgaste de las olas nos ofrecían acantilados como el del Asperillo, pero sin embargo, la zona izquierda, la que da al Parque nacional, eran dunas móviles las que componian su extensión, y eran en parte de esa manera por culpa de la acción del hombre ya que antes era una zona llena de sabinas y enebros, tipos de árboles muy resistentes que no se pudrían fácilmente por la acción del mar, pero que con la tala para la fabricación de almadrabas para capturar atún y otros empleos hizo que desaparecieran lo que ha provocado que las dunas no se frenen cuando llegan a la costa comiéndose los pinos que se replantaron en su sustitución.
Diferencia entre paisaje de pinos repoblados por el hombre y area de enebros y sabinas creada de forma natural por dispersión de animales
Desde lo alto de una duna nos señaló la diferencia entre la parte "artificialmente repoblada por el hombre de pinos piñoneros" (que se han adaptado como han podido ante el ambiente mariono para el que no tienen porte como ocurren en los pinos del interior) y las sabinas que han crecido por dispersión de semillas que las aves han sembrado en sus vuelos y/o escrementos.
Jesús delante de planta de camarina
Entre las plantas que vimos como nota curiosas que no sabía nos señaló que las camarinas son una planta que solo existe en el mundo en la vertiente atlantica de la península y que por eso debemos protegerla, su fruto que son blancas en pequeñas bayas se como y sabe a las grosellas, agridulce; existe la planta macho y la hembra.
Detalle rama de enebro
Otras de las plantas que nos señaló fue los enebros; su función es más resistente que la de los pinos y se nota como cuando existe la planta a su alrededor hace que se eleve ligeramente el terreno.
Liquen Cladonia
También nos llamó la atención la función de los líquenes (que son una mezcla de alga y hongo), llamados Cladonia, gracias a los cuales provocan un ecosistema reteniendo humedad y atrallendo vida a su alrededor.
En nuestro paso pudimos ver un nido de araña lobo y a su lado también había nidos de arañas tapaderas, la primera construye una especie de brocal (como la de un pozo) en la arena a través de sus hilos y pequeños palos, en cambio, la araña apadera hace muchos hoyos, en uno de los cuales se oculta, tanto la una como la otra, cuando detecata pequeños movimientos a su alrededor, salen rápidamente para cazar su presa.
Nidos de araña lobo y araña tapadera
También pudimos ver escarabajos de la zona llamados Pimelia, o localmente se les dice "curianas" y también nos explicó que se habla mucho de los linces pero quizás otros animales son más importantes para el ecosistema como son los escarabajos peloteros que son descompositores de, por ejemplo, los escrementos de caballos o grandes animales, sin los cuales no podría integrarse éstos en la naturaleza para su integración de una manera ecológica.
Escarabajo pimelia en la mano de Jesús.
Y las huellas.
Huella de Meloncillo.
Nos explicó que, cuando viéramos huellas, tuviéramos en cuenta además su rastro y su contexto, la huella nos da mucha información, pero a veces, sobre todo la de los felinos o algunos animales, si no se lee su rastro o contexto puede dar a confusión.
Jesús explicando la forma del rastro de huellas dejadas por un perro
Los animales domésticos suelen ir por senderos, están acostumbrados a ir con el hombre o tener un camino más fácil, en cambio los salvajes solo los cruzan, huyen o cuando huele a un humano se alejan. En las diferencia entre, por ejemplo los perros y los zorros, éstos últimos son más lineales, en cambio los perros son más caóticos, también nos explicó las diferentes tipo de hueyas, los plantigrados, digitidados y los de pezuñas. Como los felinos no marcan las uñas y las diferencia entre un gato doméstico o un lince es más por su tamaño acompañados de su rastro; nos explicó que incluso este último se confunde con nutrias que existen en la zona porque estas llevan colas y los linces cuando llevan presas de conejos a su cría el zigzag del arrastre pude confundirlos con las primeras.
Vimos huellas de conejo, fáciles de reconocer porque dibujan un 7 o una "Y" ya que primero pone las manos y luego salta con las patas, unas más juntas que las otras.
Para finalizar el recorrido, sacó unas huellas de escayola que él mismo había recogido en sus rutas y las marcó en la arena para que la estudiáramos y después de su mochila nos eseñó plumas de distintas aves que también en sus recorrido ha recogido.
Huella de gato doméstico
Huella de Nutria
Huella de tejón
Huella de zorro
Muestras de plumas
Se despidió comentando la pena que le daba ver el museo marino de Matalascañas cerrado porque él estuvo trabajando allí, y a pesar de que se dice que fue porque no tenía visitas, el problema fue más de mala gestión y su difícil mantenimiento. En la actualidad se ve expoliado, hay cristales rotos, la entrada de madera casi ni existe, han tenido que poner paneles de madera en las ventanas para que no entren en el interior.
Asistentes al senderismo descubriendo huellas y rastros en el Parque Dunar de Matalascañas
