proyecto

LENGUAJE R: HERRAMIENTA POTENTE Y GRATUITA PARA LA INTELIGENCIA DE NEGOCIO-ejemplo de análisis de textos

Después de un año de duro trabajo, termino el Programa de Big Data y Business Intelligence impartido por la facultad de ingeniería de la Universidad de Deusto. A lo largo de este tiempo, hemos aprendido muchísimo de las múltiples facetas de este concepto tan amplio que es el “Big Data”, pero, sin duda, uno de los mejores y más prácticos decubrimientos ha sido el entorno-lenguaje “R”.

R es un lenguaje superversátil, gratuito y con un soporte “open” impresionante en internet (por supuesto en inglés), que te permite encontrar siempre solución, un paquete desarrollado,consultas resueltas y scripts ejemplo, para cualquier necesidad que te encuentres en un proyecto. Yo, en este tiempo en el que me he podido empezar a asomar a este universo de posibilidades, lo he utilizado en prácticas de casos reales para distintos usos:

  • Hacer limpieza y manipulación de datos, eliminando las limitaciones de volumen que tenemos con herramientas habituales como Excel, y utilizando funciones que, en un solo paso, realizan operaciones que de otra manera supondrían numerosas pasos y tablas intermedias.
  • Aplicar modelos de predicción (regresión, clasificación) y descripción (clustering, asociación, correlación,..) a importantes volúmenes de datos para extraer conclusiones relevantes y no inmediatas.
  • Pasar información de un soporte-formato a otro de manera sencilla para poder importar o exportar desde o hacia distintas fuentes.
  • Hacer tratamientos de texto: palabras key, nubes de palabras o análisis de sentimiento de cualquier texto, incluso de páginas web o RRSS (facebook, twitter,..)

Esta última aplicación de ANÁLISIS DE TEXTO,  ha sido el objeto de mi último proyecto de trabajo en el máster, cuyo objetivo era practicar con algunas de las herramientas que R tiene para estos cometidos.

Decidí analizar los textos de los discursos de navidad del Lehendakari y del Rey de España en diciembre 2007 y en diciembre 2017. Quería observar qué diferencias y evolución ha habido entre los dos perfiles en estos 10 años. Tras la correspondiente limpieza y adecuación de los textos, por ejemplo sustituyendo ñ por gn, eliminando tildes, poniendo en minúsculas todo, igualando conceptos similares como democracia – democrático/a para poder observar mejor su peso, etc. muestro un ejemplo de algunos de los resultados obtenidos:

Las PALABRAS QUE NO FALTAN EN NINGUNO DE LOS DISCURSOS, estando presentes en todos, más de 2 veces, son las siguientes:

todosmas2

 LAS 20 PALABRAS MÁS REPETIDAS EN CADA DISCURSO, Y SU FRECUENCIA DE APARICIÓN A LO LARGO DEL MISMO, SON LAS SIGUIENTES:

2007

2017

Sin ánimo de ser exhaustiva ni realizar valoraciones, destaco algunas observaciones sencillas que se pueden extraer como ejemplo:

  • El lehendakari Ibarretxe en 2007 ha sido sin duda el más reiterativo en los conceptos clave de su discurso ya que presenta claramente una frecuencia más alta en mayor número de palabras que los demás.
  • En 2007 el lehendakari repetía la palabra “ETA” mientras que el Rey usaba “terrorismo” y la temática “terrorismo” ha perdido peso en 2017
  • En 2017 ambos dirigentes presentan en sus primeros puestos de reiteración, sus ámbitos territoriales (Euskadi, España) y aspectos ligados a la convivencia, sociedad o personas.
  • En 2017 “Cataluña” no es mencionada de manera relevante por el Lehendakari y sí por el Rey que destaca también otras palabras ligadas a este asunto.
  • La palabra “constitución”, principal argumento del discurso del Rey en 2007, desaparece de los discursos en 2017, siendo sustituida por conceptos más “soft”como democracia, derecho, principios,…
  • La “política” es claramente una preocupación de los 2 Lehendakaris, mientras que no es destacada por los Reyes de España.
  • La palabra “paz” la repiten ambos lehendakaris y no los reyes, y la palabra “vida” a la inversa, está muy presente en los discursos de los reyes pero nó de los lehendakaris.

Esté hincapié en determinados conceptos se muestra más graficamente si elaboramos las NUBES DE PALABRAS, resultantes de seleccionar los términos que cada gobernante ha utilizado en más de 6 ocasiones a lo largo de sus discursos. Los tamaños y colores de letra representan pesos de frecuencias relativas dentro de cada discurso:

nubes

Se observa un distinto estilo de comunicación entre los dirigentes españoles y vascos. Los lehendakaris presentan un estilo en el que abundan los términos muy reiterados, mientras que en el caso de los reyes, éstos concentran la insistencia en menos términos.

Por último, he querido hacer una pequeña prueba del funcionamiento de las herramientas de  ANÁLISIS DE SENTIMIENTO. R dispone de diversos paquetes para ello, yo he usado Tidyverse y Tidytext, que presentan 3 lexicons que realizan una valoración “emocional” de los sentimientos que teóricamente generan las palabras utilizadas. Los lexicones son en inglés, por lo que he traducido directamente con google (R dispone también de paquetes específicos de traducción que utilizar APIs por ejemplo de microsoft, pero no he tenido tiempo de probarlos)  los discursos del 2017 y, sin realizar ninguna revisión de la calidad de la traducción (seguramente habría que refinar muchas expresiones y términos), le he pasado los diccionarios lexicon de BING y NRC a cada discurso, para observar qué tipo de emociones provoca cada uno.

He aquí el resultado resumido del peso de cada sentimiento en los discursos de 2017:

sentimiento

Por último, utilizando el lexicon de AFINN que valora numéricamente las palabras entre -5 y +5 según la negatividad o positividad de los sentimientos generados, el resultado final es el siguiente, expresado en los correspondientes histogramas de frecuencia de presencia de cada tipo de valor emocional:

histogr

Nota: el número de palabras totales/únicas que se ha podido valorar (que después de ser traducido el discurso, estaban presentes en el lexicon) en cada caso ha sido de 85/53 para el Lehendakari y de 106/87.

Se observa que el discurso del lehendakari se encuentra sesgado hacia la positividad mientras que el del Rey de España presenta más valores extremos, lo que resulta en un valor “emocional” medio de +1,06 sobre 5 en el caso del lehendakari y de un 0,49 sobre 5 en el caso de el Rey, resultados que corroboran el mostrado en la clasificación de términos anterior.

En resumen,  el lenguaje R es una herramienta que, una vez realizado el esfuerzo inicial imprescindible para adquirir la competencia mínima, presenta un enorme potencial de aplicación a cualquier necesidad o problema de análisis de datos que a una empresa se le pueda presentar, siendo un aliado muy interesante y recomendable para el desarrollo del business intelligence en cualquier empresa.

Anuncios

CLAVES DEL ÉXITO DE UN PROYECTO: LA GESTIÓN DE EXPECTATIVAS

Una de las claves del éxito en cualquier proyecto (profesional o personal) es: La gestión de expectativas.

No importa el resultado objetivo y medible sino la valoración subjetiva que de él hacemos. Y esa valoración es el resultado de comparar lo que percibimos que hemos obtenido con lo que esperábamos obtener. Y ahí interviene la Gestión de expectativas.

clave del éxito de un proyecto: la gestión de expectativasEl resultado, se puede comunicar de mejor o peor manera (*), pero, lo esperado sí que se puede moldear y ajustar a lo largo de cualquier proceso/proyecto.

Ejemplo muy sencillo del ámbito personal:

Ane va a presentarle a Helene a su novio. Helene no le ha visto nunca, pero Ane ya le ha hablado de él. El novio por fin aparece, mejor o peor arreglado ((*) grado de variabilidad del resultado) y la opinión de Helene es:

Situación A) “Nada feucho ni con nariz grande, como avisaba Ane, incluso guapo y mucho más alto de lo que Ane decía”. Es decir, no está nada mal, de hecho está bastante bien.

Situación B)“De alto no tiene nada (según comentaba Ane), es casi igual que ella y el parecido a Brad Pitt, será a oscuras…..” Es decir, es un chico del montón, sin más.

Es decir, que este chico que, objetivamente a primera vista es de una determinada forma, provoca un efecto muy distinto según la idea previa que se tuviera formada sobre lo que se iba a ver.

Ejemplo muy sencillo del ámbito profesional:

Raúl y Nora gestionan sendos proyectos muy parecidos en dos clientes distintos. Los proyectos siguen la misma trayectoria y obtienen un resultado parecido, peor en plazo y en calidad de lo previsto en la oferta.

caso A) Nora desde el principio ha ido informando al cliente puntualmente del avance, de los riesgos posibles y de las soluciones que se iban tomando. Tanto al personal que participaba en el proyecto como a los líderes-directores del mismo (que siempre están un poco más alejados). Al finalizar, el cliente sabe que el resultado no es el óptimo pero está satisfecho porque asume que las cosas se han hecho de la mejor manera posible. No se siente defraudado.

caso B) Raúl deseaba que el cliente pensara que estaba todo controlado y que todo iba fenomenal, y es lo que ha ido trasladando en las reuniones. Ha ido tapando los problemas que han surgido pensando que al final ya los solucionaría. Al finalizar, muchas cosas no se han podido solucionar y el cliente se ha encontrado con desagradables sorpresas. Su satisfacción con el trabajo realizado es negativa, el resultado no es el esperado y se siente defraudado.

Algunas claves de la gestión de expectativas, en general, y en particular en un proyecto:

  •  Hay que asegurarse de saber qué espera el cliente al inicio del proyecto. Esencial plasmarlo en la oferta-contrato.
  • La comunicación no debe de limitarse al final del proceso. Tiene que realizarse, al menos, siempre que ocurra algo que ponga en peligro el resultado, para poder lo que reajustar éste.
  • En proyectos grandes, es esencial hacer una gestión dinámica y sistemática de riesgos y planes de contingencia asociados
  • Es mejor pecar de prudentes y sinceros porque ganar un contrato es importante pero el objetivo es ganar un cliente.

En resumen, es esencial, ser conscientes de la importancia que tiene lo que transmitimos y comunicamos en relación a un resultado futuro, ya que esto va moldeando lo que se espera obtener y permite que incluso, aunque el resultado no sea objetivamente bueno, estemos satisfechos con lo obtenido.

 

¿INNOVANDO O “SIMPLEMENTE” MEJORANDO? Depende de la ventaja competitiva que conlleve el cambio….

La verdad es que a pesar de ser yo misma consultora, soy muy crítica con las modas que acaban con el verdadero valor y sentido de algunos conceptos. El caso de la innovación es uno de ellos. Huyo de modelos teóricos y generales, que no aportan nada porque se quedan a 5 metros del suelo. No aterrizan las cosas y cualquier nueva aportación tiene que ser fácilmente entendible, aplicable y claramente valiosa (cuantificable) y útil para las organizaciones que decidan apostar por ella.

Tengo que puntualizar que cuando hablamos de innovación podemos referirnos a la innovación continua (ese estado ideal y permanente de “hambre de creatividad y mejora” que propugnan muchos modelos de excelencia) o a la innovación puntual, resultado de una situación concreta con un objetivo práctico concreto y con un proyecto que lo lleva a cabo. A esta última me voy a referir.

Paso previo: consensuar de qué estamos hablando. Para eso, debemos de consensuar qué entendemos por innovar. Resumiríamos que se trata de buscar cambios, que impliquen mejoras y que cuanto más novedosas sean, mayor será la ventaja competitiva que otorguen a la empresa que las lleva a cabo. Ver https://olarrieta.com/2013/02/13/diferencias-y-definiciones-de-cambio-mejora-e-innovacion/

Imagen

Primer paso: Aclarar para qué queremos innovar, qué queremos conseguir con ello, dependerá de la situación de partida de la organización:

  • Queremos SOBREVIVIR: empresa que va mal y necesita hacerse más competitiva ingresando más y/o gastando menos
  • Queremos CRECER: empresa que tiene un posicionamiento asentado pero quiere hacer crecer el negocio (nuevos mercados o nuevos clientes) y/o sus ganancias
  • Queremos REPOSICIONARNOS: empresa que quiere cambiar su posición de mercado y/o su percepción ante sus clientes, proveedores, empleados y/o sociedad
  • Queremos EXPERIMENTAR: empresa que desea aires internos nuevos, proyectos ilusionantes o revulsivos

Segundo paso: Configurar el proyecto. Hay que diseñar el equipo de trabajo, las responsabilidades básicas, los plazos de finalización de cada fase del proyecto y los hitos/resultados esperados. De forma general hablaríamos de:

  • Fase1: Diagnosticar la situación de partida. Analizar la situación actual con un alcance que dependerá del objetivo de la mejora/innovación que se pretenda: Sector/competencia (el más amplio), negocio (posicionamiento propio y relaciones con los grupos de interés) u organización y gestión interna (el más acotado)
  • Fase 2: Estudiar e identificar el objeto del cambio y los resultados esperados al final del camino. En esta fase entran en juego las técnicas de creatividad para facilitar el dar con soluciones más allá de las prácticas habituales:

Ejemplos de mejoras/ innovaciones:

  • Nuevo producto/servicio (añadido o complementario a existente)
  • Nuevo canal de distribución/venta
  • Nuevo modelo de relación con clientes
  • Nuevo modelo de cobro a clientes
  • Nuevo modelo de servicio postventa
  • Nuevo modelo de relación con proveedores
  • Nuevo modelo de pago a proveedores
  • Nuevo modelo de relación con empleados
  • Nuevo modelo de retribución a empleados
  • Nuevo sistema o procedimiento interno que reduzca tiempos, costes o errores o que mejore la experiencia

Los resultados esperados deben de ser cuantificables, y pueden ser directos (incremento ingresos, reducción de costes) o indirectos (mejoras de satisfacción)

  • Fase 3: Detallar el Plan de acción: qué se va a hacer, quién lo va a hacer, cuándo lo va a hacer y con qué recursos se va a hacer
  • Fase 4: Establecer el método de seguimiento y control del desarrollo del proyecto y de los resultados obtenidos. Reenfoque si es necesario

Tercer paso: lanzar el proyecto y hacer un seguimiento sistemático y exigente del mismo, con la Dirección en cabeza, corrigiendo el enfoque si fuera necesario.

Y a partir de aquí comienza el camino….