excel

LENGUAJE R: HERRAMIENTA POTENTE Y GRATUITA PARA LA INTELIGENCIA DE NEGOCIO-ejemplo de análisis de textos

Después de un año de duro trabajo, termino el Programa de Big Data y Business Intelligence impartido por la facultad de ingeniería de la Universidad de Deusto. A lo largo de este tiempo, hemos aprendido muchísimo de las múltiples facetas de este concepto tan amplio que es el “Big Data”, pero, sin duda, uno de los mejores y más prácticos decubrimientos ha sido el entorno-lenguaje “R”.

R es un lenguaje superversátil, gratuito y con un soporte “open” impresionante en internet (por supuesto en inglés), que te permite encontrar siempre solución, un paquete desarrollado,consultas resueltas y scripts ejemplo, para cualquier necesidad que te encuentres en un proyecto. Yo, en este tiempo en el que me he podido empezar a asomar a este universo de posibilidades, lo he utilizado en prácticas de casos reales para distintos usos:

  • Hacer limpieza y manipulación de datos, eliminando las limitaciones de volumen que tenemos con herramientas habituales como Excel, y utilizando funciones que, en un solo paso, realizan operaciones que de otra manera supondrían numerosas pasos y tablas intermedias.
  • Aplicar modelos de predicción (regresión, clasificación) y descripción (clustering, asociación, correlación,..) a importantes volúmenes de datos para extraer conclusiones relevantes y no inmediatas.
  • Pasar información de un soporte-formato a otro de manera sencilla para poder importar o exportar desde o hacia distintas fuentes.
  • Hacer tratamientos de texto: palabras key, nubes de palabras o análisis de sentimiento de cualquier texto, incluso de páginas web o RRSS (facebook, twitter,..)

Esta última aplicación de ANÁLISIS DE TEXTO,  ha sido el objeto de mi último proyecto de trabajo en el máster, cuyo objetivo era practicar con algunas de las herramientas que R tiene para estos cometidos.

Decidí analizar los textos de los discursos de navidad del Lehendakari y del Rey de España en diciembre 2007 y en diciembre 2017. Quería observar qué diferencias y evolución ha habido entre los dos perfiles en estos 10 años. Tras la correspondiente limpieza y adecuación de los textos, por ejemplo sustituyendo ñ por gn, eliminando tildes, poniendo en minúsculas todo, igualando conceptos similares como democracia – democrático/a para poder observar mejor su peso, etc. muestro un ejemplo de algunos de los resultados obtenidos:

Las PALABRAS QUE NO FALTAN EN NINGUNO DE LOS DISCURSOS, estando presentes en todos, más de 2 veces, son las siguientes:

todosmas2

 LAS 20 PALABRAS MÁS REPETIDAS EN CADA DISCURSO, Y SU FRECUENCIA DE APARICIÓN A LO LARGO DEL MISMO, SON LAS SIGUIENTES:

2007

2017

Sin ánimo de ser exhaustiva ni realizar valoraciones, destaco algunas observaciones sencillas que se pueden extraer como ejemplo:

  • El lehendakari Ibarretxe en 2007 ha sido sin duda el más reiterativo en los conceptos clave de su discurso ya que presenta claramente una frecuencia más alta en mayor número de palabras que los demás.
  • En 2007 el lehendakari repetía la palabra “ETA” mientras que el Rey usaba “terrorismo” y la temática “terrorismo” ha perdido peso en 2017
  • En 2017 ambos dirigentes presentan en sus primeros puestos de reiteración, sus ámbitos territoriales (Euskadi, España) y aspectos ligados a la convivencia, sociedad o personas.
  • En 2017 “Cataluña” no es mencionada de manera relevante por el Lehendakari y sí por el Rey que destaca también otras palabras ligadas a este asunto.
  • La palabra “constitución”, principal argumento del discurso del Rey en 2007, desaparece de los discursos en 2017, siendo sustituida por conceptos más “soft”como democracia, derecho, principios,…
  • La “política” es claramente una preocupación de los 2 Lehendakaris, mientras que no es destacada por los Reyes de España.
  • La palabra “paz” la repiten ambos lehendakaris y no los reyes, y la palabra “vida” a la inversa, está muy presente en los discursos de los reyes pero nó de los lehendakaris.

Esté hincapié en determinados conceptos se muestra más graficamente si elaboramos las NUBES DE PALABRAS, resultantes de seleccionar los términos que cada gobernante ha utilizado en más de 6 ocasiones a lo largo de sus discursos. Los tamaños y colores de letra representan pesos de frecuencias relativas dentro de cada discurso:

nubes

Se observa un distinto estilo de comunicación entre los dirigentes españoles y vascos. Los lehendakaris presentan un estilo en el que abundan los términos muy reiterados, mientras que en el caso de los reyes, éstos concentran la insistencia en menos términos.

Por último, he querido hacer una pequeña prueba del funcionamiento de las herramientas de  ANÁLISIS DE SENTIMIENTO. R dispone de diversos paquetes para ello, yo he usado Tidyverse y Tidytext, que presentan 3 lexicons que realizan una valoración “emocional” de los sentimientos que teóricamente generan las palabras utilizadas. Los lexicones son en inglés, por lo que he traducido directamente con google (R dispone también de paquetes específicos de traducción que utilizar APIs por ejemplo de microsoft, pero no he tenido tiempo de probarlos)  los discursos del 2017 y, sin realizar ninguna revisión de la calidad de la traducción (seguramente habría que refinar muchas expresiones y términos), le he pasado los diccionarios lexicon de BING y NRC a cada discurso, para observar qué tipo de emociones provoca cada uno.

He aquí el resultado resumido del peso de cada sentimiento en los discursos de 2017:

sentimiento

Por último, utilizando el lexicon de AFINN que valora numéricamente las palabras entre -5 y +5 según la negatividad o positividad de los sentimientos generados, el resultado final es el siguiente, expresado en los correspondientes histogramas de frecuencia de presencia de cada tipo de valor emocional:

histogr

Nota: el número de palabras totales/únicas que se ha podido valorar (que después de ser traducido el discurso, estaban presentes en el lexicon) en cada caso ha sido de 85/53 para el Lehendakari y de 106/87.

Se observa que el discurso del lehendakari se encuentra sesgado hacia la positividad mientras que el del Rey de España presenta más valores extremos, lo que resulta en un valor “emocional” medio de +1,06 sobre 5 en el caso del lehendakari y de un 0,49 sobre 5 en el caso de el Rey, resultados que corroboran el mostrado en la clasificación de términos anterior.

En resumen,  el lenguaje R es una herramienta que, una vez realizado el esfuerzo inicial imprescindible para adquirir la competencia mínima, presenta un enorme potencial de aplicación a cualquier necesidad o problema de análisis de datos que a una empresa se le pueda presentar, siendo un aliado muy interesante y recomendable para el desarrollo del business intelligence en cualquier empresa.

Anuncios

Artículo: Las mejores páginas web y cursos online gratis para aprender Excel

Las mejores páginas web y cursos online gratis para aprender Excel

http://flip.it/Cs0Qta

Artículo: MS Excel: WARNING! Analytics & Dashboards — This Is A Post For Accountants…

MS Excel: WARNING! Analytics & Dashboards — This Is A Post For Accountants…

http://flip.it/Nm-UlB

Artículo: Excel INDEX / MATCH function instead of VLOOKUP – formula examples

Excel INDEX / MATCH function instead of VLOOKUP – formula examples
Muy útil!
Se acabó la limitación de hacer la búsqueda solo en la primera columna!

http://flip.it/wpzXcb

Artículo: 11 basic Excel tricks that will change your life

Son algunas short keys y algunas funciones muy útiles. Faltan algunas otras y sobre todo…las tablas dinámicas!!!. Habrá que hacer un monográfico sobre eso 😉
http://flip.it/t3Z8t

Artículo: Excel Tricks Every Entrepreneur Should Know

La aplicación informática mas útil para gestionar cualquier área de cualquier negocio!! Homenaje a MSExcel

Excel Tricks Every Entrepreneur Should Know

http://flip.it/px0zU

Claves de la consultoría: reflexiones personales tras 20 años de profesión

El pasado 2 de enero cumplí 20 años trabajando ininterrumpidamente de consultora “todoterreno” de gestión/negocio. Mi primera nómina fue allá por 1995, en el entonces Andersen Consulting y actual Accenture, y mi última factura emitida ha sido por servicios de consultoría, actualmente como trabajadora autónoma debido a mi deseo de poder compaginar mi familia numerosa con mi profesión. Es decir, llevo 20 años trabajando de consultora.

He trabajado para clientes públicos y privados, para clientes pequeños y grandes, en proyectos estratégicos y también muy operativos, de casi todas las áreas de gestión, con y sin aplicación informática asociada, y si algo he aprendido es (además de ser experta en Excel y PowerPoint (:P) ) a tener una visión global de la organización, de su negocio y su contexto, de manera que soy capaz de ver claramente la relación de todas las actividades internas, y/o de las actividades y su impacto en el mercado/sector o en los grupos de interés, además de poder identificar rápidamente dónde hay oportunidades de mejora de la forma de hacer las cosas y cómo se podría mejorar. Hasta ahí, todo bien.
Y sin embargo hoy es el día que me sigue resultando difícil explicar a mi hija de 8 años qué hago…ahí va un sucedido real….

-ama!, la andereño (profesora) nos ha pedido que expliquemos a qué se dedican nuestros padres…aita es ingeniero, y tú?
-pues yo soy……economista (lo de licenciada en ciencias empresariales, como que me pareció más complicado….)
-y eso qué es?
-bueno, mejor dile que soy: consultora
-y eso qué es? qué haces?
-pues……..ayudar a las empresas a solucionar problemas, …..a hacer mejor las cosas, les ayudo con cosas que ellas solas no pueden,…
-ahh!….ya entiendo…..ayudar a los demás!………
Al día siguiente, después del cole, me cuenta que han estado hablando sobre el tema y que ella ha explicado a qué se dedica su ama, tras lo cual su andereño ha concluido que trabajo en una ONG…:)

(esto lo añado el día 14 de agosto de 2105: me hizo mucha gracia mi hijo el otro día, ante la enésima pregunta de a qué me dedicaba y tras decirles que “a hacer de todo un poco”, mi hijo concluyó: “ah o sea que eres como UNA NAVAJA SUIZA” jejeje, una buena definición 🙂

Resumiendo, profesión rara la nuestra, porque sabemos de todo pero no somos especialistas en nada, porque una de nuestras especialidades es saber qué especialista necesita nuestro cliente…..soy una consultora de gestión todoterreno.

Además, en estas reflexiones, también me gustaría resaltar otra idea que con los años cada vez siento más necesaria, y es que cualquier proyecto de consultoría debe de alcanzar y visibilizar beneficios que no existían antes de realizarlo. De otra manera estaremos vendiendo los famosos “pájaros y flores”, sólo papel o archivos que costarán mucho dinero y no servirán para nada.

Deberían de percibirse alguno de los siguientes resultados, que a su vez están internamente relacionados entre sí:

  1. Mejorar la cuenta de resultados: aumentar ingresos, reducir gastos y/o aumentar la productividad y eficiencia interna..
  2. Mejorar en el posicionamiento externo: mejora de imagen, mejora visibilidad, mejora de canales de comunicación,..
  3. Mejorar la capacidad competitiva de la empresa: ampliando/mejorando productos, servicios, mercados…
  4. Mejorar la capacidad de supervivencia de la empresa, ayudándole a cumplir con exigencias/requisitos del mercado/sector/gran cliente….
  5. Mejorar el clima y/o la satisfacción de las personas en/con el trabajo realizado. La felicidad interna genera además indirectamente beneficios a terceros y provoca círculos virtuosos de mejora.
  6. Mejorar la satisfacción de otros grupos de interés, específicamente de los clientes incrementando el valor o calidad de lo ofertado/demandado…
  7. ……

Sin olvidar que también hay otros proyectos, cuyos resultados son mucho más discretos pero igual de requeridos, como ayudar a hacer ofertas/proyectos para licitaciones públicas, elaborar presentaciones diversas e incluso otros, bastante políticamente incorrectos pero reales, como generar un documento cuyas conclusiones soporten decisiones previamente tomadas……
De todo ha habido en 20 años…….y veremos, y con un poco de suerte contaremos, qué nos deparan los próximos 20.

Como diría una famosa presentadora…SALUD y SUERTE!