4. Evaluación
Esta sección describe los conceptos y consideraciones clave que pueden ayudar a una empresa a medir (y así articular de manera creíble) los resultados de sus Búsquedas Positivas.
Como se ha descrito anteriormente, una empresa puede llevar a cabo Búsquedas Positivas de muchas maneras, pero las actividades se pueden pensar tipicamente en términos de proyectos o productos. La orientación de esta sección es relevante para ambos, pero para simplificar se utilizará el término proyectos.
4.1 Crear o contribuir a un impacto positivo
El camino hacia el impacto positivo a menudo comienza con la intencionalidad, por lo que una empresa tiene un propósito claro para lograr ciertos resultados, y es capaz de establecer exactamente cómo lo hará. Pero a veces las actividades de una empresa pueden llevar a resultados positivos por casualidad.
En cualquier caso, si una empresa desea comprender y explicar el alcance de los resultados que logra, debe ser capaz de articular por qué cree que existe un vínculo entre la acción y el resultado. Esta explicación es a veces referida como una teoría del cambio (véase el recuadro abajo).
Teoría del cambio
Una teoría del cambio es una descripción de cómo y por qué se espera que ocurra un resultado específico en un contexto particular. [187] Esta descripción puede incluir vínculos entre los problemas abordados, los insumos utilizados (capital invertido, tiempo, etc.), las actividades realizadas, los productos producidos y los beneficios que se devengan (y a quién) como resultado.
Para que una empresa articule de manera creíble por qué está creando o contribuyendo a un resultado, debe tener una buena comprensión de su teoría del cambio.
Cuando sea posible, el progreso debe ser rastreado desde el momento en que un proyecto comienza. Al hacerlo, es importante distinguir entre varios niveles de evaluación, en orden creciente de importancia: insumo, producto, resultado e impacto (véase la Figura 11).
Los insumos y los productos son los más sencillos, porque este tipo de información suele ser captado por los sistemas tradicionales de gestión de recursos o de informes financieros. Los productos no suelen ser el objetivo final del proyecto en sí, sino el mecanismo a través del cual se logran los resultados.
El siguiente nivel consiste en evaluar los resultados alcanzados: cambios medibles que se producen para las partes interesadas. Los resultados obtenidos pueden ser positivos o negativos, intencionales o no intencionales. En comparación con los resultados, la evaluación de los resultados generalmente requiere la recopilación y el análisis de datos que la empresa puede no rastrear de forma rutinaria. Cuantificar los resultados siempre es preferible, pero a veces los resultados de un proyecto pueden tardar años en materializarse, o su medición puede ser poco práctica. En tales casos, una empresa puede optar por centrar su evaluación y presentación de informes únicamente en los resultados.
Una empresa puede asumir que sin su proyecto, las cosas seguirían siendo las mismas que antes de que comenzara. En realidad, el mundo está cambiando constantemente. Factores como los fenómenos meteorológicos, las tendencias económicas y culturales, la disponibilidad de tecnología y los cambios demográficos pueden llevar a cambios significativos en los resultados que no se deben a la intervención de la empresa. En la medida en que los recursos y la practicidad lo permitan, una empresa debe tratar de evaluar su contribución a cualquier resultado realizado, con el fin de facilitar una verdadera comprensión del impacto de sus acciones.
La siguiente sección describe cómo evaluar e informar sobre las Búsquedas Positivas en cada nivel.
Figura 11: Niveles de evaluación de Búsquedas Positivas.
4.2 Evaluación e informes sobre las Búsquedas Positivas
Hay un numero potencialmente infinito de formas en las que una empresa puede emprender una Búsqueda Positiva. Por ejemplo, garantizar que más personas estén sanas y a salvo de daños reduciendo el impacto de la diabetes entre las personas más pobres del mundo, podría abordarse educando a las personas sobre opciones alimentarias saludables, proporcionando acceso a insulina asequible o capacitando a profesionales de la salud para detectar y tratar la enfermedad antes de que los síntomas aumenten.
Esta diversidad de enfoques significa que puede resultar difícil evaluar e informar sobre dos proyectos cualesquiera de una manera coherente y comparable. Pero esforzarse por hacerlo es importante, tanto para informar las decisiones futuras de proyectos, como para presentar los resultados a los inversores y otros de una manera significativa. La necesidad de una forma común de describir el impacto llevó a la formación del Proyecto de Gestión de Impacto (PGI), del que se basan las siguientes orientaciones (véase el recuadro de llamadas a continuación).
Formas de caracterizar y evaluar los resultados de un proyecto
Una empresa debe elegir en cuál de los cuatro niveles de evaluación (o una combinación de estos) centrarse en un proyecto determinado, dependiendo de sus características y progreso.
Con cualquier proyecto, el objetivo final debe ser evaluar los resultados en términos de sus impactos, pero si esto no es posible o práctico, una empresa debe indicar los motivos para su enfoque de evaluación elegido.
Presentación del Proyecto de Gestión de Impacto (PGI)
Entre 2016 y 2018, el PGI reunió a más de 2.000 profesionales de distintas geografías y disciplinas, para llegar a un consenso sobre cómo hablar, gestionar y medir el impacto, puenteando las perspectivas de negocios, organizaciones sin fines de lucro, inversión, ciencias sociales, concesión de subvenciones, evaluación, políticas, organismos de normalización y contabilidad. Este grupo diverso llegó a una definición compartida de “impacto” y acordó los tipos de datos que uno esperaría encontrar en cualquier marco o informe de impacto adecuado.255 [18]
la Figura 12 identifica cinco conceptos clave (partes interesadas, escala, profundidad, duración e importancia) que, en conjunto, caracterizan el alcance de los resultados de un proyecto, ya sea previsto o realizado. Estos cinco conceptos sustentan las métricas y narrativas utilizadas para cada nivel de evaluación.
Figura 12: Conceptos clave para la evaluación: partes interesadas, escala, profundidad, duración y significancia.
| Conceptos clave para evaluar las Búsquedas Positivas | |||
|---|---|---|---|
| Conceptos | Descripción | Categorización | Medición |
| Las partes interesadas | Las personas que experimentan el resultado o, en su caso, el entorno afectado por el cambio. | No corresponde | No corresponde |
| Escala | El número de personas que experimentan el resultado o, si procede, el área del entorno afectada por el cambio. | No corresponde | Determinar el número de individuos, comunidades o áreas de tierra afectadas |
| Profundidad | El grado de cambio social o ambiental experimentado por la parte interesada (por ejemplo, aumento de las tasas de alfabetización) | No corresponde | Determinar la diferencia entre el nivel de resultado experimentado actualmente y la línea de base (condiciones antes de que comenzara el proyecto) |
| Duración | Período de tiempo durante el cual la parte interesada experimenta el resultado (por ejemplo, número de meses) |
|
La duración y la importancia pueden medirse mediante:
|
| Significado | Importancia del resultado desde la perspectiva de la parte interesada afectada |
|
|
Evaluación e informes sobre los insumos del proyecto
Si un proyecto está en sus primeras etapas, los insumos que una empresa ha proporcionado para apoyarlo o desarrollarlo pueden ser lo único que se puede rastrear. En tales casos, el progreso debe ser evaluado e informado como se describe en la Figura 13.
Figura 13: Cómo evaluar los insumos del proyecto.
| Entradas del proyecto | |
|---|---|
| Indicadores de progreso | Datos de contexto |
| Insumo: la cantidad de recursos financieros o de otro tipo proporcionados para el proyecto. | Búsqueda Positiva: el tipo o tipos de resultados que el proyecto pretende ofrecer |
Resumen del proyecto: una breve descripción del proyecto, explicando cómo se espera que contribuya a la Búsqueda Positiva. Esto debe incluir:
|
|
| Escala prevista: Número de personas o área de ambiente que probablemente se verá afectada por el proyecto. | |
| Profundidad prevista: El grado previsto de cambio social o ambiental que el interesado puede experimentar. | |
| Categoría de duración prevista: temporal, periodo fijo o permanente | |
| Categoría de importancia prevista: satisfacción de una necesidad menor, necesidad significativa o necesidad importante | |
| Posibles compensaciones: resultados negativos que podrían resultar del proyecto | |
Evidencia: Evidencia cuantitativa y/o cualitativa, junto con detalles de los métodos de medición utilizados para
|
|
Evaluación y presentación de informes sobre los resultados del proyecto
Una vez que un proyecto está en marcha, una empresa debe poder realizar un seguimiento de los resultados provisionales (en relación con sus resultados) a medida que comienzan a acumularse. Los progresos deben evaluarse y comunicarse como se describe en la Figura 14.
Figura 14: Cómo evaluar los resultados del proyecto.
| Resultados del proyecto | |
|---|---|
| Indicadores de progreso | Datos de contexto |
| Salida: El número o escala de objetos, condiciones o servicios que se forman a partir de la entrada. | Búsqueda Positiva: El tipo de resultado que el proyecto pretende ofrecer |
Resumen del proyecto: Una breve descripción del proyecto, explicando cómo se espera que contribuya a la Búsqueda Positiva. Esto debe incluir:
|
|
| Escala prevista: El número de personas o área de ambiente que probablemente se verá afectada por el proyecto. | |
| Profundidad prevista: El grado previsto de cambio social o ambiental que el interesado puede experimentar. | |
| Categoría de duración prevista: temporal, periodo fijo o permanente | |
| Categoría de importancia prevista: satisfacción de una necesidad menor, necesidad significativa o necesidad importante | |
| Posibles compensaciones: resultados negativos que podrían resultarse del proyecto | |
Evidencia: Evidencia cuantitativa y/o cualitativa, junto con detalles de los métodos de medición utilizados para:
|
|
Evaluación e informes sobre los resultados del proyecto
A un nivel alto, los resultados de un proyecto pueden describirse en términos de la Búsqueda Positiva con la que se relacionan, pero se deben proporcionar detalles específicos cuando sea posible. Por ejemplo, el resultado de un proyecto que garantiza que más personas estén sanas y a salvo de daños puede cuantificarse en términos de un aumento de los años de vida ajustados en función de la calidad (AVAC).
Los progresos deben evaluarse y comunicarse como se describe en la Figura 15. Para obtener más orientación sobre cómo calcular la profundidad y la duración vea esta pregunta frecuente. Cuando no se puede identificar un indicador de resultado adecuado, un indicador de salida puede ser utilizado como un proxy.256
Figura 15: Cómo evaluar los resultados del proyecto.
| Resultados del proyecto | |
|---|---|
| Indicadores de progreso | Datos de contexto |
|
Escala: Número de personas o área del entorno afectada por el proyecto. |
Búsqueda Positiva: El tipo de resultado que el proyecto pretende ofrecer |
|
Profundidad: El grado de cambio social o ambiental que experimentó la parte interesada. |
Resumen del proyecto: una breve descripción del proyecto, explicando cómo se espera que contribuya a la
búsqueda positiva. Esto debe incluir:
|
|
Duración: El período de tiempo durante el cual la parte interesada experimentó el resultado. |
|
|
Categoría de duración: Puntual, de duración fija o permanente |
|
|
Importancia: La importancia confirmada del resultado para la parte interesada. |
Evidencia: Evidencia cuantitativa y/o cualitativa, junto con detalles de los métodos de medición
utilizados para:
|
|
Categoría de importancia: Satisfacer una necesidad menor, significativa o mayor |
|
| Compensaciones: La profundidad, la duración y la importancia de los resultados negativos que resulten del proyecto. | |
Evaluación e informes sobre los impactos del proyecto
Puede ser difícil determinar hasta que punto un resultado es atribuible a un proyecto específico. La forma más fiable de hacerlo es establecer un “contrafacto”, es decir, lo que habría sucedido en ausencia de la intervención de la empresa. La IGP proporciona una orientación más útil sobre este tema: vea esta pregunta frecuente para más detalles.
Una vez que se establece un contrafacto adecuado, el progreso debe evaluarse y notificarse como se describe en la Figura 16. Para obtener más información sobre cómo calcular la contribución de una empresa a la profundidad y duración, consulte esta pregunta frecuente.
Figura 16: Cómo evaluar los impactos del proyecto.
| Impactos del proyecto | |
|---|---|
| Indicadores de progreso | Datos de contexto |
|
Escala: Número de personas o área del entorno afectada por el proyecto |
Búsqueda Positiva: el tipo de resultado que el proyecto pretende ofrecer |
|
Contribución de profundidad: El grado de cambio social o ambiental que experimentó la parte interesada que es directamente atribuible al proyecto. |
Resumen del proyecto: una breve descripción del proyecto, explicando cómo se espera que contribuya a la Búsqueda Positiva. Esto debe incluir:
|
|
Contribución de duración: el período de tiempo durante el cual la parte interesada experimentó el resultado que es directamente atribuible al proyecto |
|
|
Categoría de duración: Puntual, de duración fija o permanente |
|
|
Importancia: La importancia confirmada del resultado para la parte interesada |
Evidencia: Evidencia cuantitativa y/o cualitativa, junto con detalles de los métodos de medición
utilizados para:
|
|
Categoría de importancia: Satisfacer una necesidad menor, significativa o mayor |
|
| Compensaciones: La profundidad, la duración y la importancia de los resultados negativos que resulten del proyecto | |
La evaluación de las Búsquedas Positivas permite a una empresa evaluar la eficacia de sus actividades y comunicar sus logros a las partes interesadas clave. Para obtener más información sobre cómo reportar los resultados de las Búsquedas Positivas, vea Cómo utilizar esta guía.
4.3 Ejemplo
ACME Inc. fabrica y vende productos de limonada totalmente naturales. Cultiva algunos de los ingredientes que utiliza, y obtiene otros de pequeños agricultores en las inmediaciones de su planta de producción. Tanto ACME como los pequeños agricultores dependen de una fuente de agua cercana, que ha estado sufriendo estrés hídrico durante un período prolongado.
Un informe de una ONG que opera en el país ha identificado a la región como económicamente vulnerable al cambio climático, que depende en gran medida de la agricultura y sufre de escasez de agua. Durante la próxima década, la ONG proyecta que el mayor impacto local del cambio climático será una disminución del 15% en los rendimientos de los cultivos.
Proyecto
Teoría del cambio
ACME decide organizar clases gratuitas para pequeños agricultores locales para ayudarles a aumentar sus rendimientos y reducir su uso del agua, enseñando las mejores técnicas agrícolas que la propia empresa ya emplea. ACME describe los resultados previstos de este programa como dos: otros contribuyen menos al estrés hídrico y las capacidades de las personas se fortalecen.
La expectativa de ACME es que el nuevo conocimiento de los agricultores mejorará los rendimientos en los próximos años, al tiempo que reducirá su dependencia del agua.
El curso se ofrece a los agricultores dentro de unas pocas docenas de millas de las instalaciones de ACME.
Descripción del proyecto
Cada participante del curso recibe ayuda para completar una encuesta de inscripción, y ACME cuenta los formularios completados para determinar el número de participantes en el programa. En el transcurso del período de capacitación, ACME supervisa la asistencia de todos los agricultores que se han inscrito y, una vez finalizada la capacitación, se les somete a pruebas verbales sobre lo que han aprendido.
ACME visita a cada agricultor seis meses después de la formación inicial, para determinar qué tan bien están poniendo en práctica las técnicas enseñadas. La compañía también asigna recursos para verificar anualmente con los agricultores durante los próximos tres años, para monitorear si las nuevas técnicas siguen siendo utilizadas, para proporcionar capacitación de actualización y para medir si se ha producido el aumento esperado en los rendimientos de los cultivos.
Evaluación del proyecto después de 3 años
Después de tres años, ACME evalúa el impacto del proyecto. Si bien los agricultores informan que su uso del agua no ha aumentado, las pruebas de cuánto se ha ahorrado son anecdóticas en el mejor de los casos, dada la falta de seguimiento formal durante el período. Por lo tanto, ACME no puede determinar si el proyecto aseguró que Otros contribuyan menos al estrés hídrico.
En cambio, centra su evaluación en cómo sus esfuerzos pudieron garantizar que se fortalecieran las capacidades de las personas.
Escala
Un total de 60 agricultores se inscribieron y tomaron la capacitación. Después de seis meses, se descubrió que 40 de los 60 agricultores originales estaban aplicando activamente lo que aprendieron.
Profundidad
En el transcurso de los 3 años, los rendimientos de los 40 agricultores que aplicaron las nuevas técnicas mejoraron en promedio un 30% anual (en comparación con un grupo de control de agricultores similares que no recibieron la capacitación, operando en la misma región).
Al inscribirse en el curso, los agricultores fueron encuestados sobre sus prácticas agrícolas existentes, cualquier capacitación que habían recibido en los últimos cinco años y por qué habían decidido inscribirse en el curso. Los resultados revelaron que los agricultores no podrían, sin la intervención de la empresa aprender a aplicar las nuevas técnicas agrícolas.
Por lo tanto, ACME concluye que la mejora del rendimiento se puede atribuir principalmente a su programa educativo.
Duración
La expectativa de ACME era que el nuevo conocimiento de los agricultores mejoraría los rendimientos en los años venideros, y esto es lo que sugirió la evidencia: el aumento en el rendimiento (en comparación con el grupo de control) ocurrió la temporada siguiente al programa de educación, y se mantuvo constante después. Por lo tanto, ACME concluye que la duración puede clasificarse como permanente.
Significado
Para evaluar la importancia del proyecto, ACME inicialmente llevó a cabo su propia investigación. Al evaluar el costo de vida en el área, y compararlo con los ingresos obtenidos por las ventas de cultivos por una muestra de agricultores locales, ACME encontró que la disminución esperada en el rendimiento de los cultivos debido al cambio climático probablemente causaría que varios agricultores lucharan para cubrir el costo de las necesidades básicas de sus familias.
Como tal, ACME caracterizó la importancia del proyecto como la satisfacción de una necesidad significativa.
ACME también hizo un seguimiento con diez de los agricultores, preguntándoles hasta qué punto el proyecto impactó sus vidas. La retroalimentación fue consistente: los agricultores se sintieron seguros de aplicar las nuevas técnicas y el aumento de los ingresos debido a la mejora de los rendimientos había fortalecido su resiliencia a los fenómenos meteorológicos extremos.
Informando sobre sus contribuciones
Una vez que se completó la evaluación, ACME pudo informar lo siguiente:
- Búsqueda Positiva: Se fortalecen las capacidades de las personas.
- Resumen del proyecto: Programa de educación para pequeños agricultores para aumentar el rendimiento de los cultivos, con miras a contrarrestar la disminución proyectada de los rendimientos provocada por el cambio climático. La contribución de la empresa a los insumos es del 100% de los insumos (cubriendo todos los costes financieros y donando tiempo a los empleados para ejecutar el programa de capicitación y monitorear los resultados).
- Escala: 40 participantes completaron el programa.
- Evidencia: Registros de asistencia de las sesiones de capacitación.
- Contribución de la profundidad: 30% de aumento anual promedio en el rendimiento de los cultivos en comparación con el grupo control.
- Evidencia: Mediciones de los rendimientos de los cultivos del grupo entrenado, en comparación con una encuesta de rendimientos promedio para los agricultores no capacitados en la región.
- Contribución de duración: El proyecto resultó en un beneficio permanente para los agricultores.
- Categoría de duración: Permanente.
- Evidencia: Rendimientos mejorados mensurablemente después de tres años, que se espera que continúen indefinidamente.
- Importancia: El programa tuvo una influencia positiva significativa en el bienestar de los agricultores.
- Categoría de importancia: Significativa.
- Evidencia: Comentarios de los agricultores y una declaración de una ONG sobre la vulnerabilidad económica de las comunidades agrícolas en la zona afectada.
- Compensaciones: No se identificaron resultados negativos.
Cuando se recopilan los resultados de la evaluación, ACME tiene la suficiente confianza en el éxito del proyecto como para involucrar al gobierno del país y a una ONG nacional que apoya a los agricultores en todo el país. Se diseña un nuevo programa, mediante el cual la empresa y el gobierno cofinancian la educación de los trabajadores de la ONG, para equiparlos para que impartan programas de capacitación similares a los agricultores vulnerables de todo el país.
Bibliografia
Future-Fit Foundation es uno de los autores contribuyentes a la iniciativa y, siempre que sea posible, se esforzará por alinear su orientación con la del IMP a medida que continúe evolucionando.↩︎
Cuando una variable no es práctica de medir (por ejemplo, debido a restricciones de costos), se anima a las empresas a utilizar una variable proxy en su lugar. Esta es una variable que se asume que está estrechamente correlacionada con la variable inconmensurable. Por ejemplo, para medir el efecto de un proyecto de reducción de la delincuencia, una organización podría utilizar el cambio en el número de víctimas de agresión admitidas en las habitaciones del hospital como un indicador de la disminución porcentual de los delitos violentos.↩︎