A review of the design, reliability, and validity of surveys used to measure perceptions of enterprise risk management
DOI:
https://doi.org/10.35622/Keywords:
business sector, empirical research, feasibility, surveys, risk managementAbstract
The purpose of the study was to analyze the design, reliability and validity of the measurement instruments used to obtain the perception of enterprise risk management. The methodology was qualitative, implementing the PRISMA protocol. The sample consisted of 28 studies in Spanish and English, retrieved from the Science Direct, DOAJ and Google Scholar databases published during the period 2005 to 2024. The inclusion criteria were: 1) scientific articles; 2) non-compliance with evidence of design, content validity, construct validity and reliability; and 3) the keywords risk management, ERM and companies, as well as in the English language. The results show that the sectors that are most studied through the application of surveys are the business and stock market sectors. Among the main findings, these studies show deficiencies in the design of the surveys, and are limited to only presenting evidence of reliability, omitting in their entirety the statistical processes that account for scientific rigor. It is concluded that they lack an integral validity process, so that the results lose representativeness and applicability, lacking scientific rigor. Likewise, by executing an adequate validation process, solid data are obtained, the construct, the theory and the data have a relationship, effectiveness in the strategies and quality in the information for decision making. However, it is important to complement with other aspects such as cultural adaptation, organizational contexts, and to evaluate the survey with sensitivity analysis and predictive capacity.
References
Abad García, F., Olea Díaz, J., Ponsoda Gil, V. & García García, C. (2011). Medición en ciencias sociales y de la salud. Síntesis.
Afolabi Taofeek, S. & James Joseph, T. (2018). Risk Management and Performance of Small and Medium Enterprises in Osun State, Nigeria. Archives of Business Research, 6(12), 157-163. https://doi.org/10.14738/abr.612.5765
Ahmad, S., Ng, C. & McManus, L. A. (2014). Enterprise Risk Management (ERM) Implementation: Some Empirical Evidence from Large Australian Companies. Procedia - Social and Behavioral Sciences, 164, 541-547. https://doi.org/10.1016/j.sbspro.2014.11.144
Al-Farsi, H. A. (2020). The Influence of Chief Risk Officer on the Effectiveness of Enterprise Risk Management: Evidence from Oman. International Journal of Economics and Financial Issues, 10(1), 87-95. https://doi.org/10.32479/ijefi.8932
Altuntas, M., Berry- Stölzle, T. & Hoyt, R. E. (2011). Implementation of Enterprise Risk Management: Evidence from the German Property-Liability Insurance Industry. Geneva Pap Risk Insur Issues Pract (36), 414-439. https://doi.org/10.1057/gpp.2011.11
Angote, A. V., Malenya, A. A. & Musiega, D. (2015). Effect of Enterprise Financial Risk Management on Performance in Kenya Commercial Bank, Western Region. International Journal of Business and Management Invention, 4(6), 19-40.
Apaloo, S. & Bright, D. (2022). The Effect of Risk Management Practices on Performance of Small and Medium Scale Enterprises. Enterprise Risk Management, 7(1), 1-16. https://doi.org/10.5296/erm.v7i1.19287
Badenes Rivera, L., Clayton Silver, N. & Pedroli, E. (2020). Editorial: Scale Development and Score Validation. Frontiers in Psychology, 11, 1-4. https://doi.org/10.3389/fpsyg.2020.00799
Beasly, M. S., Clune, R. & Hermanson, D. R. (2005). Enterprise risk management: An empirical analysis of factors associated with the extent of implementation. Journal of Accounting and Public Policy, 24(6), 521-531. https://doi.org/10.1016/j.jaccpubpol.2005.10.001
Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar Quiñones, H. & Young, S. L. (2018). Best Practices for Developing and Validating Scales for Health, Social, and Behavioral Research: A Primer. Frontiers Public Health, 6(149), 1-18. https://doi.org/10.3389/fpubh.2018.00149
Borgia, M., Rangone, A., Georgiev, M. G. & La Torre, M. (2024). The Relationship between Respondents’ Characteristics and Their Perceptions of Enterprise Risk Management. Results of a Survey. International Business Research, 17(3), 1-12. https://doi.org/10.5539/ibr.v17n3p1
Bravo Monge, C. (2024). Diseño y validación de instrumento para medir el emprendimiento corporativo en Costa Rica. Estudios Gerenciales, 40(170), 81-93. https://doi.org/10.18046/j.estger.2024.170.6207
Bromiley, P., McShane, M., Nair, A. & Rustambekov, E. (2015). Enterprise Risk Management: Review, Critique, and Research Directions. Long Range Planning, 48(4), 265-276. https://doi.org/10.1016/j.lrp.2014.07.005
Brustbauer, J. (2014). Enterprise risk management in SMEs: Towards a structural model. International Small Business Journal, 34(1), 70-85. https://doi.org/10.1177/0266242614542853
Cedeño Zambrano, R., Morell González, L., Vélez Mendoza, L. & Artieda Farfán, E. (2024). Gestión del riesgo integrada a la estrategia en las Instituciones de Educación Superior. Revista Venezolana de Gerencia, 29(105), 254-270. https://doi.org/10.52080/rvgluz.29.105.17
Chilán Santana, C. I., Loor Solórzano, M. A., Loor Sánchez, C. J., García Soledispa, A. M., García Medina, C. D. & López Bailón, A. N. (2024). Cáncer de Mama: prevalencia, factores de riesgo y signos en la población. Revista InveCom, 4(2), 1-14. https://doi.org/10.5281/zenodo.10612175
Committee of Sponsoring Organizations of the Treadway Commission [COSO ERM]. (2017). Enterprise Risk Management. Integrating with Strategy and Performance. United States of America.
Constantitni, A. (2016). The implementation of enterprise risk management practices: some evidence from large firms in Italy. Friulian Journal of Science, 22, 59-74. https://www.gfs-fjs.net/index.php/gsf/article/view/219
Cortes Cortes, J. A. & Bravo Murillo, W. A. (2022). El riesgo en las acciones de la bolsa de valores de Colombia. Revista Multidisciplinar Ciencia Latina, 6(6), 4927-4942. https://doi.org/10.37811/cl_rcm.v6i6.3788
De Groot, B., Gorr, N. D., Kret, M. E., Rieffe, C., Tsou, Y. T. & Straffon, L. M. (2023). Development and preliminary validation of a questionnaire to measure parental support for drawing. Thinking Skills and Creativity, 47, 1-14. https://doi.org/10.1016/j.tsc.2022.101228
Escobar, P. J. & Cuervo, M. Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición (6), 27-36.
Ferrando, P. J., Lorenzo Seva, U., Hernández Dorado, A. & Muñiz, J. (2022). Decálogo para el Análisis Factorial de los ítems de un Test. Psicothema, 34(1), 7-17. https://doi.org/10.7334/psicothema2021.456
Flores Rueda, I. C., Sánchez Macías, A., Peñalosa Otero, M. & Cheverría Rivera, S. (2024). ¿Eres lo que pagas? Análisis de conocimiento de precios y perfiles de consumidores. Retos, 14(27), 69-83. https://doi.org/10.17163/ret.n27.2024.05
Gerrard, J. (2017). Health Sciences Literature Review Made Easy. The Matrix Method (5a ed.). Jones & Bartlet.
Govender, K. K.& Hassen-Bootha, R. (2022). Enterprise risk management and company ethics: The case of a short-term insurer in South Africa. Insurance Markets and Companies, 13(1), 1-10. http://dx.doi.org/10.21511/ins.13(1).2022.01
Hayes, A. F. & Coutts, J. J. (2020). Use Omega Rather than Cronbach’s Alpha for Estimating Reliability. But…. Communication Methods and Measures, 14(1), 1-25. https://doi.org/10.1080/19312458.2020.1718629
Heong, A. Y. & Saw, T. Y. (2018). COSO enterprise risk management: small-medium enterprise evidence. Asia-Pacific Management Accounting Journal, 13(2), 83-111. https://ir.uitm.edu.my/id/eprint/29564
Hernández Nieto, R. (2011). Instrumentos de recolección de datos en ciencias sociales y ciencias biomédicas. validez y confiabilidad. diseño y construcción. normas y formatos. Universidad de los Andes.
Hernández Sampieri, R., Fernández Collado, C. & Baptista Lucio, P. (2014). Metodología de la Investigación (6ª ed.). McGraw-Hill
Hernández, A., Elosua, P., Fernández-Hermida, J. & Muñiz, J. (2022). Comisión de Test: Veinticinco años velando por la calidad de los test. Papeles del Psicólogo, 43(1), 55-62. https://doi.org/10.23923/pap.psicol.2978
Ibarra Morales, L. E. & Paredes Zempual, D. (2023). Habilidades directivas y clima organizacional. Resultados de una investigación en las micro y pequeñas empresas latinoamericanas (1ra. ed.). New York: Peter Lang. https://doi.org/10.3726/b21413
Ibarra Morales, L. E., Paredes Zempual. D. & Carrillo Cisneros. E. (2022). Impacto del COVID-19 en las variables que determinan la competitividad de las micro, pequeñas y medianas empresas mexicanas. Revista RELAYN, 6(1), 7-23. https://doi.org/10.46990/relayn.2022.6.1.532
Ivziku, D., Filomeno, L., Forte, D., Caruso, R., Conte, G., Magon, A., Gualandi, R., Di Muzio, M. & Tartaglini, D. (2024). Reliability and validity of the Italian Version of the Chase Nurse Manager Competencies Scale. International Journal of Nursing Sciences, 11, 338-348. https://doi.org/10.1016/j.ijnss.2024.06.001
Jassim, G. & AlAnsari, A. (2020). Reliability and Validity of the Arabic Version of the EORTC QLQ-C30 and QLQ-BR23 Questionnaires. Neuropsychiatric Disease and Treatment, 16, 3045-3052. https://doi.org/10.2147/NDT.S263190
Kalkbrenner, M. T. (2021). A Practical Guide to Instrument Development and Score Validation in the Social Sciences: The MEASURE Approach. Practical Assessment, Research, and Evaluation, 26(1), 1-20. https://doi.org/10.7275/svg4-e671
Klynveld Peat Marwick Goerdeler [KPMG]. (2024). Riesgos en México y Centroamérica 2024. Riesgos en México y Centroamérica 2023. https://cutt.ly/1eGDkBrZ
Leng, P., Basuki, B. & Setiawan, R. (2022). The maturity level of enterprise risk management implementation in medium-sized priority sector companies in East Java. International Journal of Financial & Investment Studies, 3(2), 79-93. https://doi.org/10.9744/ijfis.3.2.79-93
López Aguado, M. & Gutiérrez Provecho, L. (2019). Cómo realizar e interpretar un análisis factorial exploratorio utilizando SPSS. REIRE Revista d’Innovació I Recerca En Educació, 12(2), 1-14. https://doi.org/10.1344/reire2019.12.227057
López Domínguez, S. I. & Martínez Hernández, R. (2024). Factores de riesgo identificados en la relación empresa-sindicato: Evidencia de la Bolsa Mexicana de Valores. RAN - Revista Academia & Negocios, 10(2), 251-268. https://doi.org/10.29393/RAN10-16FRIM20016
López Fernández, R., Avellano Martínez, R., Palmero Urquiza. D. E., Sánchez Gálvez. S. & Quintana Álvarez, M. (2019). Validación de instrumentos como garantía de la credibilidad en las investigaciones científicas. Revista Cubana de Medicina Militar, 48(2), 441-450.
López Muñiz, G., García Tascón, M., Jaenes Sánchez, J. C. & López Meneses, E. (2024). QUGRAFOR 2. Adaptación y revalidación de un cuestionario de nivel de formación de entrenadores de rugby. Retos, 53, 196-207. https://doi.org/10.47197/retos.v53.101525
Low, S. P., Liu, J. Y., Ng, S. H. & Liu, X. (2013). Enterprise Risk Management and the Performance of Local Contractors in Singapore. International Journal of Construction Management, 13(2), 27-41. https://doi.org/10.1080/15623599.2013.10773210
Lújan Tangarife, J. A. & Cardona Arias, J. A. (2015). Construcción y validación de escalas de medición en salud: revisión de propiedades psicométricas. Archivos de Medicina, 11(3), 1-10. https://dialnet.unirioja.es/servlet/articulo?codigo=5178935
Maldonado Suárez, N. & Santoyo Telles. F. (2024). Validez de contenido por juicio de expertos: Integración cuantitativa y cualitativa en la construcción de instrumentos de medición. REIRE Revista d’Innovació I Recerca En Educació, 17(2), 1-19. https://doi.org/10.1344/reire.46238
Martínez Hernández, R. & Pastor Pérez, M. P. (2018). Interrelación entre riesgo e innovación: percepción del riesgo por gestores de proyectos. Journal of Technology Management & Innovation, 13(2), 94-103. http://dx.doi.org/10.4067/S0718-27242018000200094
Martínez Ramírez, J. L. (2019). El proceso de elaboración y validación de un instrumento de medición documental. Acción y reflexión educativa (44), 1-7. https://revistas.up.ac.pa/index.php/accion_reflexion_educativa/article/view/673
Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G. & Group, P, PRISMA Group. (2010). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. International Journal of Surgery, 8(5), 336-341. https://doi.org/10.1016/j.ijsu.2010.02.007
Naciones Unidas (s.f.). Las MIPYME y los Objetivos de Desarrollo Sostenible. Recuperado el 5 de setimebre del 2024 de https://cutt.ly/leGDxEqq
Nápoles Fernández, M. R. & Barrueta Gómez, C. N. (2023). Metodología para la validación de instrumentos de medición. A3manos (19), 1-10. https://a3manos.isdi.co.cu/index.php/a3manos/article/view/337/347
Olechowski, A., Oehmen, J., Seering, W. & Ben-Daya, M. (2016). The professionalization of risk management: What role can the ISO 31000 risk management principles play?. International Journal of Project Management, 34(8), 1568-1578. https://doi.org/10.1016/j.ijproman.2016.08.002
Onay, A. (2020). The Role of Internal Audit from New Enterprise Risk Management Frameworks Perspective: Research in Turkey. Istanbul Business Research, 49(2), 177-200. https://doi.org/10.26650/ibr.2020.49.0032
Orellano Antúnez, J. C. (2022). Información contable y el riesgo financiero - riesgo del accionista enfocado a empresas mineras peruanas. Semestre Económico, 11(1), 74-85. https://doi.org/10.26867/se.2022.v11i1.129
Organización Internacional de Normalización [ISO]. (2018). ISO 31000:2018. Gestión del Riesgo - Directrices. Ginebra: Suiza: Organización Internacional de Normalización. https://cutt.ly/8eGDcrEd
Ortiz Mosquera, C. G. (2021). Control interno COSO ERM aplicado al talento humano del sector público en ecuador. Revista Enfoques, 5(17), 32-39. https://doi.org/10.33996/revistaenfoques.v5i17.103
Otieno, E. A., Ogutu, M., Ndemo, B. & Pokhariyal, G. (2020). Influence of enterprise risk management on organizational performance: evidence from Kenyan state-owned corporations. DBA Africa Management Review, 10(2), 102-124. http://erepository.uonbi.ac.ke/handle/11295/154780
Paape, L. & Spekle, R. F. (2012). The Adoption and Design of Enterprise Risk Management Practices: An Empirical Study. European Accounting Review, 21(3), 533-564. https://doi.org/10.1080/09638180.2012.661937
Pedrosa, I., Suárez Álvarez, J. & García Cueto, E. (2014). Evidencias sobre la validez de contenido: avances teóricos y métodos para su estimación. Acción Psicológica, 10(2), 3-18. https://doi.org/10.5944/ap.10.2.11820
Pérez Gil, J. A., Chacón Moscoso, S. &y Moreno Rodríguez, R. (2000). Validez de constructo: el uso de análisis factorial exploratorio-confirmatorio para obtener evidencias de validez. Psicothema, 12(2), 442-446. https://www.psicothema.com/pi?pii=601
Robledo Martínez, J. H. & Martínez Hernández, R. (2022). Gestión de riesgos en la estrategia de transición a un centro de servicios compartidos: percepción de los colaboradores de una empresa transnacional. Economía & Negocios, 4(1), 29-40. https://doi.org/10.33326/27086062.2022.1.1349
Roco Videla, Á., Aguilera Eguia, R. & Olguin Barraza, M. (2024). Ventajas del uso del coeficiente de omega de McDonald frente al alfa de Cronbach. Nutrición Hospitalaria, 41(1), 262-263. https://dx.doi.org/10.20960/nh.04879
Rodríguez Chávez, L. & Martins, A. (2022). Diseño y validación de la Escala de actitudes hacia la conducta financiera. Gestionar: Revista de Empresa y Gobierno, 2(3), 109-123. https://doi.org/10.35622/j.rg.2022.03.008
Rodríguez Jasso, A. F., Rodríguez Jasso, L. J., Sánchez Limón, M. L. & Delgado Rivas, J. G. (2023). Propuesta y validación de instrumento de medición del comportamiento climático en las universidades. Acta Universitaria, 33, 1-23. http://doi.org/10.15174/au.2023.3775
Rodriguez, E. & Edwards, J. S. (2009). Knowledge Management and Enterprise Risk Management Implementation in Financial Services. Operations & Information Management, 1-22.
Santa Cruz Terán, F. F., Obando Peralta, E. C., Reyes Pastor, G. E. & Rodríguez Balcázar, S. C. (2022). Investigación cualitativa: una mirada a su validación desde la perspectiva de los métodos de triangulación. Revista de Filosofía, 39(101), 59-72. https://doi.org/10.5281/zenodo.6663103
Soriano Rodríguez, A. M. (2014). Diseño y validación de instrumentos de medición. Diá-logos, 14 19-40. https://www.revistas.udb.edu.sv/ojs/index.php/dl/article/view/166
Supo, J. (2013). Cómo validar un instrumento. Aprende a crear y validar instrumentos como un experto. Biblioteca Nacional del Perú. https://dspace.uniandes.edu.ec/handle/123456789/16000
Tenopala Hernández, C. & Ronquillo Horsten, J. L. (2019). Analysis of Risk Factors in the MIPyMES of the Trade Sector in the State of Tlaxcala. The Journal of Middle East and North Africa Sciences, 5(6), 14-19. https://doi.org/10.24018/ejbmr.2023.8.1.1684
Tenopala Hernández, C., Montiel Huerta, E. & Saldaña Conde, S. K. (2023). Risk Management and Performance of the MIPyMES in the Commerce Sector in the State of Tlaxcala. European Journal of Business & Management Research, 8(1), 116-125. https://doi.org/10.24018/ejbmr.2023.8.1.1684
The Risk Management Society [RIMS]. (2018). The Risk and Insurance Management Society. Navegando la Incertidumbre. III Benchmark de Gestión de Riesgos en Latinoamérica. https://cutt.ly/0eGDbdR5
Toro, R., Peña Sarmiento, M., Avendaño Prieto. B., Mejía Vélez, S. & Bernal Torres, A. (2022). Análisis Empírico del Coeficiente Alfa de Cronbach según Opciones de Respuesta, Muestra y Observaciones Atípicas. Revista Iberoamericana de Diagnóstico y Evaluación Psicológica, 63(2), 17-30. https://doi.org/10.21865/RIDEP63.2.02
Udoka, C. O. & Orok, A. B. (2017). Assessment of the Enterprise Risk Management (ERM) in the Nigerian Banking Industry. Asian Journal of Economics and Empirical Research, 4(2), 68-74. https://doi.org/10.20448/journal.501.2017.42.68.74
Ventura León, J. & Caycho Rodríguez, T. (2017). El coeficiente Omega: un método alternativo para la estimación de la confiabilidad. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 15(1), 625-627. https://www.redalyc.org/articulo.oa?id=77349627039
Ventura León, J. (2019). ¿Es el final del alfa de Cronbach? Adicciones, 31(1), 80-81. https://doi.org/10.20882/adicciones.1037
Ventura León, J. (2022). De regreso a la validez basada en el contenido. Adicciones, 34(4), 323-326. https://www.adicciones.es/index.php/adicciones/article/view/1213
Ventura León, L. J. (2017). La importancia de reportar la validez y confiabilidad en los instrumentos de medición: Comentarios a Arancibia et al. Revista médica de Chile, 145(7), 954-956. http://dx.doi.org/10.4067/s0034-98872017000700955
World Economic Forum. (2024). The Global Risk Report 2024. 19th Edition. Insight Report. https://cutt.ly/OeGDbIgF
Yakob, S., Syah, B. H., Yakob, R. & Muhammad, R. N. (2019). The Effect of Enterprise Risk Management Practice on SME Performance. The South East Asian Journal of Management, 13(2), 151-169. https://doi.org/10.21002/seam.v13i2.11785
Yegon, C. K., Mouni, J. G. & Wanjau, K. (2014). Effects of Firm Size on Enterprise Risk Management of Listed Firms in Kenya. Journal of Business and Management (IOSR-JBM), 16(5), 86-95. https://doi.org/10.9790/487X-16548695
Zamanzadeh, V., Ghahramanian, A., Rassouli, M., Abbaszadeh, A., Alavi-Majd, H. & Nikanfar, A. R. (2015). Design and Implementation Content Validity Study: Development of an instrument for measuring Patient-Centered Communication. Journal of Caring Sciences, 4(2), 165-178. https://doi.org/10.15171/jcs.2015.017
Zhao, X., Hwang, B. G. & Low, S. P. (2015). Enterprise risk management in international construction firms: drivers and hindrances. Engineering, Construction and Architectural Management, 22(3), 347-366. https://doi.org/10.1108/ECAM-09-2014-0117
Downloads
Published
Issue
Section
License
Copyright (c) 2024 Ivan López , Manuela Vargas , Jesús Sotelo (Autor/a)
This work is licensed under a Creative Commons Attribution 4.0 International License.
LOS AUTORES RETIENEN SUS DERECHOS:
- Los autores retienen sus derechos de marca y patente, y tambien sobre cualquier proceso o procedimiento descrito en el artículo.
- Los autores retienen el derecho de compartir, copiar, distribuir, ejecutar y comunicar públicamente el artículo publicado en Gestionar: revista de empresa y gobierno (por ejemplo, colocarlo en un repositorio institucional o publicarlo en un libro), con un reconocimiento de su publicación inicial.
- Los autores retienen el derecho a hacer una posterior publicación de su trabajo, de utilizar el artículo o cualquier parte de aquel (por ejemplo: una compilación de sus trabajos, notas para conferencias, tesis, o para un libro), siempre que indiquen la fuente de publicación (autores del trabajo, revista, volumen, número y fecha).
