O que funciona? Proposta metodológica para avaliação de políticas públicas através de revisão sistemática

Resumo:Este artigo apresenta uma proposta metodológica original para avaliação de políticas públicas por meio de Revisão Sistemática (RS) mista e sequencial, integrando evidências quantitativas e qualitativas. A RS é defendida como ferramenta capaz de aumentar a transparência, reduzir vieses e ampliar a validade externa das avaliações, indo além de estimar “se funciona”, para compreender também “como”, “para quem” e “em que condições” uma política é efetiva. O protocolo proposto envolve etapas de planejamento, busca, seleção, sistematização e análise, com critérios claros de inclusão e exclusão. A análise quantitativa mede, predominantemente, a escala e a força do efeito; abordagens mistas identificam mecanismos e moderadores; enquanto que a qualitativa caracteriza implementação, percepções e custos. Aplicamos a metodologia para o estudo do impacto da política de proibição do uso de celulares em escolas sobre o desempenho acadêmico. Após seleção criteriosa, chegamos a 21 estudos empíricos. Os resultados mostram efeito positivo, porém fraco, no desempenho acadêmico. Os mecanismos principais envolvem redução de distrações e aumento da concentração, com maior impacto para alunos com pior desempenho prévio. A implementação eficaz requer regras claras, fiscalização e engajamento de professores, alunos e famílias. A proposta metodológica é replicável e adaptável a diferentes áreas, contribuindo para fortalecer a cultura avaliativa e apoiar decisões políticas informadas por evidências.Palavras-chave: revisão sistemática, avaliação de políticas públicas, métodos mistos, evidências, implementação.Abstract:This article presents an original methodological proposal for evaluating public policies through a mixed and sequential Systematic Review (SR), integrating quantitative and qualitative evidence. The SR is advocated as a tool capable of increasing transparency, reducing bias, and enhancing the external validity of evaluations—going beyond estimating “what works” to also understanding “how,” “for whom,” and “under what conditions” a policy is effective. The proposed protocol involves stages of planning, search, selection, systematization, and analysis, with clear inclusion and exclusion criteria. Quantitative analysis predominantly measures the scale and strength of the effect; mixed approaches identify mechanisms and moderators; while qualitative analysis characterizes implementation, perceptions, and costs. We applied the methodology to study the impact of banning mobile phone use in schools on academic performance. After a rigorous selection process, we included 21 empirical studies. The results show a positive but small effect on academic performance. Key mechanisms involve reducing distractions and increasing concentration, with stronger impacts for students with lower prior performance. Effective implementation requires clear rules, enforcement, and engagement of teachers, students, and families. The methodological proposal is replicable and adaptable to different areas, contributing to strengthening the evaluation culture and supporting evidence-informed policy decisions.Keywords: systematic review, public policy evaluation, mixed methods, evidence, implementation.