Overfitting: Quando o Modelo de Crédito Mente

Modelo perfeito no passado pode quebrar no primeiro imprevisto

Imagine um modelo de crédito com Gini de 0,72 durante o desenvolvimento. Parece excelente. Seis meses depois de entrar em produção, o Gini fora do período de treino cai para 0,51, e a inadimplência observada chega a 5,2%, contra 3% previstos. Os números são hipotéticos, mas o alerta é real: o modelo pode estar capturando ruído, e não padrões que se repetem.

Esse problema é conhecido como overfitting, ou sobreajuste. Em crédito, ele nem sempre aparece no relatório de validação. Pode surgir quando o modelo encontra condições que não estavam representadas adequadamente nos dados usados para construí-lo.

O Que É Overfitting em Crédito?

Quando o modelo decora em vez de aprender

Algoritmos flexíveis, como o gradient boosting, conseguem identificar relações complexas entre muitas variáveis. O risco surge quando aprendem combinações que funcionaram por acaso na amostra de desenvolvimento, mas não se repetem em novos clientes.

Em uma carteira com inadimplência entre 3% e 5%, os casos de calote são muito menos numerosos que os pagamentos em dia. Isso limita a quantidade de exemplos disponíveis para aprender sobre o evento de interesse. Quanto maior a complexidade do modelo em relação à informação disponível, maior a possibilidade de encontrar padrões espúrios.

Por que crédito favorece esse erro?

Três características ajudam a explicar a fragilidade. Primeiro, o resultado demora: para avaliar adequadamente um modelo que prevê inadimplência em doze meses, é preciso esperar a maturação dessas safras. Segundo, há viés de seleção: conhecemos o desempenho dos clientes aprovados, mas não sabemos diretamente como os recusados teriam se comportado. Terceiro, o mundo muda. Renda, juros, emprego e endividamento alteram a relação entre as variáveis e o risco de calote.

Como a Fragilidade Aparece em Situações Inéditas

Mudança de regime

Um modelo treinado durante um período de crédito abundante e juros baixos pode aprender relações que deixam de funcionar quando o ciclo econômico muda. Foi o tipo de desafio observado em episódios como a recessão brasileira de 2015–2016 e a pandemia de 2020, quando renegociações, moratórias e auxílios alteraram o comportamento de pagamento.

O modelo pode continuar produzindo números precisos, mas os dados deixam de representar o mesmo ambiente econômico. A queda de desempenho pode indicar sobreajuste, mudança na população, alteração nas relações entre variáveis ou uma combinação desses fatores.

O ciclo de retroalimentação

Existe também um risco coletivo. Se diferentes credores utilizam variáveis e algoritmos semelhantes, podem aprovar perfis parecidos e concentrar a exposição em determinados segmentos. Quando uma mudança econômica atinge justamente esses tomadores, as perdas podem ocorrer simultaneamente em várias instituições.

O problema, portanto, não é apenas um modelo individual mal ajustado. É também a dependência de muitas decisões em sinais semelhantes.

Um Exemplo Numérico

Considere uma carteira hipotética com exposição de R$ 1 bilhão. O modelo estima probabilidade de inadimplência (PD) de 3%, e a perda em caso de inadimplência (LGD) é de 60%. Em um cálculo simplificado, a perda esperada seria de R$ 18 milhões.

Se a taxa de inadimplência observada chegar a 5,2%, mantendo a mesma exposição e a mesma LGD, a estimativa sobe para R$ 31,2 milhões. A diferença é de R$ 13,2 milhões.

Essa conta ilustra o impacto de subestimar o risco; não é uma apuração contábil completa. A Resolução CMN 4.966, em vigor desde 1º de janeiro de 2025, estabelece critérios para reconhecer perdas esperadas em instrumentos financeiros. A estimativa regulatória considera outros elementos, como recuperações, garantias e informações sobre as condições econômicas. Uma PD subestimada pode contribuir para provisões insuficientes e pressionar o resultado; os efeitos sobre o capital dependem também das regras prudenciais aplicáveis.

Como Detectar o Problema Antes do Prejuízo?

Validação fora do tempo

Separar treino e teste aleatoriamente pode produzir uma avaliação otimista quando mistura observações de períodos diferentes. Uma abordagem mais robusta é a validação out-of-time: treinar com dados até determinada data e testar em safras posteriores, quando os resultados já puderem ser observados. A validação walk-forward repete o procedimento em diferentes janelas temporais.

Se o Gini cai de 0,72 no desenvolvimento para 0,66 no teste aleatório e 0,51 fora do tempo, há um sinal importante de perda de generalização. Isso não prova, isoladamente, overfitting: mudanças de regime e de composição da carteira também podem explicar parte da deterioração.

Estabilidade e calibração

O PSI (Population Stability Index) compara a distribuição de uma variável ou do escore entre dois períodos. Como referência prática, costuma-se considerar PSI abaixo de 0,10 como sinal de pouca mudança; entre 0,10 e 0,25, atenção; acima de 0,25, mudança relevante. Esses limites são heurísticos, não padrões regulatórios universais.

Além disso, o PSI detecta alterações na distribuição, mas não confirma sozinho que o modelo continua correto. O Gini mede a capacidade de ordenar os clientes por risco; não garante que a probabilidade prevista esteja bem calibrada. Um modelo pode ranquear adequadamente e, ainda assim, prever 3% de inadimplência quando a taxa real chega a 5%. Por isso, compare PD prevista e inadimplência observada por faixa de escore, segmento e safra.

Parcimônia e estresse

Regularização, limites de complexidade, restrições de monotonicidade quando justificadas e seleção criteriosa de variáveis ajudam a reduzir o sobreajuste. Compare o modelo principal com alternativas mais simples e simule cenários de aumento do desemprego e dos juros. Se pequenas mudanças nos dados provocam grandes alterações nas decisões, a robustez merece investigação.

Governança: Quem Desafia o Modelo?

A orientação americana SR 11-7, publicada em 2011, foi uma referência importante em gestão de risco de modelos. Em 17 de abril de 2026, porém, o Federal Reserve, o OCC e o FDIC publicaram a orientação revisada SR 26-2, que substituiu a anterior e reforçou uma abordagem proporcional ao risco, ao porte e à complexidade das instituições.

Um princípio continua central: o effective challenge, ou desafio efetivo. Especialistas com conhecimento e independência devem questionar pressupostos, dados e resultados, com autoridade para recomendar mudanças.

No Brasil, o artigo 20 da LGPD permite solicitar a revisão de decisões tomadas exclusivamente com base em tratamento automatizado de dados pessoais, incluindo decisões sobre perfil de crédito. A lei também prevê o fornecimento de informações claras e adequadas sobre os critérios e procedimentos utilizados, observados os segredos comercial e industrial. Isso não significa acesso irrestrito ao código do modelo nem revisão humana automática em todos os casos, mas reforça a importância de uma governança capaz de explicar e justificar decisões.

O Modelo Certo Sabe Onde Para de Saber

O mérito de um modelo de crédito não está apenas no melhor indicador obtido durante o desenvolvimento. Está em demonstrar que continua útil fora da amostra original, reconhecer suas limitações e reagir quando o ambiente muda.

Defina gatilhos de reestimação, acompanhe a calibração, estabeleça limites de exposição e prepare um plano de contingência para mudanças relevantes de estabilidade ou desempenho. Overfitting não desaparece por decreto: é um risco que precisa ser medido e administrado.

👇🏼👇🏼👇🏼

LEITURA RECOMENDADA

LIVRO: "O Sinal e o Ruído: Por Que Tantas Previsões Falham — e Algumas Não", de Nate Silver.

Por que ler? Com exemplos de diferentes áreas, incluindo a economia e a crise financeira de 2008, Silver mostra como separar padrões relevantes de ruído e por que modelos e previsões precisam reconhecer a incerteza. É uma leitura útil para quem trabalha com dados e precisa tomar decisões sem confundir precisão aparente com confiabilidade.

👇🏼👇🏼👇🏼

👉 Clique aqui para acessar o livro na Amazon