Transfer Learning (Aprendizado de Transferência)

Transfer learning, ou aprendizado por transferência, é uma técnica em que um modelo treinado em uma tarefa é reaproveitado como ponto de partida para uma tarefa parecida. Em vez de treinar do zero, você aproveita o que o modelo já aprendeu.

Como funciona

• Um modelo é pré-treinado com um conjunto grande e geral de dados.
• As camadas iniciais, que captam características gerais, costumam ser mantidas.
• As camadas finais são ajustadas (fine-tuning) com os dados da nova tarefa.

É uma forma de treinar, e não um tipo de algoritmo.

Por que é útil

• Exige bem menos dados rotulados.
• Reduz tempo e custo de treino.
• Costuma dar melhores resultados quando os dados são escassos.

Exemplos

• Usar um modelo treinado em milhões de imagens para identificar doenças em exames, com poucos exemplos médicos.
• Ajustar um modelo de linguagem geral para atender dúvidas de uma empresa específica.
• Adaptar um modelo de reconhecimento de voz para um sotaque regional.

Limites

Funciona melhor quando a tarefa nova é parecida com a original. Se forem muito diferentes, o ganho diminui, e o modelo pode herdar vieses do pré-treino.

Perguntas frequentes

Transfer learning é o mesmo que fine-tuning? Fine-tuning é uma das formas de aplicar transfer learning, ajustando o modelo pré-treinado.

Preciso de transfer learning? Se você tem poucos dados ou pouco poder de computação, quase sempre vale a pena.

Modelos como o ChatGPT usam transfer learning? Os modelos de linguagem usam pré-treino em grande escala e depois são ajustados para tarefas e para conversas.

Termos relacionados

Deep learning, Overfitting, Rede neural.

« Voltar Para Glossário