TabFM: o modelo que pode mudar a forma como fazemos Machine Learning com dados tabulares
TabFM: o modelo que pode mudar a forma como fazemos Machine Learning com dados tabulares
Durante anos, trabalhar com dados tabulares significou seguir um processo relativamente previsível.. ou seja.. limpar os dados, criar novas características, escolher um algoritmo, testar dezenas de configurações e repetir o processo até conseguir um resultado aceitável. É claro que este método continua a ser eficaz, mas pode consumir semanas de trabalho antes de produzir uma única previsão útil para o negócio.
O TabFM, desenvolvido pela Google Research, propõe uma abordagem diferente. Em vez de treinar um novo modelo para cada conjunto de dados, utiliza uma fundação pré-treinada capaz de interpretar exemplos fornecidos no momento da utilização. O resultado é uma forma de classificação e regressão zero-shot, em que o modelo não actualiza os seus pesos nem exige uma fase tradicional de treino. Parece bem? :)
Na prática, os dados históricos funcionam como contexto. O utilizador fornece linhas com os respectivos resultados conhecidos e, depois, apresenta novas linhas para as quais pretende obter previsões. O TabFM analisa as relações existentes entre exemplos e características e devolve classificações, probabilidades ou valores numéricos através de uma única passagem pelo modelo.
Esta alteração elimina alguns dos passos mais demorados do Machine Learning tradicional. A engenharia manual de características, a procura exaustiva de hiperparâmetros, a validação repetida e o treino específico para cada novo conjunto de dados deixam de ser requisitos obrigatórios para obter uma primeira previsão. O modelo pode, assim, servir como uma linha de base poderosa ou como um desafiante imediato aos modelos convencionais.
A arquitectura foi desenhada para lidar com a natureza bidimensional das tabelas. Primeiro, o sistema aplica atenção às colunas, procurando compreender o significado dos valores dentro de cada característica. Depois, aplica atenção às linhas e comprime a informação de cada exemplo numa representação mais compacta. Por fim, um transformador de aprendizagem em contexto utiliza essas representações para relacionar os exemplos conhecidos com os novos registos.
Esta combinação permite capturar interações entre variáveis sem depender exclusivamente de regras criadas manualmente por especialistas. Uma combinação entre idade, profissão, rendimento e histórico financeiro, por exemplo, pode ser interpretada em conjunto, em vez de ser tratada como uma simples lista de valores independentes.
O pré-treino do TabFM recorreu a centenas de milhões de conjuntos de dados sintéticos gerados através de modelos causais estruturais. A opção procura ultrapassar a escassez de grandes bases de dados tabulares públicas e reduzir problemas relacionados com privacidade e licenciamento. Segundo a avaliação publicada pela Google, o modelo foi testado em 51 conjuntos de dados de classificação e regressão no benchmark TabArena.
Os resultados apresentados indicam que a versão zero-shot do TabFM consegue superar modelos supervisionados fortemente afinados, incluindo métodos baseados em árvores de decisão. Uma avaliação independente também encontrou resultados competitivos em vários conjuntos de dados pequenos e médios, embora tenha recomendado tratar algumas diferenças mínimas como empates e não como vitórias conclusivas.
Apesar do potencial, o TabFM não elimina os desafios mais importantes de um projeto de Machine Learning. A qualidade dos dados continua a ser determinante, tal como a definição correcta do problema, a escolha da métrica e a análise do custo de uma previsão errada. Além disso, avaliações recentes indicam que os modelos de fundação tabulares podem perder desempenho quando enfrentam alterações na distribuição dos dados relativamente ao contexto usado na avaliação.
Existem também limitações práticas. O modelo trabalha com uma janela de contexto limitada, pode exigir recursos consideráveis e a versão actual das ponderações pré-treinadas está sujeita a uma licença não comercial e não destinada a utilização em produção. Por isso, empresas que pretendam utilizá-lo em sistemas reais devem confirmar cuidadosamente os limites técnicos, legais e operacionais.
A importância do TabFM está, portanto, menos na ideia de substituir todos os modelos tradicionais e mais na redução do custo de entrada. As equipas podem testar rapidamente uma hipótese, criar uma referência inicial e descobrir se existe sinal preditivo nos seus dados antes de investir semanas em desenvolvimento. É.. parece que o patamar mínimo de experimentação ficou mais acessível, mas a responsabilidade de construir sistemas fiáveis continua a pertencer aos profissionais.
