Blog

Post no Blog: App para Avaliação de Modelos

Na minha iniciação científica, eu desenvolvi esta aplicação a fim de facilitar a comparação de várias curvas REC de diferentes modelos de predição.

A modelagem empírica utilizando Mineração de Dados consiste na aplicação de diferentes técnicas e uma etapa importante para a decisão de qual modelo utilizar é a avaliação dos modelos. Na avaliação, o uso de métricas como a raiz do erro quadrático médio (RMSE) e o coeficiente de correlação (R²) apresentam problemas. Outro ponto problemático é a avaliação com somente uma métrica, pois para uma análise completa recomenda-se o uso um conjunto de métricas que avaliam diferentes aspectos do desempenho do modelo. Uma alternativa, então, é o uso de curvas características do erro de regressão (em inglês, REC). As curvas REC apresentam de forma visual uma avaliação completa do modelo.

O projeto de iniciação cientifica tinha como objetivo a implementação de curvas REC com áreas sombreadas correspondentes ao erro para avaliação visual de modelos de produtividade de cana-de-açúcar, obtidos com mineração de dados. Para isso, foi criada uma função em R, que recebe uma lista de modelos de predição e o conjunto de dados de estudo, e retorna um gráfico com as curvas e suas respectivas áreas de erro. Para facilitar a comparação entre os modelos analisados, foi criada uma aplicação com as opções de modelos disponíveis para a seleção, e assim que selecionado e submetido, são criadas curvas com suas áreas de incerteza e uma tabela com métricas a fim de comparação.
Tags: ,