terça-feira, 29 de dezembro de 2015

Regressão - parte II

 

http://stats.stackexchange.com/

Os modelos de regressão que vimos até agora tem alguns pressupostos básicos. Um deles é a linearidade dos efeitos e outro é a aditividade dos efeitos. A linearidade é justificada por ser a forma mais simples de representação de um efeito. Obviamente nem sempre o efeito se dá de forma linear mas é difícil determinar a sua forma exata. Existem várias formas de procurar caracterizar melhor esse efeito. 

Um dos caminhos mais usados é a via não-paramétrica. Ao invés de fixar a forma linear, essa rota confere maior flexibilidade deixando que os dados indiquem qual a melhor maneira de caracterizar a dependência de Y em X. A função linear b X é trocada por uma coleção de funções definidas localmente e o processo de estimação indica o peso de cada função. A estimação pode ser feita de forma local, isto é, a mesma idéia de minimização dos quadrados dos erros é usada de forma local, Os erros são minimizados levando em conta apenas os dados que se encontram na vizinhança do ponto estudado. Esse procedimento é repetido para todos os pontos e toda uma função (não-linear) é recuperada. Esse procedimento é ilustrado na figura acima onde o carater adaptativo do efeito é evidente.

Essa é a base dos modelos aditivos, onde apenas a aditividade dos efeitos é preservada e a linearidade é trocada por funções mais gerais. Existem uma grande gama de técnicas girando em torno dessa idéia e muitas delas estão implementadas computacionalmente para uso prático em softwares estatísticos com o R. 

Um caminho alternativo que visa objetivos similares é o das árvores de classificação ou árvores de regressão. Nelas, o efeito b X é substituido por efeitos degrau do tipo b, se X  > a e 0, caso contrário. Com isso, ramos são criados a partir dessa dicotomização. Novamente os valores de b e a são determinados pelo processo de estimação. Note que isso deve ser feito para todas as variáveis incluidas no problema e uma mesma variável pode ser dicotomizada várias vezes. Assim, vários ramos são criados, consituindo uma árvore, como ilustrado na figura abaixo. Note que o efeitos de uma variável é no máximo uma coleção de degraus e a esperança é que um numero adequado de degraus seja suficiente para representar bem o efeito desconhecido dessa variável.

http://ecology.msu.montana.edu/labdsv

Essa idéias tem sido usada com bastante sucesso em contextos modernos onde grandes massas de dados com alto número de covariáveis estão disponíveis. As técnicas descritas acima tem se portado bem, mostrando ser capazes de identificar as variáveis relevantes e eliminar a as irrelevantes. Note que elas podem, com pequenas adaptações, ser usadas não só nos modelos básicos de regressão mas também nas extensões descritas na postagem anterior deste tema.

A questão da aditividade dos efeitos também pode ser contornada. Nem sempre os efeitos se dão de forma independente pois algumas variáveis agem de forma alterada quando outra variável se modifica. Nesse caso, é necessário incluir efeitos conjuntos e a forma mais simples de fazer isso é através do produto de variáveis. Assim, além de b1 X1 e b2 Xteriamos no preditor a componente b12 X1 X2 onde o produto de 2 covaráveis aparece como uma nova covariável com coeficiente b12, que também deve ser estimado junto aos demais coeficientes. Claro que é possível estender a idéia para ter produto de mais de 2 covaráveis.

A extensão dessa idéia de interação entre variáveis em direção às técnicas não-paramétricas descritas acima é simples quando se sabe que variáveis devem ter interação. Mas a implementação no contexto geral se torna difícil pela profusão de possibilidades que deveriam ser contempladas.

Na primeira postagem sobre o tema falamos de diferentes formas de introduzir o preditor linear. Nesta postagem, falamos de formas mais gerais para o preditor. Na última parte dessa sequencia, falaremos de outros usos de covariáveis e extensões na forma do preditor.

Nenhum comentário:

Postar um comentário