Caldeirão da Bolsa

Trading System - RWE - DAX

Espaço dedicado a todo o tipo de troca de impressões sobre os mercados financeiros e ao que possa condicionar o desempenho dos mesmos.

por costarios » 25/2/2005 10:15

Ninguém mais quer comentar sobre os "perigos" da optimização em sistemas de trading e do tão temido "data fitting"? :?:
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por Pipoca » 17/2/2005 9:48

Costarios,

Antes de mais agradeço todo o empenho que tens colocado neste post, o qual penso que quando finalizado, poderá servir para alertar alguns utilizadores para determinados problemas inerentes aos processos de optimização.


Em relação à sua questão, e aos resultados que conseguiste obter, vamos então observá-los de uma forma objectiva, e analisar qual a validade dos mesmos:

Supondo que os testes que realizaste estão bem executados, saltam imediatamente à vista as seguintes conclusões:

1- um teste realizado com apenas UMA observação apresenta uma validade nula

2- no período testado como “out of sample”, a RWE subiu 43,83%, o que dá um valor anualizado de 43,40%. O resultado obtido com o teste não chegou a 10%. O que é que o sistema acrescentou ao comportamento da acção? Nada!


De qq forma, ressalve-se que os resultados que temos disponíveis para análise são muito reduzidos, pois não temos indicação nenhuma de drawdowns, desvios padrões, etc, etc… elementos necessários para realizarmos uma análise séria ao sistema…
 
Mensagens: 125
Registado: 28/5/2003 14:29
Localização: Porto

por costarios » 16/2/2005 20:34

Amigos, para dirimir de uma vez por todas as dúvidas que porventura ainda possam existir quanto a legitimidade do processo de optimização em sistemas automáticos de trading, realizei o seguinte estudo:

- Com base no período temporal de 24-11-1999 à 06-02-2004, refiz de raiz todo o processo de optimização do meu sistema;

- Reparem que deixei propositadamente de fora o período referente à 06-02-2004 / 08-02-2005, pois este será o meu período de "validação" do sistema;

- Com base no "novo sistema", introduzi o período de validação (06-01-2004 / 08-02-2005)e o resultado foi uma rendibilidade de 9,92% (anualizada de 9,07%).

- O meu "sistema antigo" (optimizado com o período completo de 5 anos e alguns meses) foi capaz de oferecer um rendibilidade anualizada de 10,69%, ou seja, uma diferença percentual de 1,62%.

Portanto, com base em tudo o que já fui dito aqui a respeito da validade ou não do processo de optimização, qual é a conclusão a que chegam com base neste estudo?

Aguardo a opinião de todos. :wink:
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por rmachado » 16/2/2005 17:22

Curiosamente estive a ler um artigo no Stocks and commodities sobre o tema. E o senhor sugeria o mesmo que o/a Pipoca (peço desculpa pois pipoca é feminino). Isto para não se cair no erro do overfitting... pois a optimização para um só derivado/acção pode não funcionar para outros e convem ter um sistema o mais robusto possivel. Além do mais como dizem os bancos "rentabilidades passadas não querem dizer nada" convém sempre "supor" o futuro com dados já conhecidos, o tal "out of sample".
 
Mensagens: 2125
Registado: 24/8/2004 10:42
Localização: Carregado

por costarios » 16/2/2005 14:34

Pipoca, quero que saibas que eu percebo perfeitamente o teu ponto de vista, mas eu continuo a discordar em certos aspectos importantes, principalmente quando afirmas que um sistema optimizado para um período passado é inútil para trades futuros.

Há 2 anos que desenvolvo sistemas seguidores de tendência e neste tempo estive a seguir fielmente alguns sinais disparados por alguns dos meus sistemas e não tenho tido muito do que reclamar, tudo isto graças ao processo de optimização tão discutido aqui.

A optimização, no meu ponto de vista, é executada com o objectivo de prepararmos o sistema de modo a que o mesmo seja capaz de "reconhecer" determinados padrões do mercado, padrões estes que possam vir a resultar em trades lucrativos para o analista.

Não estou a fazer "data fitting" porquê, no fundo, eu acredito que estou a preparar o sistema para reconhecer "padrões de comportamento" e não para reconhecer situações específicas.

Ao analisar os sinais disparados por um sistema, posso ter uma noção do seu comportamento para o futuro. Se ao longo dos últimos 5 ou 6 anos um sistema foi capaz de originar bons sinais de entrada e saída, então eu tenho alguma "garantia" de que o mesmo irá se repetir no futuro.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por Pipoca » 16/2/2005 13:13

Quando eu digo que é inútil optimizar cada activo de forma individual, pretendo apenas afirmar que, para o futuro, não tem significado nenhuns os parâmetros obtidos com essa mesma optimização.


Claro que ao optimizares os parâmetros do teu sistema para a PT, os resultados teriam obrigatoriamente de ser superiores aos obtidos com os parâmetros anteriores (os que tinham sido utilizados em RWE), já que como o próprio nome indica, fizeste uma “optimização”.


Falando de uma forma directa, ao teres resultados desastrosos num activo e fabulosos noutros, utilizando o mesmo sistema e os mesmos parâmetros, só estás a demonstrar a nulidade que é esse mesmo sistema.


Digo isto pois para um qualquer sistema de trading, há sempre um conjunto de parâmetros que, para um determinado espaço de tempo, permite obter resultados bastante satisfatórios num qualquer activo. Isto não quer dizer que o sistema seja bom, mas sim que fizeste “data fitting”



Daí eu ter-te aconselhado a realizares uma análise “out of sample”, de forma a tu extraíres estas conclusões por ti próprio….


Os testes que apresentas não tem validade nenhuma, não só porque apenas foram efectuados num simples activo, como mais importante, porque são redundantes!
Não podes optimizar para o período 1999-2004 e depois posteriormente realizares testes em periodos anuais que se situam dentro do período de tempo optimizado....





abraço
 
Mensagens: 125
Registado: 28/5/2003 14:29
Localização: Porto

por costarios » 16/2/2005 12:48

Fernando, só para complementar, se eu estivesse a seguir a vossa táctica nos idos de 2003, eu dificilmente teria "validado" este algoritmo e, consequentemente, teria deixado de obter uma rendibilidade anualizada superior a 10% nos 12 meses imediatamente seguintes.

Concordo contigo quando dizes que não negociamos com o passado, mas discordo quando dás demasiada importância ao "período de validação" do sistema. Os exemplos que mostrei demonstram claramente esta minha opinião.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por costarios » 16/2/2005 12:44

Fernando, repare nos seguintes resultados do teste que realizei ontem:

24-11-1999 Performance: 23,25%
24-11-2000 Performance Annual.: 23,19%

24-10-2000 Performance: 11,58%
24-11-2001 Performance Annual.: 11,70%

24-10-2001 Performance: 2,49%
24-11-2002 Performance Annual.: 2,31%

24-10-2002 Performance: -0,56%
24-11-2003 Performance Annual.: -0,52%

24-10-2003 Performance: 11,22%
24-11-2004 Performance Annual.: 10,32%

Como podes reparar, no período 2002/2003 o meu sistema teve um retorno negativo, mas nos períodos anteriores a média do retorno foi de 12,44%!

Imagine agora que eu desenvolvi o meu sistema utilizando o período que vai de 24-11-1999 à 24-11-2002 e utilizo o período de 24-10-2002 / 24-11-2003 para fazer a sua "validação". Qual não será o meu susto ao constactar que o meu sistema está a dar um retorno negativo!!!

Se eu seguisse a vossa "táctica", dificilmente eu utilizaria o sistema nos anos seguintes, apesar dele ter demonstrado ser capaz de oferecer retornos consistentes mesmo em situações de baixa nos mercados.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

optimização

por Fernando dos Aidos » 16/2/2005 12:17

Caro costarios,

Mas o teste do sistema num período "out of sample" é fundamental para aferires da sua utilidade prática. O facto é que não se pode negociar o passado. A utilização prática do sistema ocorrerá sempre no futuro que é, por definição, um período "out of sample". Se um sistema optimizado não for capaz de produzir bons resultados fora do domínio para o qual foi optimizado, então esse sistema não pode ser usado na negociação e não tem utilidade prática.

Abraço

Fernando dos Aidos
Avatar do Utilizador
 
Mensagens: 620
Registado: 5/11/2002 2:26

por costarios » 16/2/2005 11:03

Acho que está a haver um conflito de interpretações quanto ao processo de optimização e o seu real objectivo.

A meu ver, o objectivo do processo de optimização é "treinar" o sistema para que o mesmo consiga reconhecer as melhores oportunidades de entrada e saída, portanto, torna-se obrigatório ao analista recorrer ao maior range temporal possível de modo ao sistema "experimentar" toda a sorte de situações que possam vir a ocorrer ao longo de um trade.

Voltando ao exemplo do sistema aqui exposto, podem reparar que o range temporal escolhido para o "treinamento" abarca toda a sorte de situações possíveis de ocorrer, ou seja, temos subidas, descidas e lateralizações em diversos níveis e forças. Se, diante deste cenário, um sistema é capaz de oferecer um retorno de 11%, então é válido pensarmos que o sistema terá grandes chances de oferecer um retorno semelhante no futuro.

Se conseguires retornos totalmente divergentes face ao esperado (ex: variações superiores a dois desvios padrões da média dos retornos), então isto só te vem provar que é perfeitamente inútil optimizares cada activo de uma forma individual.


Pipoca, eu discordo desta tua afirmação com base na minha experiência própria.

Ontem mesmo eu utilizei na PT o sistema configurado para a RWE e o resultado foi desastroso. Após optimizá-lo para a PT, os resultados obtidos melhoraram significativamente.

Quando eu falo em optmização de sistemas e rendibilidades anualizadas num período temporal alargado, não estou a dizer que o sistema ofereça "garantidamente" uma rendibilidade que gira em torno do desvio padrão das médias de retorno. Sabemos que a Bolsa não é uma ciência exacta, portanto, acredito que não seja válido pensarmos nela em termos assim tão "exactos".

Volto a frisar: a optmização serve apenas para preparar um sistema para que o mesmo seja capaz de reconhecer bons sinais de entrada e saída, mas não deve ser encarada como uma solução capaz de "garantir" resultados futuros.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por Pipoca » 16/2/2005 9:57

Costarios,

o teste que sugeri é exactamente aquilo que o Fernando refere no seu último post.
Basicamente, a minha ideia passaria por testar em “out of sample”, ou seja, com base em dados que não fizessem parte da amostra utilizada para optimização.

O que é que eu pretendo com isto?
Muito sucintamente, apenas demonstrar que a validade de uma optimização é nula para uma nova série de dados.



Imagina o seguinte cenário.

Tens uma série de dados que abrange o período 1999-2004. Seguindo o teu raciocínio, realizamos um processo de optimização para um período de 5 anos (99-03). Com isto conseguiste chegar à conclusão que as variáveis x e y são as “variáveis óptimas” e que o retorno médio anual obtido nesse período foi de z%.

Ou seja, se em 2004 utilizas esse sistema, usando as variáveis x e y, é porque acreditas que há uma grande possibilidade de se registar novamente um retorno aproximado de z%.

Se conseguires retornos totalmente divergentes face ao esperado (ex: variações superiores a dois desvios padrões da média dos retornos), então isto só te vem provar que é perfeitamente inútil optimizares cada activo de uma forma individual.



Abraço!
 
Mensagens: 125
Registado: 28/5/2003 14:29
Localização: Porto

por costarios » 16/2/2005 8:53

Olá Fernando.

Testar o sistema com base em outros dados que não aqueles utilizados nos testes só servirá para verificar se o sistema está bem ajustado para identificar as melhores oportunidades de entrada e saída.

Um teste deste tipo, conforme sugerido pelo Pipoca, não deve ser executado com o objectivo de se tentar obter a mesma rendibilidade anualizada que aquela conquistada na média dos últimos 5 anos!

O que o processo de optimização faz é "treinar" um sistema de modo a que ele seja capaz de identificar boas oportunidades de negócio.

É lógico prever que os resultados de um ano não pertencente aos dados de estudo serão diferentes da média dos últimos 5 anos. O objectivo do teste sugerido pelo Pipoca deve ser outro, volto a repetir:

- O objectivo deve ser verificar se o sistema é capaz de identificar boas oportunidades de negócio!

Penso que o que o nunofaustino disse é compartilhado pela maioria, ou seja, os sistemas são pessoais e instrasmissíveis e devem ser desenvolvidos sempre de acordo com o perfil único de cada título.

O sistema MRCR - Money Flow Index, com as variáveis configuradas para esses valores, oferece um desempenho verdadeira medíocre na PT (nos últimos 3 anos a rendibilidade anualizada é negativa!), o que só serve para provar que aquilo que funciona para um título não é válido para outro.

nunofaustino, uma dica, para além da volatilidade, tente também olhar para a força do mercado. O sistema que estivemos a discutir aqui tem esta característica.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

optimização

por Fernando dos Aidos » 16/2/2005 3:50

Caro Kopas,

Kopas Escreveu:... mas não será mais fácil optimizar para 5 anos e escolher os parâmetros que dão um performance histórica mais robusta, ou seja mais “suave”.


A minha opinião é que a optimização para 5 anos não é mais robusta... simplesmente apanha ineficiências do mercado diferentes.

Mas atenção: eu ainda não experimentei o método que referi. Para já, trata-se de um modelo teórico apenas.

Caro costarios,

Penso que ainda não é isso que o pipoca referiu. O que deverias fazer era testar o resultado da aplicação do método a um período diferente do usado na optimização, como de 1998 a 1999 ou períodos anteriores.

Caro Marco Antonio,

Sim, aquela discussão foi interessante. Embora fosse há 1 ano, ainda não arranjei tempo para testar o método que propus :? de modo que, para já, não posso afirmar nada em relação a resultados. Mas gostei (como sempre) de ler a tua opinião.

Olá Nuno,

Também gostei de ler a tua opinião. Eu confesso que tenho o "feeling" que a optimização pode ser muito útil, se for bem feita... mas, para já, não passa disso mesmo... de uma convicção.

Um abraço a todos

Fernando dos Aidos
Avatar do Utilizador
 
Mensagens: 620
Registado: 5/11/2002 2:26

por nunofaustino » 16/2/2005 2:55

Concordo na generalidade com o Marco...

Penso que os melhores sistemas são os que identificam bem as tendências (lateral ou tendencial). Depois de se identificar cada uma dessas tendencias pode-se estabelecer um sub-sistema que negoceie cada uma dessas tendencias (ou como eu costumo fazer, só negociar um deles).

Qto ao over-fitting, penso que é um erro muito comum. É comum nós tentarmos fazer um sistema que seja lucrativo com todas as acções... eu passei algum tempo a tentar isso e desisti... nunca encontrei o holy gral... o melhor é tentarmos identificar um ou dois parametros que nos permitam distinguir se um gráfico é melhor negociado com o sistema A, B ou C.

Por exemplo, eu considero que a volatilidade é um dos aspectos mais importantes qdo se está a fazer um sistema... Não podemos desenhar o mesmo sistema para a EDP e para a Rambus. Quer dizer, podemos, mas não terá a performance do que um sistema idealizado para acções voláteis (onde os trades são de menor duração) ou terá um drawdown muito superior a um sistema idealizado para acções pouco voláteis (onde os trades tem uma duração muito superior).

Qto ao over fitting acho que se tem de arranjar um compromisso... que pode passar por utilizar um sistema mais relaxado (em que n haja um overfitting exagerado) aplicado a muitas acções ou um sistema mais fixo (com vários parametros maximizados) que seja aplicado a um número reduzido de acções...

Um abraço
nunofaustino
Pluricanal... não obrigado. Serviço péssimo e enganador!!!
Avatar do Utilizador
 
Mensagens: 5157
Registado: 5/11/2002 5:10
Localização: Portugal

Re: optimização

por MarcoAntonio » 16/2/2005 1:51

Fernando dos Aidos Escreveu:A optimização é um assunto que me interessa muito e só tenho pena que raramente seja abordado.

Já houve um "thread" acerca deste assunto:

http://www.caldeiraodebolsa.com/forum/v ... highlight=


Oi Fernando,

não estou a seguir o tópico presente (vim só deitar uma vista de olhos) quando deparei com o teu link para aquele tópico sobre optimização.

E pensar que foi há mais de um ano. Estive a reler o tópico porque está bastante interessante e tem participações excelentes de diversos intervenientes.


A minha opinião sobre a optimização está também nesse tópico e nalguns pontos poderá ser pouco ortodoxa, mas a minha opinião é que a optimização é um pau de dois bicos e trás mais prejuízos que benefícios.

O que eu considero mais importante num sistema (seja discricionário ou mecânico) é algo que eu defino por abstracção. Ou seja, uma não especialização...

Em vez de o sistema (sublinho, descricionário ou mecânico) se centrar nas ineficiências do mercado e tentar adaptar-se a elas, este deve abstrair-se das ineficiências para se adaptar à verdadeira natureza do mercado, aquilo que realmente não muda.

Ora, o que realmente não muda no mercado (e esta é uma vertente técnica, obviamente) são as tendências.

Talvez por isso que os melhores sistemas sejam os sistemas seguidores de tendências. São pelo menos os mais consistentes e com melhores resultados a (muito) longo-prazo.

Eu deixaría «cair» a optimização em detrimento da abstração...

Quero dizer com isto, que eu perdería mais tempo a tentar perceber a natureza do mercado, a sua essência, do que propriamente as suas ineficiências.

No entanto também estou consciente que isto é pouco tractável num sistema mecânico convencional.
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 41749
Registado: 4/11/2002 22:16
Localização: Porto

por costarios » 16/2/2005 1:31

Experimenta fazer o tipo de testes que te sugeri, e verás que resultados que vais obter vão ser totalmente divergentes daquilo que esperavas.


Gostaria de retomar a conversa que estava a ter com o Pipoca.

Eu fiz os testes que sugeriste e os resultados são estes:

24-11-1999 Performance: 23,25%
24-11-2000 Performance Annual.: 23,19%

24-10-2000 Performance: 11,58%
24-11-2001 Performance Annual.: 11,70%

24-10-2001 Performance: 2,49%
24-11-2002 Performance Annual.: 2,31%

24-10-2002 Performance: -0,56%
24-11-2003 Performance Annual.: -0,52%

24-10-2003 Performance: 11,22%
24-11-2004 Performance Annual.: 10,32%

24-10-2003 Performance: 6,24%
24-11-2004 Performance Annual.: ???

A média da rendibilidade anualizada de todos estes períodos é de 10,852%, portanto, ligeiramente diferente dos 11,03% da rendibilidade anualizada do meu sistema para os últimos 5 anos, portanto, fico sem perceber exactamente aquilo que querias explicar com a execução destes testes.

Uma coisa eu concordo contigo: os valores de cada período são MUITO diferentes uns dos outros, mas isto é algo matematicamente LÓGICO e já tinha inclusivamente dito isto hoje a tarde.

Volto novamente a frisar um ponto que considero muito importante: o processo de optimização que levei a cabo neste sistema (e em tantos outros) tem por objectivo obter uma "rendibilidade anualizada média" superior ao desempenho do mercado no período em análise.

Como podem verificar pelos resultados, o sistema conseguiu bater o mercado em cada um dos períodos em análise.

Os 11,03% de desempenho anualizado para os últimos 5 anos apenas dão uma "ideia" e uma certa "garantia" acerca do desempenho futuro, principalmente quando temos em conta que este sistema passou por períodos de grandes quedas e lateralizações ao longo de todo este período.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por costarios » 16/2/2005 1:15

£izard, conforme prometido, segue um gráfico a demonstrar o Equity Curve deste sistema.

Como podes reparar, o desempenho do sistema sofreu um ligeiro revés apenas no período que vai de Jan/2002 à Mar/2003, o que corresponde ao período mais bearish da RWE nos últimos 5 anos (ver gráfico de longo prazo).

Imagem

Quanto aos detalhes referentes ao money management, é tudo muito simples:

- O sistema começa com 10.000;
- Todas as entradas são feitas no valor de 10.000;
- Os fechos de posição são feitos sempre à 100%.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por Visitante » 15/2/2005 20:46

Eu penso que a optimização não é melhor nem pior quer seja feita em um periodo dados de 5 ou 10 ou 100 anos. E tambem nao se pode optimizar um sistema para um activo e depois testa-lo noutro.
O fernando ja aqui descreveu uma forma que me parece correcta mas trabalhosa.

Eu prefiro a minha;
Se tenho 6 anos de dados faço a optimização com os primeiros 5 anos apenas e depois acrescento-lhe o outro ano dedados e vejo como reagiu o sistema.

Quanto à forma de fazer a optimização isso fica para outra altura com mais tempo.
Visitante
 

por costarios » 15/2/2005 20:25

mas não será mais fácil optimizar para 5 anos e escolher os parâmetros que dão um performance histórica mais robusta, ou seja mais “suave”.


Kopas, o meu ponto é exactamente este!

Concordo com aquilo que o Fernando disse, ou seja, não existem "valores mágicos". O trabalho de optimização consiste em ajustar as variáveis de um sistema para um dado título num dado range temporal bastante específico.

O resultado do processo de optimização é tão "pessoal" que dificilmente os resultados obtidos com o título optimizado serão repetidos noutro título não-optimizado.

Outra coisa importante a salientar é que um processo de optimização com base num range temporal alargado retornará um valor de "rendibilidade média" de TODO este período, ou seja, tomando como exemplo a ferramenta aqui em debate, não há garantias de que nos próximos 12 meses este sistema ofereça a rendibilidade anualizada de 11% obtida com os dados dos últimos 5 anos! Pode retornar 5%, 11% ou mesmo 50%!

O ponto fulcral a salientar de todo este processo é que "no longo prazo", e depois de passar por toda a sorte de movimentos bolsistas (subidas, quedas, lateralizações, etc.), este sistema foi capaz de retornar uma rendibilidade anualizada superior a 11%, mesmo que em alguns períodos ele tenha oferecido 20%, 30% ou mesmo 0%!
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por Kopas » 15/2/2005 18:43

Fernando,

Não sei se percebi bem, será então optimizar intervalo de tempo (ex: 1 ano) e utilizar esses valores para um mês real trading, voltar depois a optimizar para 1 ano (já com o mês que passou)e assim sucessivamente, numa constante optimização móvel.

Não se poderá dizer que seja um overfting pela via de um sem número de variáveis optimizadas para um grande quantidade de histórico, mas não será um overfitting de uma optimização para uma menor quantidade de dados? Quanto maior for o histórico(dados) maior será a necessidade de optimizações para um melhor ajuste.

Se pelo contrário, for um acumular de cenários de optimização feito mensalmente para um intervalo tempo(5 anos), ufa que trabalheira, e escolher o mais robusto, também não me parece um overfitting, mas não será mais fácil optimizar para 5 anos e escolher os parâmetros que dão um performance histórica mais robusta, ou seja mais “suave”.


Um abraço,
Kopas
Avatar do Utilizador
 
Mensagens: 264
Registado: 5/11/2002 0:44
Localização: Faro

Re: optimização

por Fernando dos Aidos » 15/2/2005 17:17

Kopas Escreveu:Se a optimização consegue apenas identificar ineficiências para um determinado intervalo de tempo (dados) ou activo, então que valor é que mesma terá para real trading.
Ou seja, parece que está implícito que com isto não haverá valores “chave” que poderão obter um hedje para out sampling ou real trading, mas unicamente um overfitting sobre os dados.
Kopas


Caro Kopas,

Penso que a optimização tem interesse para nogociação real. Apenas acho que o método deve ser "adaptativo", i.e., acho que não há "valores mágicos" dos parâmetros, mas valores óptimos que dependem do intervalo temporal que comsideramos.

Exemplificando: optimizo os valores dos parâmetros para um período de 1 ano e uso esses valores para o mês seguinte. Em seguida, torno a optimizar os valores dos parâmetros para o período de 1 ano (que agora inclui o mês que passou) e uso esses valores para mais 1 mês. E assim, sucessivamente. Se, usando esta técnica, obtiver bons resultados por um período de testes de, digamos, 5 anos, então este método pode ser usado, pois vai adaptando os valores dos parâmetros à evolução da cotação.

Aliás o que eu proponho não é usar os valores óptimos mas os mais estáveis (discuti isso num "post" no "thread" referido).

É claro que, se os testes não correrem bem, é preciso voltar ao princípio e arranjar outro algoritmo para lhe aplicar esta técnica de optimização.

Repara que isto não é "overfitting"!

Caro costarios,

A minha discordância reside no carácter não adaptativo da tua abordagem. Repara que o que o pipoca te sugere é que testes o teu método FORA do período temporal que usaste para a optimização. Essa é, de facto, e única forma de testar verdadeiramente um algoritmo optimizado.

Caro pipoca,

pipoca Escreveu:Costarios, a optimização individual (activo a activo) é exactamente um dos pontos que eu critíco.


Penso que discordamos neste ponto base.

Um abraço a todos

Fernando dos Aidos

PS - Terei imenso gosto em continuar esta conversa (até porque o assunto me interessa muito, como já referi), mas só devo poder voltar à noite.
Avatar do Utilizador
 
Mensagens: 620
Registado: 5/11/2002 2:26

por costarios » 15/2/2005 16:49

Pipoca, agradeço a tua dica e vou segui-la hoje a noite, mas se tomarmos como exemplo a rendibilidade anualizada deste sistema, que é pouco superior a 11% nos últimos 5 anos, é de supor que se eu dividir este range temporal em 2 sub-períodos de 2 anos e meio cada, a média somada de ambas as rendibilidades também será os mesmos 11%, não é? :wink:
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

por Pipoca » 15/2/2005 15:52

Costarios, a optimização individual (activo a activo) é exactamente um dos pontos que eu critíco.

Experimenta fazer o tipo de testes que te sugeri, e verás que resultados que vais obter vão ser totalmente divergentes daquilo que esperavas.

Depois, retira daí tu próprio as conclusões que achares mais adequadas...



Abraço
 
Mensagens: 125
Registado: 28/5/2003 14:29
Localização: Porto

por costarios » 15/2/2005 15:44

Uma optimização para muitos activos e para intervalos temporais elevados vai ter sempre uma rentabilidade muito limitada, pois apenas vai detectar uma ineficiência que esteja sempre presente em todos os activos.


Fernando, eu defendo a optimização INDIVIDUAL (activo a activo) e com base num intervalo temporal alargado. Acredito, assim como tu, que a optimização para VÁRIOS títulos não resulta lá muito bem.

Nos "primórdios" do meu aprendizado eu andei à caça da "Pedra Filosofal" dos sistemas de trading, mas tudo não passa de mito. Cheguei à conclusão de que não é possível criar sistemas de trading igualmente eficientes para uma gama muito variada de títulos.
"Now i am the master!"
Frase proferida por Warren Buffett ao seu velho mestre Ben Graham, quando este jazia em seu leito de morte.
Avatar do Utilizador
 
Mensagens: 418
Registado: 16/10/2003 9:41
Localização: LISBOA

Re: optimização

por Kopas » 15/2/2005 15:34

Fernando dos Aidos Escreveu:
O interesse da optimização é tirar partido de uma ineficiência do mercado que existe durante um certo intervalo de tempo num certo activo. Compete ao método de optimização detectar essa ineficiência antes que ela desapareça.

Uma optimização para muitos activos e para intervalos temporais elevados vai ter sempre uma rentabilidade muito limitada, pois apenas vai detectar uma ineficiência que esteja sempre presente em todos os activos.

Boas,

Caro Fernando,

Achei particularmente interessantes esses comentários.

Se a optimização consegue apenas identificar ineficiências para um determinado intervalo de tempo (dados) ou activo, então que valor é que mesma terá para real trading.
Ou seja, parece que está implícito que com isto não haverá valores “chave” que poderão obter um hedje para out sampling ou real trading, mas unicamente um overfitting sobre os dados.




Um abraço,
Kopas
Avatar do Utilizador
 
Mensagens: 264
Registado: 5/11/2002 0:44
Localização: Faro

Próximo

Quem está ligado:
Utilizadores a ver este Fórum: Apramg, goncaladas, Google Adsense [Bot], LionHeart, Mmmartins, Musus, Phil2014, Pmart 1, Shimazaki_2 e 335 visitantes