Na especificação do modelo, identificação, graus de liberdade e regularização - Milbus
"Metalocalypse" agora é gratuito para transmissão on-line
Na especificação do modelo, identificação, graus de liberdade e regularização
Eu me diverti muito esta semana, revisitando esta postagem do blog (simulação de Monte Carlo de um modelo de taxas de juros de dois fatores com o ESGtoolkit) que escrevi alguns anos atrás em 2014 – que de alguma forma gerou uma onda de calor. Este post de 2020 é sobre modelo especificação, identificação, graus de liberdade e regularização. A primeira parte está em Simulação de Monte Carlo para precificação financeirae a segunda parte sobre otimização em redes neurais de aprendizagem profunda. Não vou tirar muitas conclusões aqui, mas vou deixar você tirar as suas. Claro, fique à vontade para alcançar se algo parece / soa errado para você. Essa ainda é a melhor maneira de lidar com problemas.
1 Simulação de um modelo de taxas curtas G2 ++
2 Otimização em redes neurais de aprendizagem profunda
Simulação de um modelo de taxas curtas G2 ++
Vamos começar carregando ESGtoolkit para a primeira parte deste post:
Entrada do modelo G2 ++ parâmetros:
G2 ++ função de simulação (HCSPL significa interpolação Hermite Cubic Spline da curva de rendimento):
simG2plus
Simulações de G2 ++ para 4 tipos de conjuntos de parâmetros:
r.HCSPL
Estocástico fatores de desconto derivadas de simulações de taxas curtas:
deltat_r
Preços (observado vs Monte Carlo para os 4 exemplos anteriores):
Parcelas observado preços vs preços de Monte Carlo:
main="short rate simulations n for example 1")
xlab = "time", ylab = "prices", main = "Prices for example 1 n (observed vs Monte Carlo)")
main="short rate simulations n for example 2")
xlab = "time", ylab = "prices", main = "Prices for example 2 n (observed vs Monte Carlo)")
main="short rate simulations n for example 3")
xlab = "time", ylab = "prices", main = "Prices for example 3 n (observed vs Monte Carlo)")
main="short rate simulations n for example 4")
xlab = "time", ylab = "prices", main = "Prices for example 4 n (observed vs Monte Carlo)")
O que nós observar nesses gráficos, tanto em simulações quanto em preços? O que acontecerá se adicionarmos um terceiro fator para este modelo, ou seja, mais três parâmetros; um G3 ++ / qualquer outro hidra?
Otimização em redes neurais de aprendizagem profunda
Sobre um tipo diferente de pergunta / problema, mas ainda sobre o assunto da especificação do modelo, identificação, graus de liberdade e regularização: Redes neurais de aprendizagem profunda. Algumas pessoas sugerem que, se você continuar adicionando parâmetros (graus de liberdade?) A esses modelos, poderá ainda obter uma boa generalização. Bem, tem uma foto que eu gosto muito:
Leia Também Usando funções como entrada para funções com {dbplyr}
Quando otimizamos a função de perda nos modelos de redes neurais de aprendizado profundo, provavelmente usamos descida de gradiente, que é rápido e escalável. Ainda assim, não importa o quão sofisticado seja o procedimento de descida de gradiente que estamos usando, provavelmente ficaremos presos a um mínimo local – porque a função de perda raramente é convexa.
Preso é um termo bastante infeliz aqui, porque não é um problema real, mas uma maneira indireta de evitar o excesso de treinamento. Além disso, em nosso procedimento de descida de gradiente, ajustamos o número de épocas (número de iterações na descida / subida), a taxa de aprendizado (com que rapidez rolamos na descida / subida), além do abandono (abandono aleatório de algumas nós nas camadas das redes), etc. Essas também são maneiras de evitar aprender demais, interromper a otimização relativamente cedo e preservar a capacidade do modelo de generalizar. Eles regularizam o modelo, enquanto os milhões de nós da rede servem como graus de liberdade. Esse é um problema diferente do primeiro que examinamos, com objetivos diferentes, mas … ainda sobre a especificação do modelo, identificação, graus de liberdade e regularização.
Para aqueles que estão trabalhando em casa por causa do COVID-19, eu recomendo isso livro sobre equilíbrio entre vida profissional e pessoal, que eu literalmente devorei há alguns meses: REMOTE: Office Not Required (e não, eu não sou pago para promover este livro).