Uma maneira simples (ad hoc) é apenas tomar uma média ponderada (ajustável por alfa) em cada ponto com seus vizinhos: ou alguma variação do mesmo. Sim, para ser mais sofisticado você pode Fourier transformar seus dados em primeiro lugar, em seguida, cortar as altas freqüências. Algo como: Isso corta as 20 frequências mais altas. Tenha cuidado para cortá-los simetricamente, caso contrário a transformada inversa não é mais real. Você precisa escolher cuidadosamente a freqüência de corte para o nível correto de suavização. Este é um tipo muito simples de filtragem (filtragem de caixa no domínio da freqüência), para que você possa tentar suavemente atenuando freqüências de alta ordem se a distorção é inaceitável. FFT não é uma má idéia, mas é provavelmente um exagero aqui. Corrente ou médias móveis dão resultados geralmente pobres e devem ser evitados para qualquer coisa além de trabalhos de casa atrasados (e ruído branco). Id uso Savitzky-Golay filtragem (em Matlab sgolayfilt (.)). Isso lhe dará os melhores resultados para o que você está procurando - algum alisamento local, mantendo a forma da curva. Este tutorial discute como usar MATLAB para processamento de imagem. Alguma familiaridade com MATLAB é assumida (você deve saber como usar matrizes e escrever um M-arquivo). É útil ter o MATLAB Image Processing Toolbox, mas, felizmente, nenhuma caixa de ferramentas é necessária para a maioria das operações. Os comandos que requerem o Image Toolbox são indicados com Image Toolbox. Representação de imagem Existem cinco tipos de imagens no MATLAB. Grayscale. Uma imagem de escala de cinza M pixels de altura e N pixels de largura é representada como uma matriz de tipo de dados duplo de tamanho M N. Os valores dos elementos (por exemplo, MyImage (m, n)) denotam as intensidades de escala de cinza de pixel em 0,1 com 0 preto e 1 branco. Truecolor RGB. Uma imagem truecolor vermelho-verde-azul (RGB) é representada como uma matriz dupla tridimensional M N 3. Cada pixel tem componentes vermelhos, verdes e azuis ao longo da terceira dimensão com valores em 0,1, por exemplo, os componentes de cor do pixel (m, n) são MyImage (m, n, 1) vermelho, MyImage (m, n, 2) verde, MyImage (m, n, 3) blue. Indexed. As imagens indexadas (paletadas) são representadas com uma matriz de índice de tamanho M N e uma matriz de mapa de cor de tamanho K 3. O mapa de cores mantém todas as cores usadas na imagem ea matriz de índice representa os pixels consultando as cores no mapa de cores. Por exemplo, se a cor 22 é magenta MyColormap (22, :) 1,0,1. Então MyImage (m, n) 22 é um pixel de cor magenta. Uma imagem binária é representada por uma matriz lógica M N onde os valores de pixel são 1 (verdadeiro) ou 0 (falso).uint8. Esse tipo usa menos memória e algumas operações calculam mais rápido do que com tipos duplos. Para simplificar, este tutorial não discute mais uint8. Grayscale é geralmente o formato preferido para processamento de imagem. Em casos que requerem cor, uma imagem em cores RGB pode ser decomposta e tratada como três imagens em escala de cinza separadas. As imagens indexadas devem ser convertidas para tons de cinza ou RGB para a maioria das operações. Abaixo estão algumas manipulações e conversões comuns. Alguns comandos requerem o Image Toolbox e são indicados com Image Toolbox. Ler e gravar arquivos de imagem O MATLAB pode ler e gravar imagens com os comandos imread e imwrite. Embora um número razoável de formatos de arquivo são suportados, alguns não são. Use imformats para ver o que sua instalação suporta: Ao ler imagens, um problema lamentável é que imread retorna os dados de imagem no tipo de dados uint8, que deve ser convertido em duplo e rescaled antes de usar. Então, em vez de chamar imread diretamente, eu uso a seguinte função M-file para ler e converter imagens: Clique com o botão direito do mouse e salve getimage. m para usar esta função M. Se a imagem baboon. png está no diretório atual (ou em algum lugar no caminho de busca MATLAB), você pode lê-lo com MyImage getimage (baboon. png). Você também pode usar caminhos parciais, por exemplo, se a imagem estiver no diretório atual gtimages com getimage (imagesbaboon. png). Para gravar uma imagem em escala de cinza ou RGB, use Tome cuidado para que MyImage seja uma matriz dupla com elementos em 0,1if incorretamente dimensionado, o arquivo salvo provavelmente ficará em branco. Ao escrever arquivos de imagem, eu recomendo usar o formato de arquivo PNG. Este formato é uma escolha confiável, uma vez que é sem perdas, suporta truecolor RGB e compacta muito bem. Use outros formatos com cuidado. Operações básicas Abaixo estão algumas operações básicas em uma imagem de escala de cinza u. Os comandos que requerem o Image Toolbox são indicados com Image Toolbox. (Nota: Para qualquer array, a sintaxe u (:) significa desenrolar u em um vetor de coluna. Por exemplo, se u 1,50,2. Então u (:) é 1052.) Por exemplo, a potência do sinal de imagem é usada em Computando a relação sinal-ruído (SNR) ea relação pico sinal-ruído (PSNR). Dada imagem limpa uclean e ruído contaminado u imagem, Tenha cuidado com a norma. O comportamento é norma (v) no vetor v calcula sqrt (soma (v.2)). Mas a norma (A) na matriz A calcula a norma da matriz de L 2 induzida, então a norma (A) certamente não é sqrt (soma (A (:) .2)). No entanto, é um erro fácil usar a norma (A) onde deveria ter sido a norma (A (:)). Filtros lineares A filtragem linear é a técnica fundamental do processamento de sinais. Para introduzir brevemente, um filtro linear é uma operação em que em cada pixel x m, n de uma imagem, uma função linear é avaliada no pixel e seus vizinhos para calcular um novo valor de pixel y m, n. Um filtro linear em duas dimensões tem a forma geral onde x é a entrada, y é a saída, e h é a resposta do impulso do filtro. Diferentes escolhas de h levam a filtros que suavizam, afiam e detectam bordas, para citar algumas aplicações. O lado direito da equação acima é denotado concisamente como h x e é chamado a convolução de h e x. Filtragem do domínio espacial A filtragem linear bidimensional é implementada no MATLAB com conv2. Infelizmente, o conv2 só pode lidar com a filtragem perto dos limites da imagem por preenchimento zero, o que significa que os resultados de filtragem são geralmente inadequados para pixels próximos ao limite. Para contornar isso, podemos preencher a imagem de entrada e usar a opção válida ao chamar conv2. A seguinte função M faz isso. Clique com o botão direito do mouse e salve conv2padded. m para usar esta função M. Aqui estão alguns exemplos: Um filtro 2D h é dito ser separável se ele pode ser expresso como o produto externo de dois filtros 1D h1 e h2. Ou seja, h h1 (:) h2 (:). É mais rápido passar h1 e h2 do que h. Como é feito acima para a janela de média móvel eo filtro Gaussiano. De fato, os filtros de Sobel hx e hy também são separáveisque são h1 e h2 Filtragem de domínio de Fourier A filtragem de domínio espacial com conv2 é facilmente uma operação computacionalmente cara. Para um filtro K K em uma imagem M N, conv2 custa O (MNK 2) adições e multiplicações, ou O (N 4) supondo M N K. Para filtros grandes, a filtragem no domínio de Fourier é mais rápida, já que o custo computacional é reduzido a O (N 2 log N). Usando a propriedade de convolução-multiplicação da transformada de Fourier, a convolução é calculada de forma equivalente por O resultado é equivalente a conv2padded (x, h), exceto próximo ao limite, onde a computação acima usa extensão de limite periódica. A filtragem baseada em Fourier também pode ser feita com a extensão de contorno simétrica, refletindo a entrada em cada direção: (Nota: Um método ainda mais eficiente é a filtragem de sobreposição de FFT. A Ferramenta de Processamento de Sinal implementa a sobreposição FFT-add em uma dimensão em fftfilt .) Filtros não-lineares Um filtro não-linear é uma operação em que cada pixel filtrado ym, n é uma função não linear de xm, n e seus vizinhos. Aqui discutimos brevemente alguns tipos de filtros não-lineares. Filtros de estatística de ordem Se você tiver o Image Toolbox, os filtros de estatística de ordem podem ser executados com ordfilt2 e medfilt2. Um filtro de estatística de ordem classifica os valores de pixel em uma vizinhança e seleciona o quinto maior valor. Os filtros min, max e mediano são casos especiais. Filtros morfológicos Se você tem o Image Toolbox, bwmorph implementa várias operações morfológicas em imagens binárias, como erosão, dilatação, abertura, fechamento e esqueleto. Existem também comandos disponíveis para morfologia em imagens em escala de cinza: imerode. Imidato e imtofato. entre outros. Crie seu próprio filtro Ocasionalmente, queremos usar um novo filtro que o MATLAB não possui. O código abaixo é um modelo para a implementação de filtros. (Nota: Uma afirmação equivocada freqüente é que os loops no MATLAB são lentos e devem ser evitados. Esta vez foi verdade, de volta no MATLAB 5 e anteriores, mas loops em versões modernas são razoavelmente rápido.) Por exemplo, o alfa-aparado médio filtro Ignora os valores mais baixos d 2 e d 2 mais altos na janela e calcula a média dos restantes valores (2 r 1) 2 d. O filtro é um equilíbrio entre um filtro mediano e um filtro médio. O filtro de média alfa-aparado pode ser implementado no modelo como um outro exemplo, o filtro bilateral isGEOS 585A, Applied Time Series Analysis Phone: (520) 621-3457 Fax: (520) 621-8229 Horário de funcionamento sexta-feira, 1:00 -6: 00 PM (por favor envie um e-mail para agendar a reunião) Descrição do Curso As ferramentas de análise nos domínios tempo e frequência são introduzidas no contexto de séries temporais de amostra. Eu uso um conjunto de dados de séries de tempo de exemplo para ilustrar métodos e alterar o conjunto de dados de cada semestre do curso é oferecido. Este ano o conjunto de dados de amostra vem de um projeto da NSF sobre a variabilidade da camada de neve na bacia hidrográfica americana da Califórnia. Este conjunto de dados inclui cronologias de anéis de árvore, índices climáticos, registros de fluxo e séries temporais de equivalentes de água de neve medidos em estações de neve. Você vai montar sua própria série de tempo para uso no curso. Estes podem ser de seu próprio projeto de pesquisa. Back to Top of Page Este é um curso introdutório, com ênfase em aspectos práticos da análise de séries temporais. Os métodos são hierarquicamente introduzidos - começando com terminologia e gráficos exploratórios, passando para estatística descritiva, e terminando com procedimentos básicos de modelagem. Os tópicos incluem detrending, filtragem, modelagem autorregressiva, análise espectral e regressão. Você passa as duas primeiras semanas instalando o Matlab em seu laptop, obtendo uma introdução básica ao Matlab e montando seu dataset de séries temporais para o curso. Doze tópicos ou lições são então cobertos, cada um alocado por semana, ou dois períodos de aula. Doze atribuições de classe acompanham os tópicos. As atribuições consistem em aplicar métodos executando scripts Matlab (programas) pré-escritos em suas séries de tempo e interpretando os resultados. O curso 3 créditos para estudantes no campus da Universidade do Arizona em Tucson, e 1 crédito para estudantes on-line. Qualquer série de tempo com um incremento de tempo constante (por exemplo dia, mês, ano) é um candidato para uso no curso. Exemplos são as medições diárias de precipitação, o fluxo total sazonal, a temperatura média do verão, os índices anuais de crescimento das árvores, os índices de temperatura da superfície do mar eo incremento de altura diária de um arbusto. Como resultado de tomar o curso, você deve: compreender os conceitos básicos de séries temporais e terminologia ser capaz de selecionar métodos de séries temporais apropriadas para os objetivos ser capaz de avaliar criticamente a literatura científica aplicando os métodos de série cronológica cobertos ter melhor compreensão das propriedades das séries temporais do seu Próprio conjunto de dados ser capaz de resumir sucintamente os resultados da análise de séries temporais por escrito Pré-requisitos Um curso de estatísticas introdutórias Acesso a um computador portátil capaz de ter Matlab instalado nele Permissão do instrutor (estudantes de graduação e on-line) Outros requisitos Se você está em uma Universidade de Arizona (UA) estudante no campus em Tucson, você tem acesso a Matlab e ferramentas necessárias através de uma licença de site UA como nenhum software de custo. Nenhuma experiência anterior com o Matlab é necessária, ea programação de computadores não faz parte do curso. Se você é um online, não no campus na UA, você será capaz de fazer o curso no semestre da Primavera de 2017 como um iCourse. Você deve se certificar de que você tem acesso ao Matlab e as caixas de ferramentas necessárias (veja abaixo) em seu local. Acesso à internet. Não há troca de papel no curso. As notas e atribuições são trocadas eletronicamente e as tarefas concluídas são enviadas eletronicamente através do sistema da Universidade do Arizona Desire2Learn (D2L). Versão Matlab. Eu atualizo scripts e funções de vez em quando usando a versão atual da licença de site do Matlab, e as atualizações podem usar recursos do Matlab não disponíveis nas versões anteriores do Matlab. Para 2017, estou usando Matlab versão 9.1.0.441655 (R2016b). Se você estiver usando uma versão anterior, verifique se ele é Matlab Release 2007b ou superior. Além do pacote Matlab principal, são utilizadas quatro caixas de ferramentas: Estatísticas, Processamento de Sinal, Identificação do Sistema e Spline (Matlab Release 2010a ou anterior) ou Curve Fitting (Matlab Release 2010b ou posterior) Disponibilidade O curso é oferecido no Semestre de Primavera Todos os anos (2015, 2017, etc.). É aberto a estudantes de pós-graduação e também pode ser tomado por idosos de graduação com permissão do instrutor. A matrícula de estudantes UA residentes é limitada em 18 para o semestre de primavera de 2017. Um pequeno número de estudantes on-line também tem sido geralmente acomodados, oferecendo o curso de várias maneiras. O caminho agora é o local da iCourse descrito acima. Back to Top of Page Resumo do Curso (Aulas) O cronograma geralmente permite cerca de duas semanas para a coleta de dados e familiarização com o Matlab. Em seguida, uma semana (dois períodos de aula) são dedicados a cada uma das 12 lições ou tópicos. Classe se reúne na terça-feira e quinta-feira. Um tópico novo é introduzido em terça-feira, e é continuado na quinta-feira seguinte. As aulas da quinta-feira terminam com uma atribuição e uma demonstração de execução do script em meus dados de amostra. A atribuição é devido (deve ser carregado por você para D2L) antes da aula na terça-feira seguinte. As primeiras 12 horas dessa classe de terças-feiras são usadas para auto-avaliação guiada e classificação da atribuição e upload de atribuições avaliadas (graduadas) para D2L. Os restantes 45 minutos são utilizados para introduzir o próximo tópico. Você deve trazer seu laptop para a classe às terças-feiras. As 12 lições ou tópicos abordados no curso estão listados no esboço da classe. Espera-se que os estudantes on-line sigam o mesmo cronograma de submissão de trabalhos como os estudantes residentes, mas não têm acesso às palestras. As missões enviadas de estudantes on-line não são auto-avaliadas, mas são classificadas por mim. Os estudantes on-line devem ter acesso ao D2L para submeter trabalhos. Primavera 2017 semestre. A turma se reúne duas vezes por semana para sessões de 75 minutos, 9: 00-10: 15 AM TTh, no quarto 424 (Sala de Conferências) do Bryant Bannister Tree-Ring Building (prédio 45B). O primeiro dia de aula é 12 de janeiro (quinta-feira). O último dia da aula é 2 de maio (terça). Não há classe durante a semana de Spring Break (11 a 19 de março). Você analisa os dados de sua escolha nas atribuições da turma. Conforme indicado na visão geral do curso. Há muita flexibilidade na escolha de séries temporais. Farei um catálogo de séries temporais adequadas disponíveis, mas é melhor focar o curso em seu próprio conjunto de dados. A primeira atribuição envolve a execução de um script que armazena os dados e metadados que você reuniu no arquivo mat, o formato nativo do Matlab. As atribuições subseqüentes extraem os dados do arquivo mat para a análise de séries temporais. Atribuições Os 12 tópicos são abordados sequencialmente durante o semestre, que abrange aproximadamente 15 semanas. Sobre as duas primeiras semanas (4-5 reuniões de classe) são usados para algum material introdutório, decidir e recolher a sua série de tempo, e preparando Matlab em seu laptop. Cada semana depois disso é dedicado a um dos 12 tópicos do curso. Cada atribuição consiste em ler um capítulo de notas, executando um script Matlab associado que aplica métodos selecionados de análise de séries temporais aos seus dados e redigir sua interpretação dos resultados. Atribuições exigem compreensão dos temas da palestra, bem como a capacidade de usar o computador e software. Você envia atribuições enviando-os para D2L antes da classe de terça-feira quando o próximo tópico é introduzido. A primeira meia hora dessa classe de terça-feira é usada para auto-avaliação guiada da tarefa, incluindo o upload de pdfs auto-classificados para D2L. Eu verificar uma ou mais das atribuições auto-classificados cada semana (por seleção aleatória), e pode mudar a nota. Para saber como acessar as atribuições, clique em arquivos de atribuição. As leituras consistem em notas de aula. Há doze conjuntos de arquivos de notas. pdf. Um para cada um dos tópicos do curso. Esses arquivos. pdf podem ser acessados pela Web. Mais informações sobre os vários tópicos abordados no curso podem ser encontradas através de referências listadas no final de cada capítulo de notas de aula. Graus são baseados inteiramente no desempenho nas atribuições, cada um dos quais vale 10 pontos. Não há exames. O número total de pontos possíveis para os 12 tópicos é 12 x 10 120. Um grau de A exigido 90-100 por cento dos pontos possíveis. Um grau de B requer 80-90 por cento. Um grau de C requer 70-80 por cento, e assim por diante. As notas são atribuídas por auto-avaliação guiada por uma rubrica apresentada na aula. O número de pontos ganhos deve ser marcado no topo de cada atribuição graduada. Sua marcação da atribuição deve incluir a anotação de quaisquer descontos por referência a um ponto de rubrica ilustrado na classe (por exemplo, -0.5, rp3 indica dedução de -0.5 por causa de um erro relacionado ao ponto 3 da rubrica) As atribuições, dadas na classe na quinta-feira, serão (Enviado para o D2L por você) antes do início da aula na terça-feira seguinte. A primeira meia hora do período de reunião das terças-feiras será dedicada à apresentação de uma rubrica de classificação, auto-avaliação de tarefas concluídas e upload de atribuições auto-classificadas para D2L. Esta programação dá-lhe 4 dias para terminar e transferir arquivos pela rede a atribuição a D2L antes das 9:00 da terça-feira de terça-feira. O D2L mantém o controle do tempo em que a atribuição foi carregada e nenhuma penalidade é avaliada desde que seja carregada antes das 9:00 da manhã da terça-feira da data de vencimento. Se você tiver alguma necessidade programada de estar longe da aula (por exemplo, comparecimento a uma conferência), você é responsável por fazer o upload de sua tarefa antes das 9:00 da terça-feira, e para fazer o upload da versão auto-avaliada até às 10:15. o mesmo dia. Em outras palavras, o cronograma é o mesmo que para os alunos que estão na sala de aula. Se surgir uma emergência (por exemplo, você receber a gripe) e não pode fazer a atribuição ou avaliação no cronograma, por favor, envie-me um e-mail e vamos chegar algum alojamento. Caso contrário, será avaliada uma penalidade de 5 pontos (metade do total de pontos disponíveis para o exercício). Introdução à organização de séries temporais de dados para análise Uma série de tempo é amplamente definida como qualquer série de medições tomadas em momentos diferentes. Algumas categorias descritivas básicas de séries temporais são 1) longas vs curtas, 2) mesmo tempo-passo vs desigual tempo-passo, 3) discreto vs contínuo, 4) periódico vs aperiódico, 5) estacionário vs não-estacionário, e 6) univariada versus multivariada . Essas propriedades, bem como a sobreposição temporal de séries múltiplas, devem ser consideradas na seleção de um conjunto de dados para análise neste curso. Você vai analisar sua própria série de tempo no curso. Os primeiros passos são selecionar essas séries e armazená-las em estruturas em um arquivo mat. A uniformidade no armazenamento no início é conveniente para esta classe de modo que a atenção pode então ser focada na compreensão dos métodos da série temporal, em vez de depuração do código do computador para preparar os dados para análise. Uma estrutura é uma variável Matlab semelhante a um banco de dados em que o conteúdo é acessado por designadores de campo textual. Uma estrutura pode armazenar dados de formulários diferentes. Por exemplo, um campo pode ser uma matriz de séries temporais numéricas, outro pode ser texto descrevendo a fonte de dados, etc. Na primeira atribuição você executará um script Matlab que lê suas séries de tempo e metadados de arquivos de texto ascii que você prepara de antemão e Armazena os dados em estruturas Matlab em um único arquivo mat. Em atribuições subseqüentes, você aplicará métodos de séries temporais aos dados executando scripts Matlab e funções que carregam o arquivo mat e operam nessas estruturas. Selecione os dados de amostra a serem usados para atribuições durante o curso. Leia: (1) Notes1.pdf, (2) Primeiros passos, acessível a partir do menu de ajuda do MATLAB Resposta: Execute o script geosa1.m e responda às perguntas listadas no arquivo em a1.pdf Como distinguir as categorias de séries temporais Como iniciar e sair do MATLAB Como digitar comandos MATLAB no prompt de comando Como criar figuras na janela de figuras Como exportar figuras para o processador de texto Diferença entre scripts MATLAB e funções Como executar scripts e funções O Forma de uma variável de estrutura MATLAB Como aplicar o script geosa1.m para obter um conjunto de séries de tempo e metadados em estruturas MATLAB A distribuição de probabilidade de uma série de tempo descreve a probabilidade de que uma observação caia em um intervalo especificado de valores. Uma distribuição de probabilidade empírica para uma série temporal pode ser obtida classificando e classificando os valores da série. Quantiles e percentis são estatísticas úteis que podem ser tomadas diretamente da distribuição de probabilidade empírica. Muitos testes estatísticos paramétricos pressupõem que a série temporal é uma amostra de uma população com uma distribuição de probabilidade populacional específica. Muitas vezes a população é considerada normal. Este capítulo apresenta algumas definições básicas, estatísticas e gráficos relacionados à distribuição de probabilidade. Além disso, é introduzido um teste (teste de Lilliefors) para testar se uma amostra provém de uma distribuição normal com médias e variâncias não especificadas. Definição de termos: séries temporais, estacionaridade, densidade de probabilidade, função de distribição, quantile, spread, localização, média, desvio padrão e desvio Como interpretar o algoritmo Gráfico mais valioso na análise de séries temporais - o gráfico de séries cronológicas Como interpretar o gráfico de caixa, histograma e gráfico de probabilidade normal Parâmetros e forma da distribuição normal Teste de Lilliefors para a normalidade: descrição gráfica, hipóteses, hipóteses nulas e alternativas Níveis de significância de testes estatísticos quando séries temporais não aleatórias no tempo Como aplicar geosa2.m para verificar as propriedades de distribuição de uma série temporal e testar a série para normalidade Autocorrelação refere-se à correlação de uma série temporal com seus próprios valores passados e futuros. Autocorrelação é também às vezes chamado de correlação retardada ou correlação serial. Que se refere à correlação entre membros de uma série de números dispostos no tempo. A autocorrelação positiva pode ser considerada uma forma específica de persistência. Uma tendência para um sistema para permanecer no mesmo estado de uma observação para a próxima. Por exemplo, a probabilidade de o amanhã ser chuvoso é maior se hoje é chuvoso do que se hoje está seco. As séries de tempo geofísicas são freqüentemente autocorrelacionadas por causa de inércia ou processos de transição no sistema físico. Por exemplo, os sistemas de baixa pressão que se desenvolvem lentamente e se movem na atmosfera podem conferir persistência às chuvas diárias. Ou a drenagem lenta das reservas de água subterrânea pode transmitir correlação aos fluxos anuais sucessivos de um rio. Ou os fotossíntatos armazenados podem transmitir correlação aos valores anuais sucessivos dos índices dos anéis das árvores. A autocorrelação complica a aplicação de testes estatísticos reduzindo o número de observações independentes. A autocorrelação pode também complicar a identificação de covariância significativa ou correlação entre séries temporais (por exemplo, precipitação com uma série de anéis de árvore). A autocorrelação pode ser explorada para previsões: uma série temporal autocorrelacionada é previsível, probabilisticamente, porque os valores futuros dependem dos valores atuais e passados. Três ferramentas para avaliar a autocorrelação de uma série temporal são (1) o gráfico da série temporal, (2) o diagrama de dispersão retardado e (3) a função de autocorrelação. Resposta: Execute o script geosa3.m e responda às perguntas listadas no arquivo em a3.pdf Definições: autocorrelação, persistência, correlação serial, função de autocorrelação (acf), função de autocovariância (acvf), tamanho efetivo da amostra Como reconhecer a autocorrelação na série temporal Trama Como usar gráficos de dispersão retardados para avaliar a autocorrelação Como interpretar o acf plotado Como ajustar o tamanho da amostra para a autocorrelação Definição matemática da função de autocorrelação Termos que afetam a largura da banda de confiança calculada do acf A diferença entre um e um Teste de autocorrelação lag-1 significativa Como aplicar geos3.m para estudar a autocorrelação de uma série de tempo O espectro de uma série de tempo é a distribuição da variância da série em função da freqüência. O objetivo da análise espectral é estimar e estudar o espectro. O espectro não contém novas informações além da função de autocovariância (acvf), e de fato o espectro pode ser computado matematicamente por transformação do acvf. Mas o espectro e a acf apresentam as informações sobre a variância das séries temporais a partir de pontos de vista complementares. O acf resume informação no domínio do tempo e no espectro no domínio da frequência. Resposta: Execute o script geosa4.m e responda às perguntas listadas no arquivo em a4.pdf Definições: freqüência, período, comprimento de onda, espectro, freqüência de Nyquist, freqüências de Fourier, largura de banda Razões para analisar um espectro Como interpretar um espectro plotado em termos de distribuição De variância A diferença entre um espectro e um espectro normalizado Definição da janela de atraso como usado na estimativa do espectro pelo método de Blackman-Tukey Como a escolha da janela de atraso afeta a largura de banda ea variância do espectro estimado Como definir um espectro de ruído branco E auto-regressivo Como esboçar algumas formas espectrais típicas: ruído branco, autoregressivo, quase-periódico, de baixa freqüência, de alta freqüência Como aplicar geosa4.m para analisar o espectro de uma série de tempo pelo método de Blackman-Tukey Autoregressive-Moving Modelagem ARMA (Average ARMA) Os modelos ARRE (Autorregressive-moving-average) são modelos matemáticos da persistência, ou autocorrelação, em séries temporais. ARMA modelos são amplamente utilizados em hidrologia, dendrocronologia, econometria e outros campos. Existem várias razões possíveis para ajustar os modelos ARMA aos dados. Modelagem pode contribuir para a compreensão do sistema físico, revelando algo sobre o processo físico que constrói persistência na série. Por exemplo, pode-se mostrar que um modelo simples de balanço hídrico físico consistindo de termos para entrada de precipitação, evaporação, infiltração e armazenamento de água subterrânea produz uma série de fluxo que segue uma forma particular do modelo ARMA. Os modelos ARMA também podem ser usados para prever o comportamento de uma série de tempo a partir de valores passados sozinhos. Tal previsão pode ser usada como uma linha de base para avaliar a possível importância de outras variáveis para o sistema. ARMA modelos são amplamente utilizados para previsão de séries econômicas e industriais. Os modelos ARMA também podem ser usados para remover a persistência. Em dendrocronologia, por exemplo, a modelagem ARMA é aplicada rotineiramente para gerar cronologias residuais séries temporais de índice de largura de anel sem dependência de valores passados. Esta operação, denominada pré-branqueamento, pretende remover a persistência biológica da série de modo que o resíduo possa ser mais adequado para estudar a influência do clima e de outros factores ambientais externos no crescimento das árvores. Resposta: Execute o script geosa5.m e responda às perguntas listadas no arquivo em a5.pdf A forma funcional dos modelos AR e ARMA mais simples Por que tais modelos são chamados de média autorregressiva ou móvel Os três passos na modelagem ARMA Os padrões diagnósticos do Autocorrelação e funções de autocorrelação parcial para uma série temporal AR (1) Definição do erro final de predição (FPE) e como o FPE é usado para selecionar um melhor modelo ARMA Definição da estatística de Portmanteau e como ela eo acf dos resíduos podem ser Utilizado para avaliar se um modelo ARMA modela efetivamente a persistência em uma série Como o princípio de parcimônia é aplicado na modelagem ARMA Definição de prewhitening Como prewhitening afeta (1) o aparecimento de uma série temporal, e (2) o espectro de uma série temporal Como aplicar geosa5.m ao modelo ARMA uma série de tempo Análise espectral - método de periodograma suavizado Existem muitos métodos disponíveis para estimar o espectro de uma série de tempo. Na lição 4 examinamos o método de Blackman-Tukey, que é baseado na transformação de Fourier da função de autocovariância truncada e suavizada. O método de periodograma suavizado evita a transformação do acf pela transformação de Fourier direta das séries temporais eo cálculo do periodograma bruto, uma função introduzida pela primeira vez na década de 1800 para o estudo de séries temporais. O periodograma em bruto é suavizado pela aplicação de combinações ou intervalos de um ou mais filtros para produzir o espectro estimado. A suavidade, resolução e variância das estimativas espectrais é controlada pela escolha dos filtros. Um alisamento mais acentuado do periodograma em bruto produz um espectro subjacente suavemente variável, ou contínuo nulo, contra o qual os picos espectrais podem ser testados quanto à significância. Esta abordagem é uma alternativa à especificação de uma forma funcional do continuo nulo (por exemplo, espectro AR). Resposta: Execute o script geosa6.m e responda às perguntas listadas no arquivo em a6.pdf Definições: periodograma bruto, filtro Daniell, span do filtro, lisura nula do continuum, estabilidade e resolução do espectro afilando, preenchimento, vazamento As quatro etapas principais na estimativa O espectro pelo periodograma suavizado Como o efeito da escolha do filtro se estende pela suavidade, estabilidade e resolução do espectro Como o continuum nulo é usado no teste de significância de picos espectrais Como aplicar geosa6.m para estimar o espectro de um tempo Série pelo método do periodograma suavizado e teste para periodicidade em uma freqüência especificada A tendência em uma série de tempo é uma mudança lenta e gradual em alguma propriedade da série ao longo de todo o intervalo sob investigação. Por vezes, a tendência é definida como uma mudança de longo prazo na média (Figura 7.1), mas também pode se referir à mudança em outras propriedades estatísticas. Por exemplo, a série de anéis de anel de largura de anel medida freqüentemente tem uma tendência na variância assim como na média (Figura 7.2). Na análise tradicional de séries temporais, uma série temporal foi decomposta em componentes tendência, sazonais ou periódicas, e flutuações irregulares, e as várias partes foram estudadas separadamente. As técnicas de análise modernas freqüentemente tratam a série sem tal decomposição rotineira, mas a consideração separada da tendência ainda é frequentemente necessária. Detrending é a operação estatística ou matemática de remover a tendência da série. O desvio é muitas vezes aplicado para remover uma característica pensada para distorcer ou obscurecer as relações de interesse. Na climatologia, por exemplo, uma tendência de temperatura devido ao aquecimento urbano pode obscurecer uma relação entre a nebulosidade ea temperatura do ar. A destruição é também por vezes utilizada como um passo de pré-processamento para preparar séries temporais para análise por métodos que assumem a estacionaridade. Muitos métodos alternativos estão disponíveis para detrending. A tendência linear simples na média pode ser removida subtraindo uma linha reta de mínimos quadrados. Tendências mais complicadas podem exigir procedimentos diferentes. Por exemplo, a spline de suavização cúbica é comumente usada em dendrocronologia para ajustar e remover a tendência de largura de anel que pode não ser linear, ou mesmo não monotonicamente aumentar ou diminuir ao longo do tempo. Ao estudar e remover a tendência, é importante compreender o efeito da detrending sobre as propriedades espectrais das séries temporais. Este efeito pode ser resumido pela resposta de freqüência da função detrending. Resposta: Execute o script geosa7.m e responda às perguntas listadas no arquivo em a7.pdf Definições: resposta de freqüência, spline, spline cúbico spline Prós e contras de relação vs diferença detrending Interpretação de termos na equação para o parâmetro spline Como escolher um Spline interativamente de resposta de freqüência desejada Como o espectro é afetado por detrending Como medir a importância do componente de tendência em uma série de tempo Como aplicar geosa7.m para escolher interativamente uma splin detrending função e detrend uma série de tempo O espectro estimado de um tempo Série fornece a distribuição da variância em função da freqüência. Dependendo da finalidade da análise, algumas freqüências podem ser de maior interesse do que outras, e pode ser útil reduzir a amplitude das variações em outras freqüências, filtrando-as estatisticamente antes de visualizar e analisar a série. Por exemplo, as variações de alta freqüência (ano a ano) em um registro de descarga medido de uma bacia hidrográfica podem ser relativamente sem importância para o suprimento de água em uma bacia com grandes reservatórios que podem armazenar vários anos de escoamento anual médio. Quando as variações de baixa freqüência são de interesse principal, é desejável suavizar o registro de descarga para eliminar ou reduzir as flutuações de curto período antes de usar o registro de descarga para estudar a importância das variações climáticas para o suprimento de água. A suavização é uma forma de filtragem que produz uma série temporal em que a importância das componentes espectrais nas altas frequências é reduzida. Engenheiros elétricos chamam este tipo de filtro de filtro passa-baixa, porque as variações de baixa freqüência são permitidos para passar através do filtro. Em um filtro passa-baixa, as ondas de baixa freqüência (período longo) são pouco afetadas pela suavização. É também possível filtrar uma série de modo que as variações de baixa frequência sejam reduzidas e as variações de alta frequência não sejam afectadas. Este tipo de filtro é chamado de filtro passa-alta. A destruição é uma forma de filtragem passa-alta: a linha de tendência ajustada segue as freqüências mais baixas e os resíduos da linha de tendência tiveram essas freqüências baixas removidas. Um terceiro tipo de filtragem, chamado de filtragem de banda passada, reduz ou filtra as frequências altas e baixas e deixa relativamente inalterada alguma banda de frequência intermédia. Nesta lição, abordamos vários métodos de suavização ou filtragem de passagem baixa. Já discutimos como a spline de suavização cúbica pode ser útil para essa finalidade. Quatro outros tipos de filtros são discutidos aqui: 1) média móvel simples, 2) binomial, 3) gaussiano, e 4) janela (método de Hamming). Considerações na escolha de um tipo de filtro passa-baixo são a resposta de freqüência desejada eo span, ou largura, do filtro. Resposta: Execute o script geosa8.m e responda às perguntas listadas no arquivo em a8.pdf Definições: filtro, filtro de pesos, intervalo de filtro, filtro passa-baixa, filtro passa-alto, filtro passa banda Resposta de freqüência de um filtro Como o Gaussiano Filtro é relacionado com a distribuição gaussiana Como construir um filtro binomial simples manualmente (sem o computador) Como descrever a função de resposta em frequência em termos de um sistema com entrada e saída sinusoidais Como aplicar geosa8.m para interativamente projetar um binômio gaussiano Ou filtro de passagem baixa Hamming-window para uma série de tempo O coeficiente de correlação produto-momento de Pearson é provavelmente a única estatística mais utilizada para resumir a relação entre duas variáveis. Significado estatístico e ressalvas de interpretação do coeficiente de correlação aplicado às séries temporais são tópicos desta lição. Sob certas suposições, a significância estatística de um coeficiente de correlação depende apenas do tamanho da amostra, definido como o número de observações independentes. Se as séries temporais forem autocorrelacionadas, um tamanho efetivo da amostra, menor do que o tamanho real da amostra, deve ser usado ao avaliar o significado. Relações transitórias ou espúrias podem produzir correlação significativa para alguns períodos e não para outros. A variação temporal da força da correlação linear pode ser examinada com gráficos de correlação calculados para uma janela deslizante. Mas se muitos coeficientes de correlação forem avaliados simultaneamente, os intervalos de confiança devem ser ajustados (ajuste de Bonferroni) para compensar a maior probabilidade de observar algumas correlações altas onde não existe relação. A interpretação das correlações de deslizamento também pode ser complicada pelas variações temporais da média e da variância da série, pois a correlação deslizante reflete a covariância em termos de desvios padronizados das médias na janela de tempo de interesse, que podem diferir dos meios de longo prazo. Finalmente, deve-se enfatizar que o coeficiente de correlação de Pearson mede a força da relação linear. Os diagramas de dispersão são úteis para verificar se a relação é linear. Resposta: Execute o script geosa9.m e responda às perguntas listadas no arquivo em a9.pdf Definição matemática do coeficiente de correlação Hipóteses e hipóteses para o teste de significância do coeficiente de correlação Como calcular o nível de significância do coeficiente de correlação e ajustar o nível de significância para a autocorrelação em As séries temporais individuais Atenção à interpretação do coeficiente de correlação Ajuste de Bonferroni ao nível de signficância de correlação sob comparações múltiplas Inflação de variância do coeficiente de correlação estimado quando séries temporais autocorrelacionadas Possíveis efeitos da transformação de dados na correlação Como interpretar gráficos de correlações deslizantes Como aplicar geosa9. M para analisar correlações e correlações de deslizamento entre pares de séries temporais As relações retardadas são características de muitos sistemas físicos naturais. A correlação retardada refere-se à correlação entre duas séries temporais deslocadas no tempo em relação uma à outra. A correlação retardada é importante no estudo da relação entre as séries temporais por duas razões. Primeiro, uma série pode ter uma resposta retardada para as outras séries, ou talvez uma resposta atrasada a um estímulo comum que afeta ambas as séries. Em segundo lugar, a resposta de uma série à outra série ou um estímulo externo pode ser manchada no tempo, de modo que um estímulo restrito a uma observação provoca uma resposta em múltiplas observações. Por exemplo, devido à armazenagem em reservatórios, geleiras, etc., a descarga de volume de um rio num ano pode depender da precipitação nos vários anos anteriores. Ou devido a mudanças na densidade da copa e armazenamento de fotosíntese, a largura de um anel de árvore em um ano pode depender do clima de vários anos anteriores. O coeficiente de correlação simples entre as duas séries adequadamente alinhadas no tempo é inadequado para caracterizar a relação em tais situações. Funções úteis que examinaremos como alternativa ao coeficiente de correlação simples são a função de correlação cruzada e a função de resposta ao impulso. A função de correlação cruzada é a correlação entre as séries deslocadas uma contra a outra em função do número de observações do deslocamento. Se as séries individuais são autocorrelacionadas, a função de correlação cruzada estimada pode ser distorcida e enganosa como uma medida da relação retardada. Examinaremos duas abordagens para esclarecer o padrão de correlações cruzadas. Uma delas consiste em remover individualmente a persistência da série antes da estimativa de correlação cruzada ou prewhiten. Nesta abordagem, as duas séries são essencialmente consideradas em pé de igualdade. Uma alternativa é a abordagem de sistemas: ver a série como um sistema linear dinâmico - uma série, a entrada e outra a saída - e estimar a função de resposta ao impulso. A função de resposta de impulso é a resposta da saída em tempos atuais e futuros a um impulso hipotético de entrada restrito ao tempo atual. Answer: Run script geosa10.m and answer questions listed in the file in a10.pdf Definitions: cross-covariance function, cross-correlation function, impulse response function, lagged correlation, causal, linear How autocorrelation can distort the pattern of cross-correlations and how prewhitening is used to clarify the pattern The distinction between the equal footing and systems approaches to lagged bivariate relationships Which types of situations the impulse response function (irf) is an appropriate tool How to represent the causal system treated by the irf in a flow diagram How to apply geos10.m to analyze the lagged cross-correlation structure of a a pair of time series Multiple linear regression Multiple linear regression (MLR) is a method used to model the linear relationship between a dependent variable and one or more independent variables. The dependent variable is sometimes also called the predictand, and the independent variables the predictors. MLR is based on least squares: the model is fit such that the sum-of-squares of differences of observed and predicted values is minimized. MLR is probably the most widely used method in dendroclimatology for developing models to reconstruct climate variables from tree-ring series. Typically, a climatic variable is defined as the predictand and tree-ring variables from one or more sites are defined as predictors. The model is fit to a period -- the calibration period -- for which climatic and tree-ring data overlap. In the process of fitting, or estimating, the model, statistics are computed that summarize the accuracy of the regression model for the calibration period. The performance of the model on data not used to fit the model is usually checked in some way by a process called validation. Finally, tree-ring data from before the calibration period are substituted into the prediction equation to get a reconstruction of the predictand. The reconstruction is a prediction in the sense that the regression model is applied to generate estimates of the predictand variable outside the period used to fit the data. The uncertainty in the reconstruction is summarized by confidence intervals, which can be computed by various alternative ways. Answer: Run script geosa11.m (Part 1) and answer questions listed in the file in a11.pdf The equation for the MLR model Assumptions for the MLR model Definitions of MLR statistics: coefficient of determination, sums-of-squares terms, overall-F for the regression equation, standard error of the estimate, adjusted R-squared, pool of potential predictors The steps in an analysis of residuals How to apply geosa11.m (part 1) to fit a MLR regression model to predict one variable from a set of several predictor variables Validating the regression model Regression R-squared, even if adjusted for loss of degrees of freedom due to the number of predictors in the model, can give a misleading, overly optimistic view of accuracy of prediction when the model is applied outside the calibration period. Application outside the calibration period is the rule rather than the exception in dendroclimatology. The calibration-period statistics are typically biased because the model is tuned for maximum agreement in the calibration period. Sometimes too large a pool of potential predictors is used in automated procedures to select final predictors. Another possible problem is that the calibration period itself may be anomalous in terms of the relationships between the variables: modeled relationships may hold up for some periods of time but not for others. It is advisable therefore to validate the regression model by testing the model on data not used to fit the model. Several approaches to validation are available. Among these are cross-validation and split-sample validation. In cross-validation, a series of regression models is fit, each time deleting a different observation from the calibration set and using the model to predict the predictand for the deleted observation. The merged series of predictions for deleted observations is then checked for accuracy against the observed data. In split-sample calibration, the model is fit to some portion of the data (say, the second half), and accuracy is measured on the predictions for the other half of the data. The calibration and validation periods are then exchanged and the process repeated. In any regression problem it is also important to keep in mind that modeled relationships may not be valid for periods when the predictors are outside their ranges for the calibration period: the multivariate distribution of the predictors for some observations outside the calibration period may have no analog in the calibration period. The distinction of predictions as extrapolations versus interpolations is useful in flagging such occurrences. Answer: Run script geosa11.m (Part 2) and answer questions listed in the file in a12.pdf Definitions: validation, cross-validation, split-sample validation, mean square error (MSE), root-mean-square error (RMSE) standard error of prediction, PRESS statistic, hat matrix, extrapolation vs interpolation Advantages of cross-validation over alternative validation methods How to apply geosa11.m (part 2) for cross-validated MLR modeling of the relationship between a predictand and predictors, including generation of a reconstruction and confidence bands Downloading Files -- tsfiles. zip The Matlab class scripts and user-written functions are zipped in a file called tsfiles. zip. To get the files, first create an empty directory on your computer. This is where you will store all functions, scripts and data used in the course. Go to D2L, or click on tsfiles. zip to download the zip file to that directory and unzip it there. When you run matlab, be sure that directory is your current matlab working directory. Powerpoint lecture outlines miscellaneous files. Downloadable file other. zip has miscellaneous files used in lectures. Included are Matlab demo scripts, sample data files, user-written functions used by demo scripts, and powerpoint presentations, as pdfs (lect1a. pdf, lect1b. pdf, etc.) used in on-campus lectures. I update other. zip over the semester, and add the presentation for the current lecture within a couple of days after that lecture is given. To run the Matlab scripts for the assignments, you must have your data, the class scripts, and the user-written Matlab functions called by the scripts in a single directory on your computer. The name of this directory is unimportant. Under Windows, it might be something like C:geos585a. The functions and scripts provided for the course should not require any tailoring, but some changes can be made for convenience. For example, scripts and functions will typically prompt you for the name of your input data file and present Spring17 as the default. That is because Ive stored the sample data in Spring17.mat. If you want to avoid having to type over Spring17 with the name of your own data file each time you run the script, edit the matlab script with the Matlab editordebugger to change one line. In the editor, search for the string Spring17 and replace it with the name of your. mat storage file (e. g. Smith2017), then be sure to re-save the edited script.
Comments
Post a Comment