Prédiction linéaire et principe de l'entropie maximale. Première partie

Linear Prediction and the Maximum Entropy Principle. Part One

Institut Français du Pétrole

Résumé

La prédiction linéaire est de nos jours de plus en plus utilisée et dans des domaines très variés : démographie, économie, météorologie, analyse du signal, . . . L'étude que nous présentons dans cet article n'intéresse que la prédiction linéaire à une dimension. Dans un premier chapitre, nous donnons d'abord une définition de la prédiction linéaire qui peut être considérée comme une généralisation de la régression. Cette définition nous permet de modéliser et de prévoir les phénomènes que nous avons discrétisés au préalable. Ensuite, nous examinons successivement les cas des phénomènes déterministes et aléatoires en fournissant dans chacun des cas des méthodes pour calculer les paramètres de ces différents modèles. Dans un deuxième chapitre, nous exposons d'abord le principe de l'entropie maximale en l'introduisant à partir de la théorie de l'information. Ensuite, nous donnons un algorithme permettant de calculer la densité spectrale en utilisant le principe de l'entropie maximale. Enfin, nous mettons en lumière la dualité qui existe entre la méthode de l'entropie maximale et l'analyse autorégressive des séries temporelles. Dans un troisième chapitre, nous donnons deux méthodes : Box et Jenkins, 1970 et Burg, 1975, pour calculer les coefficients du filtre de prédiction et la puissance d'erreur de prédiction. Ces deux méthodes consistent à extrapoler les valeurs de l'autocovariance en utilisant le principe de l'entropie maximale qui ne peut s'appliquer qu'à des séries temporelles infinies. Dans la réalité, l'économiste ou le physicien utilisent des séries de durée finie. Malgré cette restriction, Box et Jenkins élaborent leur méthode tandis que Burg par l'artifice de la prédiction avant et de la prédiction arrière construit la sienne en contournant l'objection que nous venons de signaler. Dans un quatrième chapitre, nous donnons quelques applications de ces méthodes à l'analyse de traces sismiques en montrant bien que le nombre M de coefficients pour calculer la densité spectrale joue un rôle fondamental. On montre également que la méthode de Burg est celle qui donne les meilleurs résultats.

Abstract

Linear prediction is more and more often used today and in a wide variety of fields such as demography, economics, meteorology, signal analysis, etc. The review given in this article has to do solely with one-dimensional linear prediction. The first section defines linear predictîon which may be considered as a generalization of regression. This definition enables us to model and predict phenomena which we have first discretized. Then we successively take up the case of deterministic and random phenomena by giving, in each case, methods for computing the parameters of these different models. The second section begins by describing the maximum entropy principle starting from the theory of information. Then an algorithm is given for computing the spectral density by using the maximum entropy principle. The section ends with a description of the duality existing between the maximum entropy method and the autoregressive analysis of time series. The third section describes two methods, the Box and Jenkins method of 1970 and the Burg method of 1975, for computing prediction filter coefficients and prediction error. These two methods consist in extrapolating the autocovariance values by using the maximum entropy principle which can be applied only to time series for short data lengths. Despite this restriction, Box and Jenkins worked out their method, whereas Burg used the stratagem of forward and backward prediction to build up his method by getting around the objection we have just pointed out. The fourth section gives several applications of these methods for analyzing seismic traces by clearly showing that the number M of coefficients for computing the spectrum density plays a fundamental role. Burg's method is also shown to be the one that gives the best results.