Projet I :
Collecte et traitement des données
1. TYPES DE DONNEES NECESSAIRES :

Plusieurs types de données sont nécessaires pour cette étude. Celles-cis seront insérées en entrée du modèle de MIKE 21.
Les différentes données utilisées sont mentionnées ci-dessous :
Données servant aux conditions à la limite :

  • Pression (2D pour la Gironde - 1D pour l'Adour et la Nivelle)
  • Direction du vent (en °)
  • Force du vent (en noeuds)
  • Surcotes issues du modèle ALADIN de Météo-France
    Autres données nécessaires:
  • Bathymétrie
  • Débits des trois fleuves
  • Topographie
    2. COLLECTE DES DONNEES :
    Cette étape a constitué une part importante de la préparation du projet. Nous avons contacté un grand nombre d’organismes, publics et privés, pour récupérer les informations nécessaires à notre modèle.
    Il est important de s’y prendre au moins un mois à l’avance, afin d’éviter les contretemps du type : congés, extraction d’archive compliquée, demande d’accord de la hiérarchie, accord de confidentialité, adaptation au format voulu ou encore référencements inconnus et traitement des données manquantes. Il faut en effet anticiper tout cela pour ne pas être bloqué par l’absence de données lors du début de l’étape de simulation.
    Cette part du projet est très enrichissante, car elle nous permet de prendre conscience des réalités du monde industriel. Le partage de telles données n’est pas toujours aisé car il doit rester bénévole. Les organismes ayant souvent dû acheter ces informations, ils ne souhaitent pas les voir se disperser. Il faut donc essayer de « vendre » notre étude en échange, et négocier pour justifier l’intérêt commun de ce projet.
    Lors de cette démarche, il faut cependant rester conscient que les personnes avec qui nous sommes amenées à être en contact ont souvent de nombreuses autres préoccupations.
    La liste des organismes partenaires et des données qu’ils nous ont fourni se trouve dans la page remerciements du site.

    3. TRAITEMENT DES DONNEES :
    3.1 Référence horaire :
    Face à la grande quantité de données récupérées et à la diversité des sources, il est nécessaire de bien faire attention aux mesures de temps utilisées. Le temps couramment utilisé est le temps universel coordonné (UTC), qui diffère au maximum de 0,9 secondes du temps universel (UT). En France le système utilisé est le UT+1h en hiver et UT+2h en été.
    Tous les modèles de prévision de Météo France sont traités avec cette mesure de temps, donc les données de pression, vent et surcotes sont en UT, les marées prédites par Mike aussi.
    Pour ce qui est des données du SHOM, elles sont en UT+1h, donc les marégraphes et les marées prédites sont à décaler pour être comparées aux résultats de nos simulations.
    Les données de certains marégraphes présentent une subtilité supplémentaire : comme les mesures sont relevées avec l’heure locale, en été nous avons un système en UT+2h, il faut donc faire attention au décalage supplémentaire. Dans la pratique cela ne nous a pas trop posé de problèmes la majorité des simulations étant réalisées sur des périodes hivernales.
    3.2. Référence hydrographique :
    Toutes les valeurs de hauteur d’eau qui nous ont été fournies sont mesurées par rapport au zéro hydrographique, qui est le niveau théorique le plus bas atteint par la basse mer. Ce niveau est défini tel que les hauteurs d’eau sont presque tout le temps positives, seules des conditions anticycloniques extrême couplées avec un vent de terre peuvent amener des hauteurs négatives.
    Mike fournit quant à lui des hauteurs mesurées par rapport au niveau moyen de la mer pour ses prédictions de marée, il faut donc rajouter le niveau moyen à ces hauteurs.
    Voici un schéma explicatif de ces différents niveaux :
    3.3. Propagation d'une crue :
    Ne disposant pas toujours des données de débits à l’entrée de l’estuaire, il a fallu prendre en compte le temps de transport de l’eau entre le moment ou le débitmètre prend la mesure en amont et le moment ou l’eau entre dans notre domaine. Pour cela, nous avons développé un modèle 1D d’onde cinématique sous HEC-HMS.
    Après avoir reconstitué le réseau de cours d’eau, nous avons configuré les paramètres de frottement et le dimensionnement des tronçons. Pour recueillir ces données, nous avons mesuré les dimensions à l’aide de Google Earth. Le SPC nous a fourni le temps de propagation entre Tonneins et La Réole : 6h. Nous nous sommes servis de cette valeur pour optimiser le coefficient de frottement de ce tronçon. Nous avons ensuite extrapolé cette valeur à tous les autres tronçons.
    Il est clair que de nombreuses approximations ont été faites ici. Cependant, le paramètre prédéterminant du temps de retard est la longueur des tronçons. Or, nous avons relativement bien estimé ces valeurs. L’erreur commise doit être ainsi acceptable.
    3.4. Programme de traitement des données :
    Une fois toutes les données récupérées, un tri mais surtout une mise en forme doit leur être appliquée. En effet le logiciel Mike utilise des formats de données précis selon les types de données (un format pour les séries temporelles, un pour les champs 2D ...).
    Les formats des données récupérées varient selon la provenance, de ce fait on se retrouve avec des données de format différents à convertir pour les rendre utilisables par le logiciel.
    La grande quantité d'information empêche un traitement manuel des fichiers, nous avons donc recours à l'utilisation de « moulinettes » que nous devons nous même programmer.
    Pour ce faire nous nous servons de tous les logiciels et connaissances acquises durant notre formation.
    Ainsi nous obtiendrons des convertisseurs codés en :
  • Perl - http://fr.wikipedia.org/wiki/Perl_(langage)
  • Fortran - http://fr.wikipedia.org/wiki/Fortran
  • Visual Basic sous excel - http://fr.wikipedia.org/wiki/Visual_Basic
  • Matlab - http://fr.wikipedia.org/wiki/MATLAB
    3.4.1 Données Météo France surcote-vent-pression / PERL
    Les fichiers que Météo-France nous a fourni pour la réalisation de notre BEI contiennent des informations sur les pressions atmosphériques, les vents et les surcotes prédites en 4 points de leur modèle numérique, et ce sur une période de 5 ans avec une valeur toute les 5 minutes. Ces 4 points sont les suivants : Biarritz, Boucau-Bayonne, Le Verdon et La Rochelle.
    Cette moulinette a été réalisée en langage Perl et Fortran, celle en Perl étant plus aboutie, c’est celle-ci que nous vous présenterons. Voici les transformations qu'elle réalise :

    Dans le fichier original il y a des données sur les 4 points, une fois converti il y a un fichier par zone géographique au format de Mike21FM et qui contient toutes les données de l'année.
    Détail de la moulinette:
    Les fichiers qui nous ont étés fournis se trouvaient sous ce format :

    Notre premier essai de moulinette s’est effectué en langage Fortran, mais comme nous souhaitions obtenir le résultat sous forme d'un seul fichier par type de donnée et par an, nous avons vite abandonné ce langage au vu des difficultés rencontrées.
    Nous sommes donc passés sous Linux afin de coder la moulinette en Perl. Les problèmes précédents sont devenus facile à résoudre.

    Explications du programme :

    Il ne reste plus qu'à copier cette moulinette plusieurs fois en changeant les noms des fichiers de sortie et des fichiers à lire, et pour sortir les fichiers pour chaque zone géographique et elle est terminée.
    Une fois exécutée sous linux et une fois les fichiers convertis, cette moulinette ne servira plus. Elle aura converti 5 ans de données ayant un pas de temps de 5 minutes, sur 4 points de mesure, soit plus de 2 millions de données brutes.
    3.4.2 Données de vent / MATLAB et FORTRAN
    Les données de vent peuvent être utilisées de plusieurs manières différentes, sous formes de séries temporelles comme obtenues par la moulinette précédente, mais elles ne seront ainsi utilisées que comme condition à la limite, soit en tant que champ 2D. Pour les utiliser en tant que champ 2D (constant sur tout le domaine), il faut réaliser une autre conversion. Deux programmes différents ont été créés à cette fin, le premier en Matlab et le second en Fortran. La première permet de générer un champ 2D de vent et pression recouvrant tout le domaine d’étude, ceci n’étant possible que pour le groupe de la gironde, les autres groupes ne bénéficiant pas de données aussi précises. Le programme en fortran, lui, génère un champ de vent et de pression constant sur toute la zone d’étude à partir des fichiers précédemment convertis.
    Pour cela une étape préliminaire consiste à traiter les données « fore du vent » et « direction du vent » sous excel afin d’en sortir « Vx et « Vy ». Ceci étant fait, on enregistre un fichier texte contenant Vx, Vy et P et la moulinette le transformera automatiquement en fichier texte lisible par Mike.

    Le programme en lui même ne présente aucune particularité, c’est une suite de lecture et d’écriture qu’il n’est pas nécessaire de présenter ici.
    3.4.3 Marées prédites du SHOM / FORTRAN
    Ces données, fournies par la SHOM, Service Hydrographique et Océanographique de la Marine, correspondent aux valeurs des marées prédites par l’étude des phénomènes astrologiques. Ces valeurs de hauteur d’eau ne tiennent donc pas compte de la météo du moment et n’incluent pas les surcotes. Elles nous permettront d’isoler la surcote en les ôtant aux hauteurs d’eau mesurées aux marégraphes.
    Les données se présentent sous la forme de fichier texte de 365 lignes en général, chaque ligne regroupant les données d’une journée (le nombre de données par ligne définit donc le pas de temps). Pour être exploitables sous Mike il faut générer des séries temporelles du même format que celles générées par la première moulinette.
    Encore une fois ce programme à été réalisé en fortran et ne présente aucune subtilité.