du chauffage pour chez aileF

<< < (4/16) > >>

aileF: @Nicolas : je t'ai envoyé un mp avec le résultat des tests.

stepson: Citation de: Professeur Tournesol le 26 Janvier 2014 - 19:52:28 Bon théoriquement ça n'a pas un grand intérêt de faire tourner des modèles sur des ordis isolés. Mais en considérant le fait que la puissance des ordis individuels ne cesse de croître, et qu'ici on a des grosses machines, ça vaut  le coup de tenter La question quand on aborde la parallélisation n'est pas forcément de faire tourner le modèle en entier sur des ordis isolés, mais de découper le calcul en tranches et de faire tourner chaque partie du calcul sur pleins de machines. le code se prête-t-il à de la parallélisation ? J'ai un temps dans ma jeunesse pas si lointaine parallélisé un code de monte carlo écrit en fortran 77 (http://fr.wikipedia.org/wiki/M%C3%A9thode_de_Monte-Carlo). Au lieu de tourner en 2h environs sur un Cray II, il tournait en 1 semaine sur une quinzaine de stations Sun Solaris et SGI. Quel avantage dans ce contexte si c'était plus lent ? L'accès au créneau de temps de calcul sur le Cray II était d'un mois. En 1 mois les chercheurs ne pouvaient lancer qu'une simulation. Alors qu'avec le code parallélisé, ils pouvaient faire 4 simulations par mois en utilisant leurs stations de travail sous exploitées. Et en utilisant massivement la centaine de stations du site ils auraient pu en faire plus encore, mais je n'ai pas vu cette phase de déploiement, j'ai fini mon service militaire entre temps. La limite dans la parallélisation est quand le temps de calcul pour agréger les calculs distribués devient plus grand que le temps de calcul des parties calculées. On détermine ainsi le meilleur rapport entre la taille du calcul distribué (dépend de la puissance des noeuds), le temps réseau pour rapatrier les données (dépend du volume) et le temps d'agrégation. Je ne sais pas si la parallélisation pourrait être une piste sachant qu'aujourd'hui il y a des solutions existantes pour faire tourner du calcul distribué et des agents et des API comme sur l'autre post dans lequel BOINC était évoqué. http://boinc.berkeley.edu/ http://boinc.berkeley.edu/trac/wiki/ProjectMain http://boinc.berkeley.edu/trac/wiki/AppIntro Bon courage dans vos tests en tout cas !

monsieur tout le monde: Citation La question quand on aborde la parallélisation n'est pas forcément de faire tourner le modèle en entier sur des ordis isolés, mais de découper le calcul en tranches et de faire tourner chaque partie du calcul sur pleins de machines. le code se prête-t-il à de la parallélisation ? Ce code est conçu dès l'origine pour être parallèle. C'est un truc fait pour tourner sur des milliers de CPU. Le truc c'est qu'en météo, on peut pas vraiment découper le boulot en petite tranches indépendantes. Pour calculer la météo d'ici il faut voir ce qui se passe chez le voisin. Donc sur les infras de calcul météo classiques (y compris la mienne) on utilise des « super réseaux » (ex: Infiniband) pour partager la RAM de tous les ordis. Ainsi le modèle peut ajuster son calcul en prenant en compte les résultats des ordis voisins. Ça n'est pas possible de faire ça sans un matériel spécifique, et encore moins au travers d'internet. Il faut donc ici faire tourner pleins de petits modèles au lieu d'un seul gros. Ce qui induit des prévis de moins bonne qualité, car plus le modèle tourne sur une petite zone, plus le domaine est contaminé par des effets de bord, et moins il prends en compte ce qui se passe à coté. Jusqu'à peu, cela n'avait pas un réel intérêt : les ordis individuels ne pouvaient pas calculer une zone suffisamment grande. Aujourd'hui la situation est différente car la puissance de calcul a considérablement augmentée, et la ram ne coûte plus rien. Sur des ordis « grand publics », comme des portables, c'est encore limite. Par contre sur les dernières générations de serveurs, workstation ou de pc gamers (sockets LGA2011 / 4 canaux mémoire) ça commence à envoyer suffisamment de purée. Et comme là on m'en propose gentillement une petite quarantaine…

aileF: tu me dirais quand tu auras eu le temps de regarder mes retours Nicolas. Pour le moment j'ai vérifié, les machines que l'on pourrait mettre en infinyband, ce sont des dual channel seulement. (T3400 DELL)

monsieur tout le monde: Citation de: aileF le 31 Janvier 2014 - 09:46:27 @Nicolas : je t'ai envoyé un mp avec le résultat des tests. Oui j'ai vu, ça a raté. Je pense que c'est le pare-feu de la boite qui bloque. C'est pas dramatique. Celui là c'était surtout par curiosité. Bon basé sur les pas trop mauvais résultats au test, on doit pouvoir faire un sacré truc. Calcul très approximatif : avec une cinquantaine de ces machines, je peux faire des prévis 12km à 7 jours pour le monde entier ! Donc je propose la chose suivante : - on met à profit cette puissance pour déjà faire des prévis « open » là où ça aura un intérêt immédiat : Afrique, Amérique du Sud... Ça démontre l'utilité de la démarche et nous donne déjà une première masse critique. - avec ce premier démonstrateur, je lance le programme « OpenMeteo@home : calculez la météo chez vous pour améliorer l'agriculture, les économies d'énergie et la prévention des catastrophes ». Relayé dans les médias avec l'appui d'Etalab, de l'Open Knowledge Foundation et de quelques autres.  Faut juste faire un truc suffisament sexy, avec des programmes pour windows / mac / linux pour contribuer en quelques clics. Éventuellement via BOINC pour donner encore plus de visibilité. - ça nous permets de racoler tout pleins de nouveaux gens, qui viendrons prendre le relais calculer la météo de là bas avec leurs ordis, libérant de plus en plus de puissance de calcul pour améliorer nos prévis vol libre. Tu en penses quoi ?

Navigation

 Index des messages

Page suivante

Page précédente