Comptes Rendus
Design of a massively parallel CFD code for complex geometries
Comptes Rendus. Mécanique, Volume 339 (2011) no. 2-3, pp. 141-148.

A strategy to build the next generation of fluid dynamics solvers able to fully benefit from high-performance computing is discussed. The procedure relies on a domain decomposition of unstructured meshes that is organized in two levels. The computing cells are first gathered at an elementary level in cell groups; at a second level, cell groups are dispatched over processors. Compared to the usual single-level domain decomposition, this double domain decomposition allows for easily optimizing the use of processor memory and therefore load balancing in both Eulerian and Lagrangian contexts. Specific communication procedures to handle faces, edges and nodes are associated to this double domain decomposition, which strongly reduce the computing cost; input–output times are optimized as well. In addition, any multi-level solution techniques, as deflated preconditioned conjugate gradient, are well-adapted to such mesh decomposition. This approach has been used to develop the YALES2 code, which also benefits from a non-degenerescent tessellation algorithm for tetrahedra to automatically generate high-resolution meshes on super-computers. To illustrate the capabilities of the YALES2 algorithmic, an aeronautical burner is fully simulated with a mesh of 2.6 billion cells, followed by a demonstration test over 21 billion cells.

Une décomposition de domaine originale et les structures de données associées sont proposées pour la simulation numérique appliquée aux équations de la mécanique des fluides, afin de tirer pleinement parti de la puissance des supercalculateurs hautement parallèles. La stratégie adoptée dans le logiciel YALES2 repose sur une double décomposition : un niveau élémentaire de groupes de cellules est formé, avant de répartir ces groupes de cellules sur les processeurs à un deuxième niveau. Cette décomposition optimise sur le supercalculateur la répartition des données des maillages non-structurés, pour des simulations eulériennes aussi bien que lagrangiennes. La double décomposition est aussi associée à une procédure de communication spécifique pour la gestion des informations géométriques (faces, arrêtes, nœuds). Ceci se traduit par une gestion optimale du temps calcul et des entrées-sorties, allant de pair avec l'intégration d'un raffinement de maillage systématique. De plus, la double décomposition est particulièrement adaptée aux méthodes de déflation pré-conditionnée avec gradient conjugué. Des calculs démontrant l'efficacité de cette approche sont présentés, dont une solution convergée sur un maillage contenant 2,6 milliards de cellules et un cas test sur 21 milliards de cellules.

Published online:
DOI: 10.1016/j.crme.2010.12.001
Keywords: Computer science, Fluid dynamic solvers, Domain decomposition
Mot clés : Informatique, Mécanique des fluides numérique, Décomposition de domaine

Vincent Moureau 1; Pascale Domingo 1; Luc Vervisch 1

1 CORIA, CNRS, INSA & Université de Rouen, 76801 Saint-Etienne-du-Rouvray, France
@article{CRMECA_2011__339_2-3_141_0,
     author = {Vincent Moureau and Pascale Domingo and Luc Vervisch},
     title = {Design of a massively parallel {CFD} code for complex geometries},
     journal = {Comptes Rendus. M\'ecanique},
     pages = {141--148},
     publisher = {Elsevier},
     volume = {339},
     number = {2-3},
     year = {2011},
     doi = {10.1016/j.crme.2010.12.001},
     language = {en},
}
TY  - JOUR
AU  - Vincent Moureau
AU  - Pascale Domingo
AU  - Luc Vervisch
TI  - Design of a massively parallel CFD code for complex geometries
JO  - Comptes Rendus. Mécanique
PY  - 2011
SP  - 141
EP  - 148
VL  - 339
IS  - 2-3
PB  - Elsevier
DO  - 10.1016/j.crme.2010.12.001
LA  - en
ID  - CRMECA_2011__339_2-3_141_0
ER  - 
%0 Journal Article
%A Vincent Moureau
%A Pascale Domingo
%A Luc Vervisch
%T Design of a massively parallel CFD code for complex geometries
%J Comptes Rendus. Mécanique
%D 2011
%P 141-148
%V 339
%N 2-3
%I Elsevier
%R 10.1016/j.crme.2010.12.001
%G en
%F CRMECA_2011__339_2-3_141_0
Vincent Moureau; Pascale Domingo; Luc Vervisch. Design of a massively parallel CFD code for complex geometries. Comptes Rendus. Mécanique, Volume 339 (2011) no. 2-3, pp. 141-148. doi : 10.1016/j.crme.2010.12.001. https://comptes-rendus.academie-sciences.fr/mecanique/articles/10.1016/j.crme.2010.12.001/

[1] Y. Dubief; F. Delcayre On coherent-vortex interaction identification in turbulence, J. Turbulence, Volume 1 (2000), pp. 1-22

[2] T. Poinsot; D. Veynante Theoretical and Numerical Combustion, R.T. Edwards, Inc., Philadelphia, 2001

[3] R. Nicolaides Deflation of conjugate gradients with applications to boundary value problems, SIAM J. Numer. Anal., Volume 24 (1987) no. 2, pp. 355-365

[4] G. Karypis; V. Kumar A fast and high quality multilevel scheme for partitioning irregular graphs, SIAM J. Sci. Comput., Volume 20 (1999) no. 1, pp. 359-392

[5] M.-C. Rivara Mesh refinement processes based on the generalized bisection of simplices, SIAM J. Numer. Anal., Volume 21 (1984) no. 3, pp. 604-613

[6] The HDF Group Hierarchical data format version 5, 2000–2010 http://www.hdfgroup.org/hdf5

[7] The XDMF Group Extensible data model and format http://www.xdmf.org

[8] W. Meier; P. Weigand; X. Duan; R. Giezendanner-Thoben Detailed characterization of the dynamics of thermoacoustic pulsations in a lean premixed swirl flame, Combust. Flame, Volume 150 (2007) no. 1–2, pp. 2-26

[9] V. Moureau; C. Bérat; H. Pitsch An efficient semi-implicit compressible solver for large-eddy simulations, J. Comput. Phys., Volume 226 (2007) no. 2, pp. 1256-1270

[10] V. Moureau; P. Minot; H. Pitsch; C. Bérat A ghost-fluid method for large-eddy simulations of premixed combustion in complex geometries, J. Comput. Phys., Volume 221 (2007) no. 2, pp. 600-614

[11] J. Galpin; A. Naudin; L. Vervisch; C. Angelberger; O. Colin; P. Domingo Large-eddy simulation of a fuel-lean premixed turbulent swirl-burner, Combust. Flame, Volume 155 (2008) no. 1–2, pp. 247-266

[12] S. Roux; G. Lartigue; T. Poinsot; U. Meier; C. Berat Studies of mean and unsteady flow in a swirled combustor using experiments, acoustic analysis, and large eddy simulations, Combust. Flame, Volume 141 (2005) no. 1–2, pp. 40-54

[13] V. Moureau; P. Domingo; L. Vervisch From large-eddy simulation to direct numerical simulation of a lean premixed swirl flame: Filtered laminar flame-pdf modeling, Combust. Flame (2010) | DOI

Cited by Sources:

Comments - Policy