LPNHE - UMR 7585 - makefile pour ferme hétérogène de calcul (tel qu’au ccin2p3)

Aller au menu
Aller à la recherche
Aller au contenu
Aller à la navigation

Partenaires

Rechercher

Accueil > Le LPNHE > Pages du personnel permanent > Beau Tristan > Divers > Vielleries > makefile pour ferme hétérogène de calcul (tel qu’au ccin2p3)

makefile pour ferme hétérogène de calcul (tel qu’au ccin2p3)

18 octobre 2005

par Tristan Beau - 7 juin 2017

Anastasie au ccin2p3 constitue une ferme de machines issues de constructeurs différents. Les compilateurs et bien sûr les binaires que chaque machine peut interpréter sont distincts. Plutôt que de recompiler, à la main, à chaque fois que l’on se trouve sur une nouvelle plateforme, il y a des méthodes efficaces pour travailler, autres que de rester attaché sans raison à un seul type de machine.

Créer les répertoires `bin` et `obj`

Vous devez tout d’abord créer (ou vérifier que tout est OK) des répertoires où seront logés vous fichiers binaires, objet ou librairies pour chaque machine.

On effectue cette opération en créant les répertoire :

mkdir .bin.rs_aix51; echo "(pour le cluster CCARS)"
mkdir .bin.ia32_rhel3; echo "(pour le cluster CCALI)"
mkdir .bin.sun4x_58; echo "(pour le cluster CCASN)"

mkdir .obj.rs_aix51
mkdir .obj.ia32_rhel3
mkdir .obj.sun4x_58

Puis on crée un lien automatique (en fonction de la machine sur laquelle on se trouve) vers le bon répertoire :

ln -fs .bin.@sys bin
ln -fs .obj.@sys obj

Il est pratique de créer ces répertoires non dans le $HOME mais plutôt dans son répertoire de travail, ce qui évite d’avoir des 100aines de binaires dans un unique répertoire. Désormais, je suppose que l’on se place dans un répertoire de travail disposant de ses répertoires et liens correctement configurés.

Une remarque. Dans le cas de l’apparition d’un nouveau cluster, ce fut le cas il y a peu avec ccali61, ces répertoires ne seront pas créés automatiquement bien sûr ; vous devrez effectuer l’opération seuls. Pour connaître le nom du nouveau système et créer correctement les nouveaux répertoires, lancer

fs sys

qui renverra le nom correct du système (attention, ne confondez pas avec la commande sys seule qui ne fonctionne pas correctement dans ce cadre !).

Le `makefile` générique

Je suppose également que vous placez vos sources dans votre répertoire de travail. Dans ce répertoire, je trouve pratique de ne posséder qu’une seule source possédant un main(). Le makefile que je propose cherche alors toutes les sources, les compile et place les objets dans obj, puis link le tout dans bin. Si vous effectuez une compilation sous chaque cluster, vous trouverez dans bin, quelque soit la machine, le bon exécutable.

Voici donc mon makefile (utilisez gmake), orienté C (pour du fortran, le compilateur au CCIN2P3 est simplement fort pour tout le monde).
Bien sûr cette écriture de makefile permet de placer des options spécifiques pour chaque plateforme, et ça c’est un peu le travail de chacun ! Quoi qu’il en soit, pour une source basique, ce makefile fonctionne parfaitement et définit des macros (option -D) spécifiques à chaque machine afin, dans le code C, de pouvoir par exemple identifier quelle est la machine destination (commande au préprocesseur #define CPP_PREDEFINES puis commandes du type #ifdef LINUX_SYSTEM... par exemple). Dernier point de détail, dans les makefile qui suivent - je vous invite à les essayer - les tabulations après les commandes suivies de ’ :’ ont disparu ; replacez les correctement sinon gmake ne sera pas content.

##############################################################
# Makefile generique pour les plateformes RS, Sun, Linux #
##############################################################

# Tristan Beau, beau@in2p3.fr

# La compilation est effectuee pour tous les fichiers
# dont l'extension est $(SrcSuf) dans le repertoire
# src.

SRCDIR          = .
EXENAME         = MonExecutable

ObjSuf        = .o
SrcSuf        = .c
ExeSuf        =
IncSuf        = .h
OutPutOpt     = -o

ifeq ($(SYSTEM),AIX)
# IBM AIX with gcc
CC            = gcc
CFLAGS        = -Wall -ansi -DIBM_SYSTEM
LFLAGS       = -lm
LIBS         =
else
ifeq ($(SYSTEM),Linux)
# Linux with gcc
CC            = gcc
CFLAGS        = -Wall -ansi -DLINUX_SYSTEM
LFLAGS        = -lm
LIBS          =
else
ifeq ($(SYSTEM),SunOS)
# Solaris with gcc
CC            = gcc 
CFLAGS        = -Wall -ansi -DSUN_SYSTEM
LFLAGS        = -lm
LIBS          =
endif
endif
endif

#------------------------------------------------------------------------------

BINDIR          = $(SRCDIR)/bin
OBJDIR          = $(SRCDIR)/obj

PROG            = $(BINDIR)/$(EXENAME)$(ExeSuf)
SRCS            = $(wildcard $(SRCDIR)/*$(SrcSuf))
OBJS            = $(patsubst $(SRCDIR)/%$(SrcSuf),$(OBJDIR)/%$(ObjSuf),$(SRCS))
INCS            = $(wildcard $(SRCDIR)/*$(IncSuf))

all: $(PROG)

.PHONY: clean print

.DELETE_ON_ERROR: $(OBJS) $(PROG)

print:
        @echo "$(SRCS)"
        @echo "$(OBJS)"
        @echo "$(INCS)"
        @echo "$(PROGS)"
clean:
        @rm -f $(OBJS) $(BINDIR)/core $(DIR)/core
        @echo "Clean done"

$(OBJDIR)/%$(ObjSuf) : $(SRCDIR)/%$(SrcSuf) $(INCS)
        @echo "Compiling $@..."
        @$(CC) $(CFLAGS) -c $< -o $@

$(PROG) : $(OBJS)
        @echo "Linking $@..."
        @$(CC) $(LFLAGS) $^ $(LIBS) $(OutPutOpt) $@
        @echo "$@ done"

Makefile pour ROOT

Pour le cas de ROOT, on voit une belle application de l’aspect général du makefile précédent. Voyez plutôt :

##############################################################
# Makefile generique pour les plateformes RS, Sun, Linux #
##############################################################

# Tristan Beau, beau@in2p3.fr

# La compilation est effectuee pour tous les fichiers
# dont l'extension est $(SrcSuf) dans le repertoire
# src.
# Ici l'accent est mis pour une compilation utilisant
# les librairies de ROOT

SRCDIR          = .
EXENAME         = MonExecutable

ObjSuf        = .o
SrcSuf        = .cpp
ExeSuf        =
DllSuf        = .so
IncSuf        = .h
OutPutOpt     = -o

ROOTCFLAGS    = $(shell root-config --cflags)
ROOTLIBS      = $(shell root-config --libs)
ROOTGLIBS     = $(shell root-config --glibs)

ifeq ($(SYSTEM),AIX)
# IBM AIX
CXX           = xlC
CXXFLAGS      = -O -g
LD            = xlC
LDFLAGS       = -g
SOFLAGS       =
else
ifeq ($(SYSTEM),Linux)
# Linux with egcs
CXX           = g++
CXXFLAGS      = -O -Wall -fPIC
SOFLAGS       = -shared
LD            = g++
LDFLAGS       = -g
SOFLAGS       = -shared
else
ifeq ($(SYSTEM),SunOS)
# Solaris
CXX           = CC
CXXFLAGS      = -O -KPIC
LD            = CC
LDFLAGS       = -g
SOFLAGS       = -G
endif
endif
endif

CXXFLAGS     += $(ROOTCFLAGS)
LIBS          = $(ROOTLIBS)
GLIBS         = $(ROOTGLIBS)

#------------------------------------------------------------------------------

BINDIR          = $(SRCDIR)/bin
OBJDIR          = $(SRCDIR)/obj

PROG            = $(BINDIR)/$(EXENAME)$(ExeSuf)
SRCS            = $(wildcard $(SRCDIR)/*$(SrcSuf))
OBJS            = $(patsubst $(SRCDIR)/%$(SrcSuf),$(OBJDIR)/%$(ObjSuf),$(SRCS))
INCS            = $(wildcard $(SRCDIR)/*$(IncSuf))

all: $(PROG)

.PHONY: clean print

.DELETE_ON_ERROR: $(OBJS) $(PROG)

print:
        @echo "$(SRCS)"
        @echo "$(OBJS)"
        @echo "$(INCS)"
        @echo "$(PROGS)"

clean:
        @rm -f $(OBJS) $(BINDIR)/core $(DIR)/core
        @echo "Clean done"

$(OBJDIR)/%$(ObjSuf) : $(SRCDIR)/%$(SrcSuf) $(INCS)
        @echo "Compiling $@..."
        @$(CXX) $(CXXFLAGS) -c $< -o $@

$(PROG) : $(OBJS)
        @echo "Linking $@..."
        @$(LD) $(LDFLAGS) $^ $(OutPutOpt) $@ $(LIBS) 
        @echo "$@ done"

Dans la même rubrique :

Partenaires

Menu

Rechercher

Navigation

makefile pour ferme hétérogène de calcul (tel qu’au ccin2p3)

Créer les répertoires `bin` et `obj`

Le `makefile` générique

Makefile pour ROOT

Partenaires

Menu

Rechercher

Navigation

makefile pour ferme hétérogène de calcul (tel qu’au ccin2p3)

Créer les répertoires bin et obj

Le makefile générique

Makefile pour ROOT

Créer les répertoires `bin` et `obj`

Le `makefile` générique