![]() | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2. Un classement riche d’enseignements...Trois principaux enseignements peuvent être tirés de l’exploitation des résultats du classement de Shanghai pour l’année 2005. i) Il existe une forte concentration des établissements qui rend compte de leur taille, de leur performance, de leur réputation ainsi que de la prédominance du monde académique anglo-saxon. ii) Dans ce contexte, les performances de la France semblent plutôt mitigées avec une sixième place comparable à celle de sa position internationale au regard de différents indicateurs de production scientifique (parts mondiales de publications et de citations10). iii) Toutefois, les performances individuelles des universités françaises apparaissent comme limitées. 2.1. Globalement, une forte concentration des performances des établissementsLes indicateurs utilisés n’ont pas tous le même degré de sélectivité (cf. tableau n° 1). Ceux basés sur la formation ou la présence de personnels hautement qualifiés dans les équipes de recherche produisent les scores moyens les plus faibles (Qualiforma et PrixNobel). Ainsi, les universités ont un score moyen correspondant à moins de 10 % de celui de l’université de référence. Un tel résultat n’a rien de surprenant si l’on considère que les prix Nobel ne sont distribués que chaque année et dans un nombre limité de disciplines (physique, chimie, médecine, économie). Au niveau des indicateurs de la production scientifique (N&S et SCI&SSCI), les universités ont en moyenne de meilleurs résultats par rapport à l’établissement de référence. Il est vrai que ces deux indicateurs sont moins sélectifs compte tenu du nombre de revues scientifiques existant dans les différentes disciplines. Pour la productivité apparente du capital humain (Productivité), le score moyen est également plus élevé. Malgré tout, les universités ont en moyenne une productivité apparente de leur capital humain qui ne représente que 20 % de celle de l’établissement de référence. La dispersion des performances suit la même logique : elle est la plus forte pour les indicateurs Qualiforma et PrixNobel et elle est la plus faible pour Productivité et SCI&SSCI. Il apparaît que plus de 85 % des 500 premières universités ont une performance égale à moins 28 % de celle de l’établissement de référence (cf. figure n° 1). Il semble donc que les activités de recherche soient fortement concentrées dans un nombre d’universités très limité11.
Figure n° 1 : Distribution des 500 universités selon leur degré de performance ![]()
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Pays |
Rang |
Rang 1 |
Rang 2 |
Rang 3 |
Rang 4 |
Rang 5 |
Nombre d'universités |
| États-Unis Royaume-Uni Allemagne Japon Canada France Italie Australie Pays-Bas Suède Suisse Israël Belgique Espagne Chine Corée du Sud Danemark Autriche Hongkong Finlande Norvège Taïwan Nouvelle-Zélande Brésil Afrique du Sud Russie Irlande Pologne Singapour Inde Hongrie Grèce Mexique Turquie Argentine Rép. tchèque Chili Portugal | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 23 25 26 28 29 27 30 32 31 34 33 36 35 37 38 | 1 2 3 4 5 6 7 8 9 10 11 13 12 15 14 16 17 18 19 20 22 21 23 24 25 26 28 27 29 30 31 32 33 34 35 36 37 38 | 1 2 3 4 6 5 7 9 10 11 8 13 12 16 23 18 14 15 21 20 17 24 22 26 25 19 28 29 31 27 30 32 33 36 34 35 37 38 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 16 17 15 18 21 19 20 23 22 24 25 26 27 28 30 29 31 32 33 34 35 36 37 38 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 17 16 18 19 20 21 22 23 24 25 26 28 27 29 30 31 32 33 34 35 36 37 38 | 168 40 40 34 23 21 23 14 12 11 8 7 7 9 8 8 5 6 5 5 4 5 5 4 4 2 3 3 2 3 2 2 1 2 1 1 1 1 |
Sources : http://ed.sjtu.edu.cn/ranking.htm et calculs des auteurs, année 2005
Les positions mondiale et européenne de la France sont peu affectées par le changement du système de pondération. Ainsi, la France maintient son rang lorsque le classement est réalisé à partir de pondérations différentes des critères utilisés par ce classement12. Il n’y a que dans le cas où aucun poids n’est accordé à la quantité et à la qualité de la production scientifique (SCOREMOY3 associé à Rang3), que la France passe en cinquième position devant le Canada13.
| Part / monde (%) de publications | Part / monde (%) de citations à 2 ans | Indice d'impact à 2 ans | ||||||||||||
| Pays | Rang 1996 | 1996 | Rang 2001 | 2001 | Pays | Rang 1996 | 1996 | Rang 2001 | 2001 | Pays | Rang 1996 | 1996 | Rang 2001 | 2001 |
| États-Unis | 1 | 31,9 | 1 | 28,5 | États-Unis | 1 | 45,7 | 1 | 42,1 | États-Unis | 2 | 1,43 | 1 | 1,48 |
| Japon | 2 | 8,5 | 2 | 9,0 | Roy.-Uni | 2 | 8,6 | 2 | 8,3 | Suisse | 1 | 1,47 | 2 | 1,44 |
| Roy.-Uni | 3 | 8,2 | 3 | 7,5 | Allemagne | 3 | 7,1 | 3 | 7,6 | Pays-Bas | 3 | 1,14 | 3 | 1,20 |
| Allemagne | 4 | 6,8 | 4 | 7,0 | Japon | 4 | 6,9 | 4 | 7,5 | Danemark | 7 | 1,03 | 4 | 1,14 |
| France | 5 | 5,4 | 5 | 5,1 | France | 5 | 4,8 | 5 | 4,8 | Roy.-Uni | 5 | 1,05 | 5 | 1,10 |
| Italie | 8 | 3,3 | 6 | 3,5 | Canada | 6 | 3,9 | 6 | 3,6 | Allemagne | 6 | 1,04 | 6 | 1,08 |
| Chine | 13 | 1,9 | 7 | 3,5 | Italie | 7 | 2,8 | 7 | 3,1 | Canada | 8 | 0,99 | 7 | 1,06 |
| Canada | 6 | 4,0 | 8 | 3,4 | Pays-Bas | 8 | 2,3 | 8 | 2,2 | Suède | 4 | 1,08 | 8 | 1,06 |
| Russie | 7 | 3,4 | 9 | 2,7 | Australie | 9 | 1,9 | 9 | 2,0 | Finlande | 10 | 0,94 | 9 | 0,97 |
| Espagne | 11 | 2,1 | 10 | 2,5 | Espagne | 12 | 1,5 | 10 | 1,9 | Belgique | 9 | 0,95 | 10 | 0,94 |
| Australie | 9 | 2,2 | 11 | 2,2 | Suisse | 10 | 1,9 | 11 | 1,9 | Autriche | 14 | 0,85 | 11 | 0,93 |
| Inde | 10 | 2,2 | 12 | 2,1 | Suède | 11 | 1,7 | 12 | 1,6 | France | 12 | 0,90 | 12 | 0,93 |
| Pays-Bas | 12 | 2,0 | 13 | 1,9 | Chine | 17 | 0,7 | 13 | 1,4 | Israël | 13 | 0,88 | 13 | 0,92 |
| Corée du S | 19 | 0,8 | 14 | 1,6 | Belgique | 14 | 0,9 | 14 | 0,9 | Islande | 11 | 0,92 | 14 | 0,91 |
| Suède | 14 | 1,5 | 15 | 1,5 | Israël | 15 | 0,8 | 15 | 0,9 | Australie | 15 | 0,85 | 15 | 0,90 |
| Source : données ISI, traitement OST, rapport 2004 | ||||||||||||||
Le positionnement relativement satisfaisant de la France ne doit pas occulter que les universités françaises prises individuellement ont des performances limitées au regard des autres établissements anglo-saxons ou européens (cf. tableau n° 5). Ainsi, l’université Paris VI, la première université française classée, ne figure qu’au 46ème rang avec une valeur d’indicateur synthétique (SCOREMOY) de 31,15. Cette valeur traduit une performance assez éloignée de celle de l’université Harvard, la première du classement, qui obtient un score de 97,24. Parmi les 15 universités françaises retenues, seules quatre sont présentes dans les 100 premières universités. De plus, les établissements franciliens, Grandes écoles comprises, sont largement représentés dans le classement. En effet, on en dénombre 10 sur les 21 établissements français classés. Enfin, les universités en tant que telles sont mieux classées que les cinq Grandes écoles et le Collège de France qui figurent dans le classement14. Ainsi, la première Grande école française, l’École normale supérieure de Paris, occupe la 95ème place. Elle est devancée par les universités de Paris VI, Paris XI et de Strasbourg I. Elle-même devance le Collège de France (151ème), l’École polytechnique (253ème), l’École supérieure de physique et de chimie industrielles (346ème), l’École des Mines de Paris (375ème) et l’École normale supérieure de Lyon (391ème). On notera qu’aucune Grande école de commerce n’est présente dans le classement.
Parmi les spécificités des systèmes d’enseignement supérieur et de recherche français qui peuvent affecter la place de la France dans le classement de Shanghai, trois points peuvent être soulignés :
– l’effet taille aux niveaux des établissements et des systèmes d’enseignement supérieur des pays joue un rôle déterminant dans les classements. La France est un pays de taille intermédiaire dont le système d’enseignement supérieur et de recherche est plutôt atomistique comme en témoigne le décalage constaté entre son classement global (sixième) et celui de ses établissements (la 1ère université est classée au 46ème rang). Il faut rappeler ici que peu d’universités accueillant moins de 10 000 étudiants figurent dans le classement de Shanghai. Les évolutions en cours au travers de la réforme LMD (Licence-Master-Doctorat), de la création de pôles européens, de pôles de recherche et d’enseignement supérieur (PRES) et de campus pourraient conduire à accroître sensiblement la taille des établissements ;
– le poids accordé à la taille dans ce classement n’est pas favorable à la dualité entre Grandes écoles et universités qui caractérise le système d’enseignement supérieur français. De fait, les premières sont moins impliquées dans la recherche mais offrent a priori de meilleurs débouchés professionnels aux étudiants que les secondes. De plus, les Grandes écoles ont le droit de sélectionner à l'entrée, droit qui est accordé seulement à quatre universités en France15. Les universités sont donc conduites à faire un enseignement de masse et dans le même temps à favoriser l’excellence scientifique de leurs équipes dans la compétition internationale. De plus, les universités ont une plus faible autonomie en matière de ressources humaines, d’infrastructures et de moyens financiers relativement aux Grandes écoles ;
– une autre dualité existe dans le domaine de la recherche entre universités et grands organismes (EPST et EPIC), même si elle semble s’estomper aujourd’hui. En effet, une part de plus en plus importante des laboratoires de recherche se trouve adossée aux universités (par exemple, les unités mixtes de recherche Université et CNRS ou INSERM, INRA, etc.). Toutefois, seulement une faible partie des publications intègrent cette mixité, les chercheurs signant systématiquement au nom de leur organisme de tutelle. Ainsi, les universités voient leur production scientifique sous-évaluée dans les bases de données bibliographiques internationales.
Au total, la segmentation du système d’enseignement supérieur et de recherche a des effets négatifs sur la taille des établissements et donc sur leur classement. Ces effets négatifs sont amplifiés par des inefficiences organisationnelles (duplications des structures par exemple) et par une sous-utilisation du potentiel humain des Grandes écoles pour les activités de recherche, induites par la segmentation. L’amélioration du classement des établissements français pose donc autant la question des moyens et de leur allocation que celle de l’organisation.
| Institution | Pays | Rang* | Institution | Pays | Rang* |
| Harvard Univ. | États-Unis | 1 | Univ. Adelaïde | Australie | 238 |
| Univ. Cambridge | Royaume-Uni | 2 | Univ. Cape Town | Afrique du Sud | 239 |
| Stanford Univ. | États-Unis | 3 | Univ. Laval | Canada | 240 |
| Univ. Californa-Berkely | États-Unis | 4 | Kobe Univ. | Japon | 252 |
| MIT | États-Unis | 5 | École polytechnique | France | 253 |
| California Inst. Tech. | États-Unis | 6 | Tech. Univ. Berlin | Allemagne | 254 |
| Columbia Univ. | États-Unis | 7 | Univ. Karlsruhe | Allemagne | 255 |
| Princeton Univ. | États-Unis | 8 | Univ. Lyon I | France | 286 |
| Univ. Chicago | États-Unis | 9 | Univ. Dundee | Royaume-Uni | 287 |
| Univ. Oxford | Royaume-Uni | 10 | Univ. BordeauxI | France | 295 |
| Univ. Paris VI | France | 46 | Univ. Méditerranée | France | 309 |
| Univ. Paris XI | France | 61 | Univ. Bath | Royaume-Uni | 310 |
| Univ. Strasbourg I | France | 92 | Univ. Bielefeld | Allemagne | 311 |
| Univ. Utah | États-Unis | 93 | Univ. Nancy I | France | 312 |
| Stockholm Univ. | Suède | 94 | Univ. Fed. Rio de Janeiro | Brésil | 345 |
| École normale Paris | France | 95 | École sup. Phys. & Chimie | France | 346 |
| Univ. Leuven | Belgique | 150 | Univ. Bayreuth | Allemagne | 347 |
| Collège de France | France | 151 | Eindhoven Univ. Tech. | Pays-Bas | 371 |
| Hokkaido Univ. | Japon | 152 | Univ. Paris IX | France | 372 |
| Fed. Inst. Tech. Lausanne | Suisse | 153 | Vienna Tech. Univ. | Autriche | 373 |
| Univ. Paris VII | France | 154 | Nanyang Tech. Univ. | Singapour | 374 |
| Univ. Grenoble I | France | 187 | École des Mines - Paris | France | 375 |
| Univ. Turin | Italie | 201 | École normale sup. Lyon | France | 391 |
| Univ. Paris V | France | 202 | Nagasaki Univ. | Japon | 392 |
| Univ. Auckland | N-Zélande | 203 | Univ. Bordeaux II | France | 411 |
| Univ. Montpellier II | France | 215 | Univ. Granada | Espagne | 441 |
| Univ. Western Ontario | Canada | 216 | Univ. Aix Marseille I | France | 442 |
| Delft Univ. Tech. | Pays-Bas | 236 | Univ. Québec | Canada | 443 |
| Univ. Toulouse III | France | 237 | |||
| * Le rang est déterminé à partir de l’indicateur synthétique SCOREMOY. Source : http://ed.sjtu.edu.cn/ranking.htm, année 2005 | |||||
Malgré l’intérêt indéniable des classements internationaux, aucun d’entre eux n’apparaît comme totalement satisfaisant. Ainsi, le classement de Shanghai présente cinq principales limites.
De fait, seul le premier critère peut apparaître comme une mesure de la qualité de l’enseignement dispensé dans les universités ou, de façon équivalente, dans leur capacité à former du capital humain. Toutefois, cette mesure a un caractère assez restrictif. En effet, elle se borne à apprécier la capacité des universités à faire de la formation à la recherche par la recherche qui n’est pas la plus large part du capital humain formé. Les auteurs du classement justifient leur choix de critères par deux raisons. i) Il est très difficile de mesurer précisément la qualité de la formation dispensée dans les universités, en tout cas il n’existe pas dans ce domaine de critères qui permettent des comparaisons internationales. ii) Les indicateurs retenus pour établir le classement de Shanghai fournissent une assez bonne idée de la réputation internationale des établissements en matière de formation.
À côté de l’évaluation « qualitative » par les pairs, les méthodes quantitatives d’évaluation des outputs de la recherche se sont développées. Ainsi, d’un objectif d’information scientifique et technique (années 1950 et 1960), les indicateurs « bibliométriques »16, calculés à partir des publications scientifiques, constituent depuis un outil supplémentaire d’évaluation des chercheurs, des programmes, des institutions et des pays/zones géographiques. Ces indicateurs concernent le volume des publications, celui des citations (visibilité internationale) et de l’intensité et des caractéristiques des coopérations scientifiques (à travers les co-publications aux niveaux national et international), à partir de bases de données bibliographiques. Au travers des variables Citations, N&S et SCI&SSCI, le classement de Shanghai reprend largement ces indicateurs bibliométriques issus des bases de données bibliographiques de l’Institute for Scientific Information (ISI).
Il faut souligner que les bases de données bibliographiques, produites par des sociétés commerciales ou par des institutions publiques ou privées, sont souvent spécialisées (par exemple, Chemical Abstracts, dans les sciences physico-chimiques, plus de 500 000 références par an provenant d’environ 10 000 revues ; Compendex dans l’ingénierie et la technologie, plus de 150 000 références par an provenant d’environ 4 500 revues ; Embase dans les sciences médicales, avec plus de 250 000 références par an provenant d’environ 3 500 revues ; Inspec dans les sciences physiques, avec plus de 200 000 références par an provenant d’environ 2 200 revues). Quelques-unes sont pluridisciplinaires (généralistes) comme en France, la base Pascal produite par l’Institut de l’information scientifique et technique (INIST) du Centre national de la recherche scientifique (CNRS) et aux États-Unis, la base Science Citation Index (SCI) produite par l’ISI de la société privée Thomson Scientific. La base de l’ISI est la plus utilisée par les producteurs d’indicateurs bibliométriques. Elle dispose aussi, mais avec une couverture de moins bonne qualité, d’informations sur les sciences sociales et humaines : Social Science Citation Index (SSCI) et Arts & Humanities Citation Index (AHCI).
Dans les analyses bibliométriques, la qualité des bases de données est centrale pour la pertinence des résultats. Or, aucune base de données bibliographiques, y compris celles de l’ISI, ne présente la qualité d’être exhaustive ! De plus, si la citation est une mesure de l’impact général de l’influence d’un article (ou d’un ou plusieurs chercheurs), d’un établissement ou d’un pays, le lien entre l’intensité de la citation et la qualité scientifique des travaux publiés n’est pas systématiquement vérifié. Par exemple, on peut mentionner les « citations négatives » quand une recherche est souvent citée car sujette à polémique, voire pour une erreur méthodologique, les articles « non cités », les « auto-citations », c’est-à-dire les références faites par un chercheur à ses travaux antérieurs. À cela s’ajoute un effet linguistique, certaines bases comme celle de l’ISI favorisant nettement les établissements anglophones (Barré, 2001 ; Filliatreau, 2001 ; Filliatreau et Zitt, 2005 ; Van Raan, 2004).
Tableau n° 6 : Corrélation entre indicateurs (coefficient de Pearson)
| Qualiforma | PrixNobel | Citations | N&S | SCI&SSCI | Productivité | |
| Qualiforma | 1 | |||||
| PrixNobel | 0,75 | 1 | | |||
| Citations | 0,61 | 0,65 | 1 | |||
| N&S | 0,68 | 0,70 | 0,86 | 1 | ||
| SCI&SSCI | 0,56 | 0,48 | 0,70 | 0,73 | 1 | |
| Productivité | 0,69 | 0,75 | 0,76 | 0,83 | 0,68 | 1 |
| Sources : http://ed.sjtu.edu.cn/ranking.htm et calculs des auteurs, année 2005 | ||||||
Tableau n° 7 : Corrélation sur les rangs (coefficient de Spearman)
| Qualiforma | PrixNobel | Citations | N&S | SCI&SSCI | Productivité | |
| Qualiforma | 1 | |||||
| PrixNobel | 0,56 | 1 | ||||
| Citations | 0,44 | 0,43 | 1 | |||
| N&Q | 0,48 | 0,43 | 0,71 | 1 | ||
| SCI&SSCI | 0,44 | 0,37 | 0,58 | 0,64 | 1 | |
| Productivité | 0,52 | 0,49 | 0,69 | 0,72 | 0,76 | 1 |
| Sources : http://ed.sjtu.edu.cn/ranking.htm et calculs des auteurs, année 2005 | ||||||
La pondération utilisée est différente pour les critères et pour les indicateurs. Celle-ci s’opère donc à partir d’un a priori sur les facteurs qui ont le plus d’importance. Dans ce contexte, le classement proposé par l’université de Shanghai surpondère la taille des établissements au travers des cinq premiers indicateurs. Les universités qui ont les plus gros effectifs de chercheurs et enseignants, et qui potentiellement ont le plus grand nombre de prix Nobel, sont aussi celles dont le volume de production d’articles est le plus important. Même si les concepteurs du classement sont conscients du problème, ils ne semblent pas vraiment souhaiter atténuer la surpondération. Corrélativement, un poids plus important est accordé à la diversité (universités pluridisciplinaires) par rapport à la spécialisation (universités monodisciplinaires).
Une analyse de sensibilité sur le choix de la pondération a été menée. Cinq nouvelles mesures synthétiques de la performance des universités sont construites à partir de poids différents. Plus précisément, un poids nul est affecté successivement aux quatre critères retenus. C’est tout d’abord la formation à la recherche par la recherche qui se voit attribuer un poids nul (SCOREMOY1), puis la qualité du capital humain/personnel de recherche (SCOREMOY2), la quantité et la qualité de la production scientifique (SCOREMOY3) et la productivité (SCOREMOY4). Une mesure synthétique de la performance des universités est également proposée, en affectant un poids identique à tous les critères (SCOREMOY5) sachant que tous les établissements ne sont pas représentés par le même nombre de critères. Des calculs de corrélations sont effectués pour évaluer le degré de sensibilité de ces différentes mesures par rapport à la pondération utilisée (cf. tableau n° 8). Ces calculs sont également appliqués à la mesure retenue pour le classement de Shanghai (SCOREMOY). Les coefficients de corrélation sont très élevés car systématiquement proches de 118. Ainsi, le classement des universités est très peu sensible aux poids accordés aux différents critères et indicateurs utilisés. Ce résultat confirme la forte corrélation des indicateurs employés.
| SCOREMOY | SCOREMOY1 | SCOREMOY2 | SCOREMOY3 | SCOREMOY4 | SCOREMOY5 | |
| SCOREMOY | 1 | |||||
| SCOREMOY1 | 0,996 | 1 | ||||
| SCOREMOY2 | 0,975 | 0,964 | 1 | |||
| SCOREMOY3 | 0,970 | 0,955 | 0,943 | 1 | ||
| SCOREMOY4 | 0,996 | 0,984 | 0,978 | 0,977 | 1 | |
| SCOREMOY5 | 0,997 | 0,989 | 0,983 | 0,980 | 0,997 | 1 |
| Sources : http://ed.sjtu.edu.cn/ranking.htm et calculs des auteurs, année 2005 | ||||||
*ZZ*ZZ*
La deuxième question porte sur la nécessité d’inscrire les classements des établissements dans un cadre institutionnel international. En effet, même le classement de Shanghai, comme son nom l’indique, n’est qu’un classement chinois des établissements internationaux sans concertation au niveau mondial sur la méthodologie ! Si une telle orientation est retenue, deux options pourraient alors être envisagées : la première consisterait à organiser un système de classement au niveau européen, par exemple en associant l’ENQA, l’EUA et l’ESIB20. Cette option présente l’avantage de s’inscrire dans un contexte de mise en œuvre du processus de Bologne, qui concerne autant l’harmonisation des formations que l’amélioration de la qualité de la formation. La seconde option privilégierait une instance internationale comme l’OCDE ou l’UNESCO. L’OCDE pourrait associer plus de pays extra-européens, notamment les États-Unis et certains pays de la zone Asie, et donc permettrait d’aboutir à un consensus international sur la méthodologie. De plus, l’OCDE a déjà une grande expérience en la matière, notamment la conception de méthodologies pour l’évaluation des moyens consacrés à la recherche (Manuels de Frascatti et de Canberra), et dans le domaine de l’éducation (l’évaluation dans le cadre du programme PISA par exemple). Il faut souligner que l’UNESCO, via son centre « European Centre for Higher Education », s’est déjà saisi de la question en organisant un cycle de conférences annuelles qui a abouti à l’adoption de seize principes dits de « Berlin »21.
La troisième question se rapporte à la cohérence entre les objectifs de réputation au travers des classements internationaux et ceux d’efficacité du système d’enseignement supérieur. Les classements internationaux ont le mérite de pointer des faiblesses du système français d’enseignement supérieur et de recherche. L’amélioration de l’image internationale des établissements renvoie aux questions de modernisation du système d’enseignement supérieur (missions, organisation, méthodes de gestion et d’enseignement des établissements, mode de financement, etc.). Mais comment assurer une cohérence entre l’objectif de développer la réputation scientifique internationale des établissements et les autres objectifs d’efficacité du système d’enseignement supérieur ? En particulier, comment améliorer l'insertion dans l’emploi des jeunes sortis de l'enseignement supérieur ? Comment faire de la formation initiale un outil qui favorise l’employabilité tout au long de la vie professionnelle ?
Ces questions se posent alors même que le système d’enseignement supérieur en France fait face à des départs massifs à la retraite des enseignants-chercheurs et à une stabilisation voire une baisse des effectifs d’étudiants. Ces tendances constituent autant d’opportunités à saisir pour relever les défis de qualité, d’efficacité et d’équité.
[1] Le ministère chargé de l’Enseignement supérieur, la Conférence des présidents d’université ainsi que l’Observatoire des sciences et techniques ont d’ailleurs signé une convention par laquelle il est prévu de décliner au niveau des établissements les indicateurs de performance définis dans le programme 150 « Formations supérieures et recherche universitaire » de la mission interministérielle « Recherche et enseignement supérieur ».
[2] Aux États-Unis, on peut citer notamment Business Week dès 1988, Forbes, Wall Street Journal et US News and World report, le Magazine Maclean’s au Canada. Au Royaume-Uni, c’est principalement le Financial Times et The Economist. En Suisse, un classement récent a été réalisé par SuissUp. En France, on peut citer Le Monde de l’éducation, Le Point, L’Étudiant, Challenges, Management, Capital, Le Nouvel Observateur, Courrier Cadres, L’Express, etc.
[3] En France, ce classement n’a pas fait l’objet d’analyse académique à l’exception d’une note de l’IREDU, réalisée par François Orivel (voir bibliographie en fin d'article).
[4] Le gao kao constitue le concours d’entrée à l’université en Chine. 5,3 millions en 2002 de jeunes Chinois se sont présentés aux épreuves de ce concours, 6,13 millions en 2003, et plus de 8,5 millions en 2005.
[5] Comme le souligne la note de l’Ambassade de France en Chine, un échec au gao kao bouleverse les perspectives d’avenir d’un élève chinois, qui se voit exclu du système éducatif conventionnel. Si sa note est basse, il n’aura pas accès aux formations de benke (équivalent à un bac+4) et sera contraint de se tourner vers des cursus de zhuanke (bac+2 ou 3) ou vers les offres de formation du secteur privé (pour la plupart de niveau zhuanke).
[6] De fait, la transparence des critères retenus, l’utilisation d’une méthode d’évaluation « simple » mais aussi la crédibilité des concepteurs au sens que ceux-ci n’avaient aucun intérêt à « manipuler » les résultats, sont autant de facteurs qui expliquent l’utilisation systématique de ce classement à des fins de comparaisons internationales par les médias et les principaux pays développés.
[7] Notons que cet indicateur a été introduit lors de la deuxième année du classement soit en 2004.
[8] Les 21 champs utilisés : Chimie, Sciences de l’ingénieur, Neuroscience, Physique, Biologie moléculaire et génétique, Biologie et Biochimie, Immunologie, Microbiologie, Pharmacologie, Agronomie, Sciences naturelles, Sciences médicales, Astronomie, Sciences de l’environnement, Mathématiques, Géosciences, Sciences des matériaux, Sciences sociales, Économie et Gestion, Psychologie et Psychiatrie, Informatique.
[9] Notons qu’un article référencé à la fois dans le Social Science Citation Index et dans le Arts & Humanities Citation Index est comptabilisé deux fois.
[10] Voir notamment le rapport de l’Observatoire des sciences et des techniques, Indicateurs de sciences et de technologies, 2004.
[11] Ce qui se traduit par une distribution des performances des établissements fortement dissymétrique à gauche.
[12] SCOREMOY1 (Rang1), SCOREMOY2 (Rang2), SCOREMOY3 (Rang3), SCOREMOY4 (Rang4) et SCOREMOY5 (Rang5), voir infra pour les pondérations utilisées.
[13] On peut noter que parmi les 38 pays figurant dans le classement, 27 des 30 pays de l’OCDE sont présents.
[14] 15 universités sont classées sur les 85 universités françaises (y compris les quatre universités technologiques), contre seulement 5 Grandes écoles sur plus de 200 établissements.
[15] Les universités de technologie de Troyes, de Belfort-Montbelliard, de Compiègne et plus récemment l’université de Paris-Dauphine.
[16] La bibliométrie peut se définir comme la discipline qui mesure et analyse la production (l’output) de la science sous forme d’articles, de publications, de citations, de brevets et autres indicateurs dérivés plus complexes. La bibliométrie constitue un instrument important dans l’évaluation des activités de recherche, des laboratoires et des chercheurs, ainsi que dans l’appréciation des spécialisations et des performances scientifiques des pays.
[17] Les calculs effectués directement sur les valeurs des indicateurs montrent que les coefficients de corrélation sont non systématiquement différents de 0,7. Ceux effectués sur les rangs obtenus (des institutions) au niveau des indicateurs donnent des valeurs plus faibles car plus systématiquement inférieures à 0,5. Cette différence peut s’expliquer par la perte de précision due à l’utilisation des rangs plutôt qu’aux valeurs elles-mêmes.
[18] Malgré les valeurs élevées des coefficients de corrélation, les tests de Student effectués ne permettent pas de conclure qu’ils sont non significativement différents de 1.
[19] Il faut rappeler ici que la plupart des classements est le fait de sociétés privées, généralement de presse écrite.
[20] European association for quality assurance in higher education (ENQA), European Students international Bureau (ESIB), European university association (EUA).
[21] Ces principes ont été adoptés à l’issue de la troisième rencontre organisée le 30 mai 2006 par l’UNESCO-European Centre for Higher Education et l’Institute for Higher Education Policy à Berlin. La quatrième conférence aura lieu en 2007 à Shanghai.
Aghion P. et Cohen E., 2004, Éducation et croissance, Conseil d’analyse économique, La Documentation française.
Ambassade de France en Chine, 2003, Le concours d’entrée à l’université : le gao kao, Note de synthèse, Service de coopération et d’action culturelle, août 2003.
Barré R., 2001, « Sense and Nonsense of S&T Productivity Indicators », Science and Public Policy, 28 (4), p. 259-266.
Cai Liu N. et Cheng Y., 2005, « The Academic Ranking of World Universities », Higher Education in Europe, vol. 30, n° 2, UNESCO, juillet.
Commissariat général du Plan, 2005, Étudiants et chercheurs à l’horizon 2020 : enjeux de la mobilité internationale et de l’attractivité, rapport du groupe de projet « Saraswati ».
Commission européenne, 2003, Le rôle des universités dans l'Europe de la Connaissance, Communication, COM(2003) 58 final, Bruxelles, 5 février.
Commission européenne, 2005, Progress Towards the Lisbonne Objectives in Education and Training, SEC(2005) 419, Bruxelles, 22 mars.
Filliatreau G., 2001, « Les indicateurs bibiométriques en recherche », Éducation et Formation, n° 59, avril-juin, ministère de l’Éducation nationale, de l’Enseignement supérieur et de la Recherche.
Filliatreau G. et Zitt M., 2005, Big is (Made) Beautiful, Communication présentée à la première Conférence internationale sur les universités de classe mondiale, Shanghai, juin.
Harfi M. et Mathieu C., 2006, « Mobilité internationale et attractivité des étudiants et des chercheurs », Centre d'analyse stratégique, Horizons stratégiques, n° 1, juillet.
Observatoire des sciences et techniques, 2004, « Indicateurs de sciences et de technologies », Economica, Paris.
Orivel F., 2004, « Pourquoi les universités françaises sont-elles si mal classées dans les palmarès internationaux ? », Les Notes de l’IREDU, 04/04, mai.
Van Raan A. F. J., 2004, « Fatal attraction : Ranking of Universities by Bibliometric Methods », Working paper, Center for Science and Technology Studies, Leiden University.
| www.strategie.gouv.fr | Plan du site - Mentions légales - Aide - Les flux RSS - |
|