Repères: qu'est-ce que c'est? À quoi ça sert histoire, types et astuces

Les références sont une partie essentielle de notre analyse matérielle quotidienne, elles nous permettent de vous offrir une mesure scientifiquement comparable entre différents composants tels que les processeurs, les cartes graphiques, les unités de stockage, etc. Aujourd'hui, nous allons consacrer quelques lignes à son histoire, à ses types, comment ils fonctionnent, ce qu'ils mesurent, quelles sont les mesures les plus courantes et nous vous donnerons également quelques conseils sur la façon de les réaliser et sur lesquels nous devons faire confiance.

Ce que nous connaissons aujourd'hui dans le monde PC ou mobile comme références sont des techniques héritées de l'environnement industriel qui ont permis, depuis le début de cette révolution, une prise de décision basée sur des données comparables dans un environnement contrôlé.

Le monde de l'informatique moderne applique ces techniques à presque tous ses nombreux domaines différents, et les utilisateurs à domicile les ont également adoptés comme un moyen fiable de se renseigner sur les performances et les capacités de nos systèmes ainsi que comme un point d'information important lorsque pour prendre des décisions importantes, telles que l'achat de notre nouvel ordinateur, téléphone mobile, carte graphique, etc.

Aujourd'hui, nous allons parler de l'histoire des benchmarks PC, des types de benchmarks qui existent et des composants de notre système qui conviennent le mieux à ce type de tests qui ne sont pas seulement des performances.

Index du contenu

L'histoire

Le système de référence ou de mesure applique un environnement contrôlé et des mesures reconnaissables qui sont scientifiquement comparables et vérifiables et a coexisté avec le monde de l'ordinateur depuis qu'il existe. L' indice de référence, en tant que tel, a été démocratisé au point qu'une partie de son essence fondamentale a été perdue, c'est-à-dire qu'il peut être vérifiable et vérifiable par des tiers. Maintenant, nous l'utilisons davantage comme une comparaison rapide des performances, mais la traçabilité de sa véracité par des tiers a certainement été largement perdue.

Les méthodes de référence les plus classiques ont toujours fait référence à la capacité de calcul du processeur du système, bien que ces derniers temps, elle ait varié entre les différents composants, car ceux-ci ont gagné en prépondérance et en importance au sein d'un ordinateur.

Les deux unités de mesure les plus classiques qui sont encore appliquées sont les Dhrystones et les Whetstones. Les deux sont devenus, en quelque sorte, la base de tous les repères synthétiques que nous connaissons aujourd'hui.

Le plus ancien est Whetstones (une localité au Royaume-Uni où se trouvait la division de l'énergie atomique de la compagnie d'électricité du Royaume-Uni) et Dhrystone est venu plus tard jouer avec le nom du premier (humide et sec).

Le premier a été conçu dans les années 70 et le second est des années 80 et les deux sont la base de la performance comparative que nous avons eu au cours des années successives. Les pierres à aiguiser, simplifiant, ont offert un aperçu de la puissance de calcul du processeur dans les opérations en virgule flottante, opérations avec un grand nombre de décimales.

Le Dhrystone est son homologue car il est dédié aux instructions de base sans décimales, les deux ont donné une image claire des performances d'un processeur à partir de deux approches complètement différentes mais complémentaires. Pierres à aiguiser et Dhrystone dérivées en deux concepts que nous utilisons beaucoup plus couramment aujourd'hui, MIPS et FLOP.

Après ces mesures sont venues d'autres telles que le FLOP (Arithmétique à virgule flottante - arithmétique à virgule flottante) qui est, dans une large mesure, plus important maintenant dans un ordinateur qu'il ne l'a jamais été parce qu'il est la base du calcul avancé dans de nombreuses techniques modernes. tels que les algorithmes d'intelligence artificielle, les algorithmes médicaux, les prévisions météorologiques, la logique floue, le chiffrement, etc.

LINPACK a été développé par l'ingénieur Jack Dongarra dans les années 1980 et continue d'être utilisé aujourd'hui pour mesurer la capacité de calcul en virgule flottante de tous les types de systèmes. Actuellement, il existe des versions optimisées par l'architecture, le fabricant du processeur, etc.

Les FLOPS remplissent nos articles sur les cartes graphiques (sûrement les sons de précision simple ou double familiers), les processeurs et sont la base du calcul des besoins en énergie et du développement matériel pour tout supercalculateur en fonctionnement ou en développement.

Le FLOP est aujourd'hui l'unité de mesure de performance la plus demandée de l'industrie, mais il a toujours été combiné avec le MIPS (millions d'instructions par seconde) qui est une mesure intéressante, car il nous donne le nombre d'instructions Arithmétique de base qu'un processeur peut effectuer par seconde, mais qui dépend davantage de l'architecture du processeur (ARM, RISC, x86, etc.) et du langage de programmation que d'autres unités de mesure.

Au fur et à mesure que les performances progressaient, les multiplicateurs se sont produits. Nous mesurons maintenant les performances des processeurs domestiques dans GIPS et GFLOPS. La base reste la même, les opérations arithmétiques classiques. Sisoft Sandra continue de nous proposer ce type de mesure dans certains de ses benchmarks synthétiques.

Le MIPS a également été plus relégué au CPU en tant qu'élément classique et le FLOP s'est étendu à d'autres domaines prospères tels que la capacité de traitement ou le calcul général d'anciens processeurs très orientés vers des tâches spécifiques telles que les GPU que nous montons tous sur nos processeurs ou sur nos cartes d'extension dédiées.

À ces concepts de base, le temps a ajouté de nouvelles unités de mesure aussi importantes ou plus importantes que celles d'un ordinateur ou d'un superordinateur moderne. Le transit de données est l'une de ces mesures qui est devenue très importante et est actuellement mesurée en IOP (opérations d'entrée et de sortie par seconde) et également sous d'autres formes telles que les mesures de stockage MB / GB / TB par rapport au temps qu'il faut pour transit d'un point à un autre (Mbps - Mégaoctets par seconde).

L'AS-SSD peut mesurer les performances d'un disque dur en MBps ou en IOP.

Actuellement, nous utilisons également la mesure de transfert, dans ses différents multiplicateurs, comme moyen d'interpréter la vitesse de transit de l'information entre deux points lorsque pour émettre certaines informations, nous devons en fait avoir généré un peu plus d'informations. Cela dépend du protocole utilisé pour le transfert d'informations.

Un exemple clair, et que nous utilisons beaucoup, se trouve dans l'interface PCI Express. Selon ce protocole, pour chaque 8 bits d'informations que nous voulons déplacer (0 ou 1 s), nous devons générer 10 bits d'informations car ces informations supplémentaires sont destinées au contrôle de la communication qui est envoyée pour la correction des erreurs, l'intégrité des données, etc.

D'autres protocoles bien connus qui introduisent également cette «perte» d'informations réelles sont l'IP, celui que vous utilisez pour lire cet article et qui fait que votre connexion 300MT / s offre en fait un peu moins de 300 Mbps de vitesse.

Par conséquent, nous utilisons le Gigatransfer ou le transfert lorsque nous nous référons aux informations brutes envoyées par l'interface, et non aux informations réellement traitées dans le récepteur. Un bus de données PCI Express 3.0 8GT / s envoie en fait 6, 4 Go / s d'informations pour chaque ligne connectée entre les points. Le transfert est devenu très important avec l'intégration du protocole PCI Express dans tous les bus principaux d'un ordinateur domestique et professionnel.

Ces derniers temps, nous avons également commencé à combiner des mesures pour relier la puissance de traitement à d'autres facteurs très importants dans l'informatique moderne, la consommation étant l'une de ces mesures qui est introduite comme une échelle comparative entre les performances de deux systèmes. L'efficacité énergétique est autant ou plus importante aujourd'hui que la puissance du processus et il est donc facile de voir des repères qui comparent la puissance du processus en fonction des watts de consommation de l'élément mesuré.

En fait, l'une des grandes listes de superordinateurs ne se réfère pas tant à la puissance brute de l'ordinateur parmi tous ses nœuds de calcul, mais au développement de cette puissance en fonction des watts ou de l'énergie consommés par l'ensemble du système. La liste Green500 (FLOPS par watt - FLOPS par watt) est un exemple clair de la façon dont la consommation est désormais fondamentale pour toute référence qui se respecte, bien que nous continuions sans aucun doute tous à regarder attentivement la liste TOP500 qui n'a pas ce facteur comme facteur de conditionnement.

Types de repères

Bien que nous puissions parler de beaucoup plus de familles ou de types de repères, je simplifierai la liste dans les deux classes les plus courantes de celles qui sont les plus proches de nous tous en tant qu'utilisateurs plus ou moins avancés.

D'une part, nous avons les repères synthétiques qui sont en grande partie ceux qui nous offrent des mesures dont nous avons déjà parlé. Les benchmarks synthétiques sont des programmes qui effectuent des tests contrôlés avec un code de programme plus ou moins stable orienté pour une plate-forme et une architecture spécifiques. Ce sont des programmes qui effectuent des tests très spécifiques qui peuvent intégrer un ou plusieurs de nos composants, mais où le même test ou les mêmes tests sont toujours effectués, sans modifications.

Le rendu d'image a toujours été une bonne méthode pour connaître les performances d'un CPU dans un système moderne car c'est une tâche exigeante. Cinebench R15 dispose également de plusieurs tests, un pour le GPU et deux pour le CPU, où nous pouvons connaître les performances des systèmes avec plusieurs cœurs et threads de processus.

Ils offrent un environnement de test contrôlé, où il n'y a aucun changement, sauf pour les versions et où ces changements sont correctement documentés afin que l'utilisateur sache quelles versions peuvent être comparées entre elles. Ces types de programmes peuvent tester différents sous-systèmes de notre ordinateur séparément, avec d'autres morceaux de code ou des repères spécifiques pour effectuer un certain type de test, ou combinés qui peuvent être affectés par les performances d'un, deux ou plusieurs composants du système. Le benchmark intégré dans un jeu, ou des programmes comme Cinebench, Sisoft Sandra, SuperPI, 3DMark,… sont des exemples clairs de benchmarks synthétiques.

D'autres benchmarks synthétiques que nous ne devons pas confondre avec de vrais benchmarks sont ceux qui simulent l'exécution de vrais programmes, ou qui exécutent des scripts d'action dans de vrais programmes, ils sont également synthétiques puisqu'il n'y a pas d'aléatoire dans le test, PC Mark est un exemple clair de programme de benchmark synthétique que l'on peut confondre avec un vrai benchmark.

La référence réelle est une méthode de test très différente car elle accepte le caractère aléatoire de l'utilisation d'un programme pour mesurer ses performances. Les joueurs sont habitués à effectuer ce type de benchmarks ou de test de performance lorsque nous ajustons les paramètres de qualité d'un jeu aux possibilités de notre matériel.

Mesurer les performances d'un jeu pendant que vous jouez est une véritable référence.

Lorsque vous ouvrez le FPS que le jeu donne et essayez d'atteindre les 60FPS souhaités en continu, ils effectuent un véritable benchmark. La même chose peut être extrapolée à tout autre type de programme et si vous êtes développeur, lorsque vous optimisez le code de votre programme, vous effectuez également de vrais tests de référence où ce qui change est votre code, ou la façon de l'exécuter, sur une plate-forme de matériel stable ou variable.

Les deux types de benchmarks sont importants, les premiers nous permettent de comparer notre système avec d'autres dans un environnement contrôlé et les seconds sont un moyen d'optimiser notre fonctionnement où deux facteurs importants sont également ajoutés, le caractère aléatoire de l'exécution et le facteur humain. Les deux facteurs offrent un point de vue supplémentaire sur les performances du ou des composants que nous voulons tester.

Considérations lors de l'analyse comparative

Pour qu'une référence soit utile et efficace, nous devons prendre en compte certains facteurs qui sont vraiment importants. La comparaison entre différentes plates-formes et architectures introduit un facteur d'incertitude important, donc ce type de benchmarks qui vous donne la possibilité de comparer les téléphones mobiles iOS avec les ordinateurs Windows x86, pour donner un exemple, vous devez les prendre avec des pincettes car il ne change pas seulement noyau du système d'exploitation, mais les architectures de processeur sont très différentes. Les développeurs de ce type de benchmarks (par exemple, Geekbench) introduisent des facteurs de correction entre leurs différentes versions difficilement contrôlables.

Par conséquent, la première clé pour qu'un benchmark soit comparable entre différents matériels est que l'écosystème de test est aussi similaire que possible à la plateforme, au système d'exploitation, aux pilotes et à la version logicielle du benchmark. Il y aura certainement des éléments que nous ne pouvons pas contrôler l'homogénéisation, comme le contrôleur graphique si nous testons les graphiques AMD contre les graphiques Nvidia, mais le reste, nous devons essayer de le rendre aussi stable que possible. Dans ce cas, nous inclurions également le matériel, car pour comparer les cartes graphiques, votre truc est d'utiliser le même système d'exploitation, le même processeur, les mêmes mémoires et tous les paramètres de fonctionnement, en les gardant les mêmes, y compris les paramètres de qualité, de résolution et de test dans le benchmark. Plus notre écosystème de test est stable, plus nos résultats seront fiables et comparables.

Nous vous recommandons de lire Comment savoir si mon processeur a un goulot d'étranglement?

Une autre chose que nous devons prendre en compte est que les tests de référence ont normalement un facteur de stress sur le matériel que nous allons tester et soumettent normalement ce matériel à des situations qui ne se produiront pas normalement dans l'utilisation normale du système. Chaque référence que nous prenons sur notre disque dur, notre carte graphique ou notre processeur, les soumet à des situations qui peuvent être dangereuses pour le matériel, nous devons donc établir les mesures appropriées pour que le point de contrainte ne devienne pas un point de rupture ou également dans un élément de réduction des performances, car de nombreux composants disposent de systèmes de protection avec lesquels ils réduisent leurs performances en cas, par exemple, de températures en dehors de leur plage d'utilisation. Refroidissement adéquat, périodes de repos entre les tests, alimentation correcte des composants testés… tout devrait être dans une situation idéale pour que le test se déroule sans problème.

D'autre part, nous utilisons également précisément ce type de benchmarks afin de soumettre le système à des contraintes afin de voir sa stabilité dans ce type de situation, c'est une manière différente d'appliquer un benchmark car il ne cherche pas seulement à connaître la performance mais aussi si le système est stable et encore plus, si le système fonctionne comme il se doit dans ces situations stressantes.

conclusion

Pour ceux d'entre nous qui se consacrent au test professionnel du matériel informatique, la référence est un outil de travail et grâce à elle, les utilisateurs ont une manière scientifique et vérifiable de comparer ou de connaître avec précision les performances de notre prochain ordinateur dans chacun de ses sous-systèmes. comparable aux outils utilisés au niveau industriel.

Un tableau de test, comme celui que vous voyez sur l'image, cherche à standardiser avec précision la méthode de test, afin que le benchmark comparatif soit aussi fiable que possible et soit testable lors de l'introduction de variations qui modifient les résultats.

Mais comme tout essai «laboratoire», pour qu'il soit fiable, il faut que les conditions soient réunies pour qu'il soit réalisé, et plus encore pour qu'il soit comparable entre différents systèmes.

Aujourd'hui, nous vous avons expliqué un peu l'histoire de ce type de programme, ses différents types, comment ils fonctionnent et comment obtenir des informations fiables de leur part. Ils sont utiles, mais pour moi, ils ne sont qu'une information de plus à garder à l'esprit et je la placerais toujours derrière une expérience personnelle et des tests actifs avec de vrais programmes que nous allons utiliser tous les jours.

Un benchmark est bien pour mettre un minimum de données de performance dans notre processus de décision, mais ils ne doivent pas définir ces décisions et, comme dernier conseil, éviter les benchmarks synthétiques qui prétendent pouvoir comparer les performances entre architectures, systèmes d'exploitation, etc.