[1.8] Falácias (cont.)
Benchmarks permanecem válidos indefinidamente
Exemplos: SPEC (versões 89, 92, 95)
Problemas:
- Fabricantes podem otimizar o sistema para um aspecto específico do benchmark
- Processo de compilação pode ser “sintonizado” para explorar melhor um benchmark
- Ex: SPECfp92 numa IBM Powerstation-590, com otimizações: ganhos de até 2,1 vezes em alguns programas da coleção