CPP: парсинг String Stream слишком медленный

обновление: Обсуждение в комментариях с @Mats пришло к выводу, что накладные расходы на блокировку вряд ли имеют какое-либо отношение к этому, поэтому мы вернулись к исходной точке, объясняя, почему библиотека Visual C++ так медленно выполняет синтаксический анализ. плавает. Ваш образец тестового файла выглядел так, как будто это были в основном числа с величиной, близкой к 1,0, и ничего странного не происходило. (Согласно таблицам Агнера Фога, FPU Intel в Sandybridge и более поздних версиях в любом случае не имеет штрафа за производительность за денормалы.)

Как уже говорили другие, пришло время профилировать ваш код и выяснить, какая функция занимает все процессорное время. Кроме того, счетчики производительности могут сообщить вам, вызывают ли проблемы неверные прогнозы переходов или промахи кэша.

Каждый вызов cin >> dummy_f требует блокировки, чтобы убедиться, что другой поток не изменяет входной буфер в то же время. Чтение 4 или 8 чисел с плавающей запятой одновременно с помощью scanf("%f%f%f%f", &dummy_array[0], &dummy_array[1], ...) было бы немного более эффективным, если бы это было узким местом. (scanf также не лучший API для этого, так как ему нужен адрес каждого элемента массива в качестве аргумента функции. Однако развертывание с использованием нескольких преобразований в одном scanf все еще дает небольшой выигрыш в производительности.)

Вы пытаетесь обойти это с помощью строкового потока, который может быть или не быть эффективным. Это локальная переменная в функции, поэтому, если компилятор видит все функции и встраивает их, он не может заморачиваться с блокировкой. Не может быть никаких других потоков с доступом к этой переменной.

На моей машине с Linux это занимает всего ‹0,3 секунды, поэтому, если OP не ошибся при сборке Debug/Release, то это должна быть проблема, уникальная для Windows:

hidden$ cat read-float.cpp 
#include <fstream>
#include <iostream>
#include <vector>
using namespace std;

int main() {
  ifstream fs("/tmp/xx.txt");
  vector<float> v;
  for (int i = 0; i < 6375; i++) {
    for (int j = 0; j < 129; j++) {
      float f;
      fs >> f;
      v.emplace_back(f);
    }
  }
  cout << "Read " << v.size() << " floats" << endl;
}
hidden$ g++ -std=c++11 read-float.cpp -O3
hidden$ time ./a.out 
Read 822375 floats

real    0m0.287s
user    0m0.279s
sys 0m0.008s

hidden$ g++ -v
Using built-in specs.
COLLECT_GCC=g++
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/4.8/lto-wrapper
Target: x86_64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu 4.8.4-2ubuntu1~14.04' --with-bugurl=file:///usr/share/doc/gcc-4.8/README.Bugs --enable-languages=c,c++,java,go,d,fortran,objc,obj-c++ --prefix=/usr --program-suffix=-4.8 --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --with-gxx-include-dir=/usr/include/c++/4.8 --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --enable-gnu-unique-object --disable-libmudflap --enable-plugin --with-system-zlib --disable-browser-plugin --enable-java-awt=gtk --enable-gtk-cairo --with-java-home=/usr/lib/jvm/java-1.5.0-gcj-4.8-amd64/jre --enable-java-home --with-jvm-root-dir=/usr/lib/jvm/java-1.5.0-gcj-4.8-amd64 --with-jvm-jar-dir=/usr/lib/jvm-exports/java-1.5.0-gcj-4.8-amd64 --with-arch-directory=amd64 --with-ecj-jar=/usr/share/java/eclipse-ecj.jar --enable-objc-gc --enable-multiarch --disable-werror --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --with-tune=generic --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu
Thread model: posix
gcc version 4.8.4 (Ubuntu 4.8.4-2ubuntu1~14.04) 

Альтернативная реализация с использованием atof, которая работает в 3 раза быстрее, вставлена ​​ниже. На моем ноутбуке исходный строковый поток занимает 2,3 секунды, тогда как этот завершается менее чем за 0,8 секунды для того же количества поплавков.

static char filecontents[10*1024*1024];

int testfun2()
{
  ifstream testfile;
  string filename = "test_file.txt";
  testfile.open(filename.c_str());
  int numfloats=0;
  testfile.read(filecontents,10*1024*1024);
  size_t numBytesRead = testfile.gcount();
  filecontents[numBytesRead]='\0';
  testfile.close();

  clock_t begin = clock();
  float dummy_f;

  cout<<endl<<"started at time "<<(double) (clock() - begin) /(double) CLOCKS_PER_SEC<<endl;

  char* p= filecontents;
  char* pend = p + numBytesRead;
  while(p<pend)
  {
      while(*p && (*p <= ' '))
      {
         ++p; //skip leading white space ,\r, \n
      }
      char* pvar = p;
      while(*p > ' ')
      {
        ++p; //skip over numbers
      }
      if(*p)
      {  *p = '\0';// shorter input makes atof faster.
        ++p;
      }
      if(*pvar)
      {
         dummy_f = atof(pvar);
         ++numfloats;
      }
      //cout << endl << dummy_f;
  }

  cout<<endl<< "finished at time "<<(double) (clock() - begin) /(double) CLOCKS_PER_SEC<<endl;

  cout << endl << "numfloats= " << numfloats;
  return numfloats;
 }