как быстро искать?

дано: большой файл,ну допустим -200 ГБ. Ожидается, что файл заполнен нулями,но это может быть и не так,возможны вкрапления других байт.
необходимо пробежаться по файлу и если найдутся ненулевые байты -вывести смещения,по которым они находятся. с максимальной скоростью, в идеале скорость должна ограничиваться лишь физическими параметрами жесткого диска.
как делаю я: делаю буфер на 10 мб,в цикле считываю в него кусочек и побайтно сравниваю с 0.

 

можно ли ускорить процесс?

 

Может имеет смысл использовать асинхронный режим чтения?
То есть ты считываешь 10мб в асинхронном режиме,
а когда буффер проверки заканчивается, ждать данных уже не надо.

 

не понял че-то, можно малость подробней, почему не надо ждать? кэш?

 

1. Двордами сравнивать, если где-то не ноль, то уже по байтам.
2. Без кеширования.
3. Через порт завершения.

 

насчет 1 я уже думал, завтра сравню, насколько быстрей выходит. А вот "3" -че за порт такой?

 

Рихтер, глава 2.

 

Про IoCompletion читай

 

еще интересно,что произойдет,если попытаться отобразить файл в память... как только до компа доберусь -обязательно попробую

 

(c) MSDN

 

да-да,так оно и есть. пробовал двордами сравнивать -прироста скорости не заметил:-(

 

Потому что, как и с байтами скорость определяется загрузкой данных с диска,
а это - ацки медленно, потому и не очень заметно

 

Асинхронный режим - это когда мы делаем "заказ" на данные, но управление возвращается после регистрации заказа, а не после его выполнения. Извещение о завершении приходит в виде какого-нибудь сообщения или сигнала.
Например, есть у нас 2 буффера. Мы каждый раз заказываем данные в один буффер, а в другом они уже должны лежать.

Код (Text):

1. buffer[2];
2. i=0;
3. read_buffer_async(message, buffer[i]);
4. while(all_data_to_read){
5.   wait_for_message(message);
6.   //are able for using buffer[i]
7.   read_buffer_async(message, buffer[i xor 1]);
8.   //ordered data to buffer[i xor 1];
9.   //
10.   //...using data in buffer[i]
11.   //
12.   i = i xor 1;
13. }

Смысл в том, что пока мы используем заполненный буффер, система в это время заполняет другой.

 

Двумя тут врятли обойтись - какой размер не бери, мы всё равно первый обработаем быстрее,
чем подгрузиться второй, а делать больше буферов... хз

 

Да понятно, я ж не конечное решение представил. Можно считать это псевдокодом псевдорешения

 

делать больше буферов толку 0, всеравно первый освободиться раньше чем второй будет готов к использованию.
т.е. след после второго буфера целесообразнее считывать первый
можно баловаться с их размерами... кратность например привязать правильную... и т.д.
и читать ессно в отдельном потоке.

 

alexandr_k, верно отметил насчёт кратности в принцепи буфер может быть один и обрабатываться двумя потоками: один поток считывает в буфер, а другой сравнивает. ну, и, конечно, крит. секции юзать надо, чтобы коллизии не было. лучшего придумать уже нельзя.