Re: структура программы
Привет,
On Wed, Apr 12, 2006 at 01:20:32PM +0400, Dmitry E. Oboukhov wrote:
> тут такая задачка есть:
[...]
> 0. стартовые параметры:
> 0.1 имеем блок-буффер равный размеру выходного файла (N байт)
> 0.2 имеем процесс читающий устройство
>
> 1. читаем данные из устройства до заполнения буфера (N байт)
> 2. форкаемся
> 3. родитель переходит к п.1
> 4. дочка записывает данные в файл (БД)
> 5. дочка завершает работу
>
> у устройства выходные буферы небольшие, если не форкаться, то мы теряем
> данные на шаге 2.
> данные идут с разной скоростью, иногда скорость превышает скорость
> записи на диск (но интегральная скорость cущественно меньше), поэтому
> надежность системы обеспечена количеством ОЗУ (то есть ОЗУ надо выбрать
> столько чтобы в него помещались данные когда они идут большими дозами)
>
> вот теперь я думаю как оптимизировать алгоритм
>
> насколько я понимаю на шагах 2-3-4 система будет делать копирование данных
> в памяти, поскольку родитель начал уже использовать тот же блок который
> дочка пишет в БД/файл.
Как я понимаю, размер ОЗУ в твоем случае много больше размера одного блока?
Пусть родитель создаст кольцевой буфер, скажем, в те же 20 блоков (20*N
байт). Задача родителя будет писать непрерывно данные в этот буфер
(заворачивая к началу, когда буфер кончается) и форкать дочек при переходе
через N, 2*N, 3*N, и т.д. считанных байт. Количество copy-on-write должно
резко упасть (особенно если N кратно размеру страницы памяти).
>
> как можно избежать копирования? и вообще насколько [не]эффективной
> представляется данная структура алгоритма специалистам? если делать в
> каждом цикле запрос блока памяти у системы и возврат ее обратно то как
> будет выглядеть (фрагментирована) память у основного родителя через
> некоторое время работы? где об этом можно почитать?
Вот этого лучше не надо.
--
Станислав
Reply to: