У меня есть система распределенной высокой масштаба, которая загружает множество больших файлов .csv и индексирует данные каждый день.
, скажем, наш файл (file.csv):
col1 col2 col3
user1112 val13
user21 val22 al23 < /p>
Затем мы считываем эту строку. user11 или user12 находится в этом файле. Например:
index table -
user1111 -> 1120-2130 (смещение байтов)
user12 -> 2130-3545 (смещение байтов) < /p>
Когда кто -то говорит, удалите данные для пользователя11, мы обращаемся к этой таблице, загружаем и открываем файл, Delete the Byte Offset в файле. Обратите внимание, что это смещение байта имеет всю строку. < /P>
Как я могу разработать систему для обработки файлов паркетов? Чтобы получить целый ряд, скажем, 10 столбцов, придется ли мне сделать 10 звонков? Затем, сформируйте всю строку, вычислите байты, а затем сохраните их в таблице? манера?
Текущая система - это фоновое задание в c#. < /p>
Подробнее здесь: https://stackoverflow.com/questions/701 ... e-row-wise
