Получите дублирующую строку и остальную часть файла [Большой файл 50G] ⇐ Python

[Anonymous]

У меня большой файл 50 ГБ, и я хочу получить дубликат и остальную часть файла. Я использую две команды, чтобы получить результат, и это занимает много времени.

Код: Выделить всё

sort file.tsv | uniq -d > duplicateList.tsv
sort file.tsv | uniq -u > clean_List.tsv

Как вы можете видеть, процесс повторяется дважды, я хочу создать только одну команду и вернуть оба результата без использования дублирующей команды.
Примечание: я могу использовать команду Linux или скрипт Python>

Подробнее здесь: https://stackoverflow.com/questions/696 ... g-file-50g