Anndata.concat приводит к увеличению размера отдельных файлов в 4 раза, вызывая проблемы с памятью ⇐ Python

[Anonymous]

Я новичок в anndata и хотел бы знать, ожидается ли проблема, с которой я столкнулся.
У меня есть 28 файлов h5ad (Tabula Sapiens)(https:// figshare.com/articles/dataset/Tabula_Sapiens_v2/27921984), который я пытаюсь объединить в один файл h5ad, чтобы посчитать некоторую статистику.
Я использовал код ниже:
# Initialize an empty AnnData object
merged_adata = None
input_files = os.listdir("/full_data/ts_individual_data/}"
# Read and concatenate each file
for file in input_files:
print(f"Processing file: {file}")
adata = sc.read_h5ad(f"/full_data/ts_individual_data/{file}")
print(f"Read Done for {file}")

if merged_adata is None:
merged_adata = adata
else:
merged_adata = ad.concat([merged_adata, adata], axis=0, join='outer', merge='unique')

# Write the merged data to the output file in chunks
print(f"Writing merged data to {output_file}")
merged_adata.write_h5ad(output_file)
< /code>
Общий размер отдельной ткани H5Ads составляет 53 ГБ
, где в качестве размера комбинированного файла составляет 222 ГБ < /p>
Я проверил на наличие Дубликаты в слоях VAR и OBS: не было обнаружено дубликатов
Я сравнил экспрессированные значения для пары Cell_ID против одной ткани в комбинированном файле и отдельной ткани H5AD: оба значения совпадают. < /p>
Из -за этого я сталкиваюсь с проблемами памяти.
Что можно сделать, чтобы разрешить это?>

Подробнее здесь: https://stackoverflow.com/questions/793 ... g-memory-i