ML.Net: System.OutOfMemoryException: «Выброшено исключение типа System.OutOfMemoryException». на небольшом наборе данных ⇐ C#

[Гость]

У меня есть CSV размером 60 МБ с 700 000 строк, по моему мнению, это не так уж и много. Моя машина имеет 32 ГБ памяти и не использует даже 20% памяти, когда я смотрю производительность. Я пытался собрать выпускную сборку на 64-битной версии, но все равно столкнулся с исключением нехватки памяти. Подскажите пожалуйста, что я делаю не так?

Нужно ли мне преобразовывать данные и сохранять их перед обучением, чтобы преобразования не выполнялись? В конце концов, я хочу обучать гораздо большие наборы данных, наверняка ML.Net сможет это сделать? Возможно, мне стоит просто перейти на Python.

Я использую .Net 6.0 и Microsoft.ML 3.0.1

MLContext _mlContext; PredictionEngine _predictionEngine; ITransformer _trainedModel; IDataView _trainingDataView; _mlContext = новый MLContext() { Гпудевицеид = 0, ФоллбакТоЦпу = ложь, }; _trainingDataView = ЗагрузитьДанныеИзCSV(); TrainTestData dataSplit = _mlContext.Data.TrainTestSplit(_trainingDataView, testFraction: 0.2); IDataView trainData = dataSplit.TrainSet; IDataView testData = dataSplit.TestSet; конвейер var = _mlContext.Transforms.Conversion.MapValueToKey(inputColumnName: "CategoryName", outputColumnName: "Label") .Append(_mlContext.Transforms.Text.FeaturizeText("Функции", "ProductName")); var TrainingPipeline = Pipeline.Append(_mlContext.MulticlassClassification.Trainers.SdcaMaximumEntropy("Label", "Features")) .Append(_mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel")); _trainedModel = TrainingPipeline.Fit(trainData); IDataView TransformTest = _trainedModel.Transform(testData); Код выдает приведенное ниже исключение нехватки памяти через несколько секунд в строке trainingPipeline.Fit(trainData)

System.OutOfMemoryException HResult=0x8007000E Сообщение = Возникло исключение типа «System.OutOfMemoryException». Источник=Microsoft.ML.Core Трассировки стека: в Microsoft.ML.Internal.Utilities.VBufferUtils.CreateDense[T](длина Int32) в Microsoft.ML.Trainers.SdcaTrainerBase`3.TrainCore(IChannel ch, данные RoleMappedData, предиктор LinearModelParameters, Int32 WeightSetCount) в Microsoft.ML.Trainers.StochasticTrainerBase`2.TrainModelCore (контекст TrainContext) в Microsoft.ML.Trainers.TrainerEstimatorBase`2.TrainTransformer(IDataView trainSet, IDataView validationSet, IPredictor initPredictor) в Microsoft.ML.Data.EstimatorChain`1.Fit (вход IDataView) в Program.$(String[] args) в C:\Ml.Product.2\Ml.Product.2\Program.cs:line 29 У меня просто такая модель:
публичный класс MlProduct { [LoadColumn(0)] [ИмяСтолбца("ИмяПродукта")] общественная строка ProductName {get; набор; } [LoadColumn(1)] [ИмяСтолбца("ИмяКатегории")] общественная строка CategoryName {get; набор; } } общедоступный класс MlProductPrediction { [ColumnName("PredictedLabel")] общедоступная строка ИмяКатегории; [ColumnName("PredictionScore")] публичный плавающий балл { get; набор; } }