Я пытался запустить локальную LLM, используя библиотеку C# и Llamasharp, но код всегда останавливается на
await foreach (var text1 in executor.InferAsync(input))< /code>
xeptions без ошибок. Код выхода - 0x0. Программа просто останавливается без причины. LLM работает, если я запускаю его в LM Studio < /p>
Есть код. Пожалуйста, помогите < /p>
var @params = new ModelParams(ModelPath);
var model = LLamaWeights.LoadFromFile(@params);
var context = model.CreateContext(@params);
var executor = new InteractiveExecutor(context);
Console.WriteLine("Model loaded! Write exit to stop the program");
while (true)
{
Console.ForegroundColor = ConsoleColor.Green;
Console.Write("\nYou: ");
Console.ResetColor();
var input = Console.ReadLine();
if (input == "exit") break;
Console.ForegroundColor = ConsoleColor.Blue;
Console.Write("Model: ");
Console.ResetColor();
await foreach (var text1 in executor.InferAsync(input))
{
Console.Write(text1);
}
}
Подробнее здесь: https://stackoverflow.com/questions/796 ... e-requests
