GCP Pub/Sub Подписка/подписчики не дают ожидаемой производительности ⇐ C#

[Anonymous]

Я использую несколько подписчиков GCP, которые подключены к подписке GCP, и я пробовал все, но абоненты просто не следят за входящими данными. Моя последняя конфигурация заключается в следующем: < /p>

25 V1CPU /1GB AWS экземпляры с помощью моего подписчика C# GCP. Я запускаю эти экземпляры с помощью службы упругих контейнеров.public static async Task CreateSubscription(string projectId, string topic, SubscriptionName subscriptionId)
{
SubscriberServiceApiClient subscriberService = await SubscriberServiceApiClient.CreateAsync();
TopicName topicName = TopicName.FromProjectTopic(projectId, topic);
try
{
//Please read common subscription properties: https://cloud.google.com/pubsub/docs/su ... properties
var subscriptionRequest = new Subscription
{
SubscriptionName = subscriptionId,
TopicAsTopicName = topicName,
//How long are unacked messages stored. Default = 7 days, minimum = 10 minutes.
MessageRetentionDuration = new Duration
{
Seconds = (long)TimeSpan.FromMinutes(10).TotalSeconds
},
//How long do Subscriptions survive without any activity. Default value = 31 days, minimum value = 1 day
ExpirationPolicy = new ExpirationPolicy
{
Ttl = Duration.FromTimeSpan(TimeSpan.FromDays(1))
},
AckDeadlineSeconds = 600,
EnableExactlyOnceDelivery = false
};
await subscriberService.CreateSubscriptionAsync(subscriptionRequest);
}
catch (RpcException e) when (e.Status.StatusCode == StatusCode.AlreadyExists)
{
Log.Information(e, "Subscription already exists!");
}

return subscriberService;
}
< /code>
Это мои настройки подписчика: < /p>
public static async Task CreateSubscriber(SubscriptionName subscriptionId)
{
SubscriberClient subscriber = await new SubscriberClientBuilder
{
SubscriptionName = subscriptionId,
Settings = new SubscriberClient.Settings
{
AckDeadline = TimeSpan.FromSeconds(600),
AckExtensionWindow = TimeSpan.FromSeconds(590),
FlowControlSettings = new FlowControlSettings(maxOutstandingElementCount: 5000, maxOutstandingByteCount: 5000 * 700)
}

}.BuildAsync();
return subscriber;
}
< /code>
Вот где я регистрирую обратный вызов: < /p>
await CreateSubscription(cmeProjectId, topic, subscriptionId);
var subscriber = await CreateSubscriber(subscriptionId);
await subscriber.StartAsync((msg, cancellationToken) =>
{
/*var payload = msg.Data.ToStringUtf8();
//Publish to a Kafka topic async
kafkaProducer.PublishMessageAsync(payload);
*/
return Task.FromResult(SubscriberClient.Reply.Ack);
});
< /code>
На данный момент я прокомментировал публикацию в Кафку, так как я хочу устранить устранение настроек GCP. Пропускная пропускная способность моей сети, начиная с метрик AWS ECS, в среднем составляет около 600-700 кбит /с и превышает максимум 2 Мбит /с для всех 25 экземпляров. Посмотрите на любое увеличение пропускной способности или снижения задержки. Я также попробовал настройки по умолчанию, но продолжаю получать такую ​​же проблему. Любая помощь будет высоко оценена. Большое спасибо!

Подробнее здесь: https://stackoverflow.com/questions/796 ... erformance