Мягкие прерывания по-прежнему концентрируются на одном ядре после включения RPS (управление приемом пакетов) и RFS (упра

Мягкие прерывания по-прежнему концентрируются на одном ядре после включения RPS (управление приемом пакетов) и RFS (упра ⇐ Linux

1 сообщение • Страница 1 из 1

Anonymous

Мягкие прерывания по-прежнему концентрируются на одном ядре после включения RPS (управление приемом пакетов) и RFS (упра

Цитата

Сообщение Anonymous » 17 янв 2025, 11:38

Я провожу тест производительности HTTP на своей виртуальной машине Centos7 (4 ядра, 2 ГБ). Я использую wrk для генерации HTTP-трафика на этой виртуальной машине.
Во время тестирования я обнаружил, что мягкие прерывания сосредоточены на одном одном ядре, поэтому я пытаюсь включить RPS и RFS для балансировки нагрузки мягких прерываний. Но это не работает:

Настройка RPS и RFS:

Код: Выделить всё

[root@centos7 ~]# cat /sys/class/net/ens33/queues/rx-0/rps_cpus
00000000,00000000,00000000,0000000f
[root@centos7 ~]#
[root@centos7 ~]# cat /proc/sys/net/core/rps_sock_flow_entries
32768
[root@centos7 ~]# cat /sys/class/net/ens33/queues/rx-0/rps_flow_cnt
32768

Интерфейс этой виртуальной машины 1-канальный:

Код: Выделить всё

[root@centos7 ~]# ls /sys/class/net/ens33/queues/
rx-0  tx-0

/proc/interrupts

Код: Выделить всё

[root@centos7 tx-0]# cat /proc/interrupts
CPU0       CPU1       CPU2       CPU3
0:         29          0          0          0   IO-APIC-edge      timer
1:         10          0          0          0   IO-APIC-edge      i8042
8:          1          0          0          0   IO-APIC-edge      rtc0
9:          0          0          0          0   IO-APIC-fasteoi   acpi
12:         16          0          0          0   IO-APIC-edge      i8042
14:          0          0          0          0   IO-APIC-edge      ata_piix
15:      23445          0          0          0   IO-APIC-edge      ata_piix
16:         65          0          0      80674   IO-APIC-fasteoi   vmwgfx, snd_ens1371
17:       5142          0       5416          0   IO-APIC-fasteoi   ehci_hcd:usb1, ioc0
18:         66          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb2
19:  102022625          0          0          0   IO-APIC-fasteoi   ens33
24:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
25:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
26:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
27:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
28:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
29:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
30:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
31:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
32:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
33:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
34:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
35:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
36:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
37:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
38:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
39:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
40:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
41:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
42:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
43:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
44:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
45:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
46:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
47:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
48:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
49:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
50:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
51:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
52:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
53:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
54:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
55:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
56:          0          0          0          0   PCI-MSI-edge      vmw_vmci
57:          0          0          0          0   PCI-MSI-edge      vmw_vmci
NMI:        528        218        219        220   Non-maskable interrupts
LOC:    9444663    5308573    5389921    5360944   Local timer interrupts
SPU:           0          0          0          0   Spurious interrupts
PMI:        528        218        219        220   Performance monitoring interrupts
IWI:     109888      27735      23166      26818   IRQ work interrupts
RTR:          0          0          0          0   APIC ICR read retries
RES:    4561097   25705864   24714212   24446028   Rescheduling interrupts
CAL:       3678   45026606   45117228   45248324   Function call interrupts
TLB:       2829       2656       2830       2771   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
DFR:          0          0          0          0   Deferred Error APIC interrupts
MCE:          0          0          0          0   Machine check exceptions
MCP:         80         80         80         80   Machine check polls
ERR:          0
MIS:          0
PIN:          0          0          0          0   Posted-interrupt notification event
NPI:          0          0          0          0   Nested posted-interrupt event
PIW:          0          0          0          0   Posted-interrupt wakeup event

HTTP-трафик:
HTTP-трафик представляет собой просто GET 64 КБ HTML с 10 потоками и 100 одновременными соединениями с включенной поддержкой активности.

Код: Выделить всё

[root@centos7 ~]# sar -n DEV 2 2
Linux 3.10.0-1160.el7.x86_64 (centos7)  01/17/2025      _x86_64_        (4 CPU)

04:28:00 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
04:28:02 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00
04:28:02 PM     ens33 359934.00  26815.00 520809.18   1884.65      0.00      0.00      0.00

04:28:02 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
04:28:04 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00
04:28:04 PM     ens33 365623.00  27299.50 528957.58   1917.63      0.00      0.00      0.00

Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
Average:           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:        ens33 362778.50  27057.25 524883.38   1901.14      0.00      0.00      0.00

Другая информация:

Сначала служба irqbalance включена, но не работает. помогите, поэтому я сначала останавливаю это.
Гипервизор — это рабочая станция vmware 17.5.0 на Windows 12.
ЦП: AMD Ryzen 5 7640H с Radeon (ТМ) Графика 760M

Я хочу устранить узкое место, вызванное мягкими прерываниями, чтобы wrk мог использовать производительность всех четырех ядер. Что мне делать?

Подробнее здесь: https://stackoverflow.com/questions/793 ... g-rps-rece

1737103101

Anonymous

Я провожу тест производительности HTTP на своей виртуальной машине Centos7 (4 ядра, 2 ГБ). Я использую wrk для генерации HTTP-трафика на этой виртуальной машине.
Во время тестирования я обнаружил, что мягкие прерывания сосредоточены на одном одном ядре, поэтому я пытаюсь включить RPS и RFS для балансировки нагрузки мягких прерываний.  Но это не работает:
[img]https://i.sstatic.net/Z4bOBTnm.png[/img]

[b]Настройка RPS и RFS:[/b]
[code][root@centos7 ~]# cat /sys/class/net/ens33/queues/rx-0/rps_cpus
00000000,00000000,00000000,0000000f
[root@centos7 ~]#
[root@centos7 ~]# cat /proc/sys/net/core/rps_sock_flow_entries
32768
[root@centos7 ~]# cat /sys/class/net/ens33/queues/rx-0/rps_flow_cnt
32768
[/code]
Интерфейс этой виртуальной машины 1-канальный:
[code][root@centos7 ~]# ls /sys/class/net/ens33/queues/
rx-0  tx-0
[/code]
[b]/proc/interrupts[/b]
[code][root@centos7 tx-0]# cat /proc/interrupts
CPU0       CPU1       CPU2       CPU3
0:         29          0          0          0   IO-APIC-edge      timer
1:         10          0          0          0   IO-APIC-edge      i8042
8:          1          0          0          0   IO-APIC-edge      rtc0
9:          0          0          0          0   IO-APIC-fasteoi   acpi
12:         16          0          0          0   IO-APIC-edge      i8042
14:          0          0          0          0   IO-APIC-edge      ata_piix
15:      23445          0          0          0   IO-APIC-edge      ata_piix
16:         65          0          0      80674   IO-APIC-fasteoi   vmwgfx, snd_ens1371
17:       5142          0       5416          0   IO-APIC-fasteoi   ehci_hcd:usb1, ioc0
18:         66          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb2
19:  102022625          0          0          0   IO-APIC-fasteoi   ens33
24:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
25:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
26:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
27:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
28:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
29:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
30:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
31:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
32:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
33:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
34:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
35:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
36:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
37:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
38:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
39:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
40:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
41:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
42:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
43:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
44:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
45:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
46:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
47:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
48:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
49:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
50:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
51:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
52:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
53:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
54:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
55:          0          0          0          0   PCI-MSI-edge      PCIe PME, pciehp
56:          0          0          0          0   PCI-MSI-edge      vmw_vmci
57:          0          0          0          0   PCI-MSI-edge      vmw_vmci
NMI:        528        218        219        220   Non-maskable interrupts
LOC:    9444663    5308573    5389921    5360944   Local timer interrupts
SPU:           0          0          0          0   Spurious interrupts
PMI:        528        218        219        220   Performance monitoring interrupts
IWI:     109888      27735      23166      26818   IRQ work interrupts
RTR:          0          0          0          0   APIC ICR read retries
RES:    4561097   25705864   24714212   24446028   Rescheduling interrupts
CAL:       3678   45026606   45117228   45248324   Function call interrupts
TLB:       2829       2656       2830       2771   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
DFR:          0          0          0          0   Deferred Error APIC interrupts
MCE:          0          0          0          0   Machine check exceptions
MCP:         80         80         80         80   Machine check polls
ERR:          0
MIS:          0
PIN:          0          0          0          0   Posted-interrupt notification event
NPI:          0          0          0          0   Nested posted-interrupt event
PIW:          0          0          0          0   Posted-interrupt wakeup event
[/code]
[b]HTTP-трафик:[/b]
HTTP-трафик представляет собой просто GET 64 КБ HTML с 10 потоками и 100 одновременными соединениями с включенной поддержкой активности.
[code][root@centos7 ~]# sar -n DEV 2 2
Linux 3.10.0-1160.el7.x86_64 (centos7)  01/17/2025      _x86_64_        (4 CPU)

04:28:00 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
04:28:02 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00
04:28:02 PM     ens33 359934.00  26815.00 520809.18   1884.65      0.00      0.00      0.00

04:28:02 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
04:28:04 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00
04:28:04 PM     ens33 365623.00  27299.50 528957.58   1917.63      0.00      0.00      0.00

Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
Average:           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:        ens33 362778.50  27057.25 524883.38   1901.14      0.00      0.00      0.00
[/code]
[b]Другая информация:[/b]
[list]
[*]Сначала служба irqbalance включена, но не работает. помогите, поэтому я сначала останавливаю это.
[*]Гипервизор — это рабочая станция vmware 17.5.0 на Windows 12.
[*]ЦП: AMD Ryzen 5 7640H с Radeon (ТМ) Графика 760M
[/list]
Я хочу устранить узкое место, вызванное мягкими прерываниями, чтобы wrk мог использовать производительность всех четырех ядер. Что мне делать? 

Подробнее здесь: [url]https://stackoverflow.com/questions/79364120/soft-interrupts-are-still-concentrated-on-a-single-core-after-enabling-rps-rece[/url]