You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-15 - 07:58
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Mon Apr 15, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
94572254218,23sleep20-21swapper/22
111012249184,52sleep00-21swapper/00
108762238172,17sleep10-21swapper/11
1136399227221,4cyclictest13284-21munin-run3
109612227189,25sleep30-21swapper/33
1134799156150,3cyclictest0-21swapper/00
1069721550,4sleep31136399cyclictest3
1135899112107,3cyclictest13279-21cron2
113519910499,3cyclictest13303-21grep1
111822570,1sleep20-21swapper/22
7232550,2sleep30-21swapper/33
247522510,4sleep11135199cyclictest1
97832450,1sleep20-21swapper/22
97832450,1sleep20-21swapper/22
272442310,12sleep121-21ksoftirqd/11
1136399286,20cyclictest0-21swapper/33
282882260,3sleep335-21ksoftirqd/33
1136399249,2cyclictest111rcu_preempt3
11363992416,5cyclictest26761-21df3
11358992417,4cyclictest26782-21cpuspeed_turbos2
232652230,1sleep20-21swapper/22
1135899232,4cyclictest18103-21apt-get2
1135199230,5cyclictest0-21swapper/11
11347992317,4cyclictest9450-21perf0
11347992317,3cyclictest9-21ksoftirqd/00
181282220,1sleep10-21swapper/11
145912220,4sleep014597-21gltestperf0
11363992216,4cyclictest16512-21df3
1135899223,17cyclictest11816-21latency_hist2
11358992215,4cyclictest505-21dbus-daemon2
1135899221,18cyclictest27872-1kworker/2:2H2
66212210,1sleep30-21swapper/33
181062210,1sleep30-21swapper/33
11363992115,4cyclictest20586-21ls3
11363992114,4cyclictest19207-21cat3
11363992110,2cyclictest111rcu_preempt3
11363992110,2cyclictest111rcu_preempt3
1135899217,8cyclictest2082-21systemd-journal2
1135899212,17cyclictest27872-1kworker/2:2H2
11358992115,4cyclictest19770-21cron2
11358992114,5cyclictest16219-21hostname2
11358992114,4cyclictest21844-21munin-run2
1135899211,3cyclictest23841-21munin-run2
1135899211,18cyclictest10333-21gdbus2
1135899211,17cyclictest505-21dbus-daemon2
1135899211,17cyclictest20668-21cstates2
1135899210,5cyclictest7838-21cat2
1135899210,3cyclictest25982-21dpkg2
11351992116,3cyclictest28396-21/usr/sbin/munin1
11347992116,3cyclictest6010-21acpi0
11347992116,3cyclictest6010-21acpi0
11347992114,4cyclictest505-21dbus-daemon0
257182200,2sleep20-21swapper/22
11363992018,1cyclictest0-21swapper/33
11363992015,3cyclictest4705-21latency3
11363992015,3cyclictest4648-21if_err_enp3s03
11363992015,3cyclictest25470-21timerandwakeup3
11363992015,3cyclictest2012-21/usr/sbin/munin3
11363992015,3cyclictest1646-21acpi3
1136399201,4cyclictest35-21ksoftirqd/33
11363992014,4cyclictest24116-21apt-get3
11363992014,4cyclictest1856-21date3
11363992014,4cyclictest17918-21cat3
11358992015,3cyclictest8923-21ntp_offset2
11358992015,3cyclictest30228-21cpu2
11358992015,2cyclictest16091-21acpi2
11358992014,4cyclictest20750-21cut2
11358992014,4cyclictest10052-21ls2
11358992014,3cyclictest2461-21diskstats2
11358992014,3cyclictest13121-21threads2
11358992012,5cyclictest13982-21apt-get2
1135899201,17cyclictest23816-1kworker/2:2H2
1135899201,16cyclictest0-21swapper/22
1135899200,4cyclictest3692-21cron2
1135899200,3cyclictest27872-1kworker/2:2H2
1135899200,18cyclictest17931-21turbostat2
1135899200,18cyclictest13864-21cat2
11351992016,2cyclictest22063-21/usr/sbin/munin1
11351992016,2cyclictest1682-21aten2_r9power_c1
11351992015,3cyclictest3620-21seq1
11351992015,3cyclictest16736-21irqstats1
11351992015,3cyclictest1091-21seq1
11351992014,4cyclictest6591-21grep1
11351992014,4cyclictest5652-21seq1
11351992014,4cyclictest31745-21seq1
11351992014,4cyclictest22061-21sed1
11351992014,4cyclictest14876-21awk1
11351992014,4cyclictest11335-21unixbench_multi1
11351992011,5cyclictest26481-21apt-get1
1134799202,15cyclictest24185-21wc0
1134799201,7cyclictest505-21dbus-daemon0
11347992015,3cyclictest28695-21snmpd0
11347992015,3cyclictest28695-21snmpd0
11347992015,3cyclictest20530-21cat0
11347992014,4cyclictest505-21dbus-daemon0
11347992014,4cyclictest20746-21sed0
11347992014,4cyclictest13224-21sed0
189642190,3sleep01134799cyclictest0
11363991917,1cyclictest0-21swapper/33
11363991917,1cyclictest0-21swapper/33
11363991916,2cyclictest35-21ksoftirqd/33
11363991916,2cyclictest0-21swapper/33
11363991914,3cyclictest8591-21ls3
11363991914,3cyclictest785-21xargs3
11363991914,3cyclictest31698-21unixbench-2d3
11363991914,3cyclictest31300-21timerwakeupswit3
11363991914,3cyclictest29197-21ntpq3
11363991914,3cyclictest27679-21unixbench_multi3
11363991914,3cyclictest20900-21entropy3
11363991914,3cyclictest20519-21df3
11363991914,3cyclictest19143-21switchtime3
11363991914,3cyclictest18468-21apt3
11363991914,3cyclictest17297-21expr3
11363991914,3cyclictest14953-21uname3
11363991914,3cyclictest12470-21gltestperf3
11363991914,3cyclictest11015-21swap3
11363991913,4cyclictest31814-21sed3
11363991913,4cyclictest31260-21pluginstate3
11363991913,4cyclictest29519-21cat3
11363991913,3cyclictest12168-21aten2.4-expect3
1135899195,11cyclictest27668-21head2
1135899194,13cyclictest15340-21head2
1135899191,4cyclictest30468-21apt-get2
11358991914,3cyclictest3638-21cut2
11358991914,3cyclictest30766-21df2
11358991914,3cyclictest24596-21cpuspeed_turbos2
11358991913,4cyclictest14822-21cat2
11358991913,4cyclictest12577-21expr2
1135899190,4cyclictest9424-21cron2
1135899190,4cyclictest7754-21wc2
1135899190,3cyclictest5411-21munin-run2
1135899190,3cyclictest27872-1kworker/2:2H2
1135899190,3cyclictest27872-1kworker/2:2H2
11351991915,2cyclictest7953-21/usr/sbin/munin1
11351991914,3cyclictest8820-21sed1
11351991914,3cyclictest3984-21aten2.4-expect1
11351991914,3cyclictest3764-21sh1
11351991914,3cyclictest3553-21seq1
11351991914,3cyclictest32509-21aten2_r9power_c1
11351991914,3cyclictest31211-21wc1
11351991914,3cyclictest30497-21expr1
11351991914,3cyclictest30302-21sed1
11351991914,3cyclictest27742-21seq1
11351991914,3cyclictest2464-21sed1
11351991914,3cyclictest23175-21grep1
11351991914,3cyclictest21937-21seq1
11351991914,3cyclictest18249-21apt-config1
11351991913,4cyclictest9120-21cat1
11351991913,4cyclictest7581-21seq1
11351991913,4cyclictest29726-21seq1
11351991913,4cyclictest25760-21seq1
11351991913,4cyclictest19423-21seq1
11351991913,4cyclictest18988-21ntpq1
11351991913,3cyclictest12631-21cat1
11347991916,2cyclictest0-21swapper/00
11347991915,2cyclictest20453-21/usr/sbin/munin0
11347991915,2cyclictest18452-21/usr/sbin/munin0
11347991914,3cyclictest6080-21aten2_r9power_e0
11347991914,3cyclictest5098-21timerandwakeup0
11347991914,3cyclictest4023-21/usr/sbin/munin0
11347991914,3cyclictest29480-21sed0
11347991914,3cyclictest27523-21sed0
11347991914,3cyclictest16090-21/usr/sbin/munin0
11347991913,4cyclictest9197-21cat0
11347991913,4cyclictest32708-21cat0
11347991913,4cyclictest19702-21seq0
11347991913,4cyclictest15164-21sed0
11347991913,3cyclictest11090-21xargs0
11347991912,5cyclictest15774-21perf0
1136399189,5cyclictest24114-21apt-get3
11363991816,1cyclictest0-21swapper/33
11363991816,1cyclictest0-21swapper/33
11363991816,1cyclictest0-21swapper/33
11363991814,2cyclictest15157-21timerwakeupswit3
11363991813,3cyclictest6678-21load3
11363991813,3cyclictest27221-21missed_timers3
11363991813,3cyclictest26722-21interrupts3
11363991813,3cyclictest14742-21missed_timers3
11363991813,3cyclictest10424-21expr3
11363991811,4cyclictest2082-21systemd-journal3
11363991811,4cyclictest10065-21cat3
11363991810,2cyclictest111rcu_preempt3
11358991816,1cyclictest0-21swapper/22
11358991813,3cyclictest6727-21latency2
11358991813,3cyclictest6727-21latency2
11358991813,3cyclictest3797-21latency_hist2
11358991813,3cyclictest28936-21grep2
11358991813,3cyclictest28457-21/usr/sbin/munin2
11358991813,3cyclictest20218-21munin-run2
11358991813,3cyclictest1166-21expr2
11358991812,4cyclictest27070-21sed2
11358991812,4cyclictest18649-21cat2
1135899181,1cyclictest0-21swapper/22
1135899181,15cyclictest7971-21apt-get2
11358991811,4cyclictest4128-21aten2.4-expect2
1135899180,6cyclictest0-21swapper/22
1135899180,16cyclictest0-21swapper/22
1135899180,16cyclictest0-21swapper/22
1135899180,16cyclictest0-21swapper/22
11351991814,2cyclictest9947-21/usr/sbin/munin1
11351991814,2cyclictest4097-21aten2.4-expect1
11351991814,2cyclictest28332-21/usr/sbin/munin1
11351991814,2cyclictest14044-21/usr/sbin/munin1
11351991814,2cyclictest10027-21/usr/sbin/munin1
11351991813,3cyclictest665-21runrttasks1
11351991813,3cyclictest32470-21/usr/sbin/munin1
11351991813,3cyclictest23598-21seq1
11351991813,3cyclictest16022-21/usr/sbin/munin1
11351991813,3cyclictest13728-21cron1
11351991813,3cyclictest12091-21aten2_r9power_c1
11351991813,3cyclictest1029-21cat1
11351991812,4cyclictest8909-21ntpq1
11351991812,4cyclictest8909-21ntpq1
11351991812,4cyclictest26243-21cut1
11351991812,4cyclictest21000-21pluginstate1
11351991812,4cyclictest18618-21expr1
11351991812,4cyclictest12015-21http1
11351991812,3cyclictest23245-21awk1
11351991812,3cyclictest20534-21aten2.4-expect1
11351991810,6cyclictest25226-21cut1
1135199180,2cyclictest28273-21date1
1135199180,16cyclictest0-21swapper/11
11347991816,1cyclictest0-21swapper/00
11347991816,1cyclictest0-21swapper/00
11347991816,1cyclictest0-21swapper/00
11347991815,2cyclictest0-21swapper/00
11347991814,2cyclictest665-21runrttasks0
11347991814,2cyclictest32471-21/usr/sbin/munin0
11347991814,2cyclictest28457-21/usr/sbin/munin0
11347991814,2cyclictest26081-21/usr/sbin/munin0
11347991813,3cyclictest6534-21ntp_states0
11347991813,3cyclictest28695-21snmpd0
11347991813,3cyclictest22141-21aten2_r9power_e0
11347991813,3cyclictest20227-21aten2.4-expect0
11347991813,3cyclictest14656-21sed0
11347991813,3cyclictest13962-21/usr/sbin/munin0
11347991813,3cyclictest12280-21cat0
11347991813,3cyclictest1008-21wc0
11347991812,4cyclictest9929-21sed0
11347991812,4cyclictest9929-21sed0
11347991811,4cyclictest505-21dbus-daemon0
11347991810,5cyclictest505-21dbus-daemon0
11363991715,1cyclictest0-21swapper/33
11363991715,1cyclictest0-21swapper/33
11363991713,2cyclictest13167-21timerwakeupswit3
11363991712,3cyclictest6083-21entropy3
1136399170,16cyclictest0-21swapper/33
1136399170,16cyclictest0-21swapper/33
1135899172,13cyclictest5703-21cron2
11358991712,3cyclictest20498-21hostname2
11351991713,2cyclictest6071-21aten2.4-expect1
11351991712,3cyclictest7699-21seq1
11351991712,3cyclictest7699-21seq1
11351991712,3cyclictest14798-21cut1
11351991712,3cyclictest14676-21cat1
11351991712,3cyclictest14405-21expr1
1134799174,7cyclictest22468-21apt-get0
11347991715,1cyclictest0-21swapper/00
11347991713,2cyclictest2371-21df0
11347991712,3cyclictest9-21ksoftirqd/00
11347991712,3cyclictest8597-21idleruntime0
11347991712,3cyclictest665-21runrttasks0
11347991712,3cyclictest6487-21basename0
11347991712,3cyclictest30450-21/usr/sbin/munin0
11347991712,3cyclictest13768-21acpi0
11347991712,3cyclictest12461-21grep0
11347991712,3cyclictest10027-21/usr/sbin/munin0
11347991711,4cyclictest2345-21grep0
11347991710,4cyclictest24655-21ls0
1134799170,15cyclictest0-21swapper/00
11363991614,1cyclictest0-21swapper/33
11363991612,2cyclictest5329-21vmstat3
11363991612,2cyclictest14213-21aten2_r9power_p3
11347991611,3cyclictest32471-21acpi0
11347991611,3cyclictest25388-21sed0
11347991510,3cyclictest30582-21gltestperf0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional