You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-28 - 19:49
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Tue Oct 28, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
154092300269,18sleep10-21swapper/11
1585999287282,3cyclictest22478-21apt-get0
1587199271267,2cyclictest0-21swapper/33
154942265205,48sleep30-21swapper/33
156492245177,54sleep00-21swapper/00
155892240175,46sleep20-21swapper/22
1586399238231,4cyclictest22481-21munin-run1
1586799234229,3cyclictest0-21swapper/22
126032550,1sleep20-21swapper/22
126032550,1sleep20-21swapper/22
220292540,4sleep00-21swapper/00
13702430,2sleep20-21swapper/22
48662390,2sleep00-21swapper/00
184552390,1sleep00-21swapper/00
16482370,1sleep10-21swapper/11
15867993412,19cyclictest9262-21cat2
1586799340,32cyclictest19252-21kworker/2:22
36772290,2sleep20-21swapper/22
52812280,1sleep30-21swapper/33
15867992513,10cyclictest28166-21cat2
1586799245,16cyclictest25318-21sendmail-mta2
1586799244,17cyclictest0-21swapper/22
15859992416,5cyclictest31388-21idleruntime-cro0
8112230,3sleep20-21swapper/22
183382230,2sleep318345-21gltestperf3
15871992316,4cyclictest17098-21tail3
15871992312,6cyclictest2629-21basename3
1586799231,3cyclictest4092-21munin-run2
1586799231,18cyclictest16489-21apt-get2
15863992316,4cyclictest12183-21sh1
15863992312,7cyclictest28377-21grep1
15859992315,5cyclictest505-21dbus-daemon0
15871992215,4cyclictest30453-21grep3
1586799223,17cyclictest11322-21cat2
15867992217,3cyclictest6125-21sendmail2
15867992215,5cyclictest2515-21sh2
1586799221,4cyclictest23288-1kworker/2:1H2
1586799221,3cyclictest2997-21munin-run2
1586799221,3cyclictest19571-1kworker/2:2H2
1586799221,3cyclictest18686-21sendmail-mta2
1586799220,19cyclictest25749-21sendmail-mta2
1586399222,17cyclictest1332-21gltestperf1
15863992213,5cyclictest505-21dbus-daemon1
15859992216,3cyclictest18250-21cron0
15859992213,6cyclictest13153-21cron0
15859992213,6cyclictest13153-21cron0
15859992211,10cyclictest9-21ksoftirqd/00
262602210,1sleep10-21swapper/11
1587199214,10cyclictest30021-21apt-get3
1587199214,10cyclictest30021-21apt-get3
15871992116,3cyclictest26451-21open_inodes3
15871992115,4cyclictest2511-21ntp_states3
15871992114,4cyclictest505-21dbus-daemon3
15871992114,4cyclictest13066-21cron3
1586799215,6cyclictest0-21swapper/22
1586799215,14cyclictest17166-21latency_hist2
1586799212,17cyclictest15119-21latency_hist2
15867992116,3cyclictest965-21munin-run2
15867992115,3cyclictest29105-21timerandwakeup2
15867992111,8cyclictest3235-21/usr/sbin/munin2
1586799211,17cyclictest23001-21munin-run2
1586799210,6cyclictest26379-21munin-run2
1586799210,4cyclictest1427-21sed2
1586399213,10cyclictest23280-21turbostat.cron1
1586399212,16cyclictest11800-21grep1
15863992119,1cyclictest0-21swapper/11
1585999212,15cyclictest11059-21ls0
1585999212,11cyclictest4354-21taskset0
15859992115,4cyclictest5740-21seq0
15859992115,4cyclictest31229-21/usr/sbin/munin0
15859992115,3cyclictest15071-21ls0
15859992114,5cyclictest20800-21expr0
15859992114,4cyclictest505-21dbus-daemon0
15859992114,4cyclictest5015-21cron0
15859992114,4cyclictest17179-21sh0
63392200,1sleep10-21swapper/11
242212200,2sleep00-21swapper/00
1587199205,9cyclictest23923-21apt-get3
1587199204,9cyclictest23523-21apt-get3
1587199204,9cyclictest2331-21apt-get3
15871992015,3cyclictest985-21uptime3
15871992015,3cyclictest27481-21ntp_kernel_err3
15871992015,3cyclictest26568-21if_err_enp2s03
15871992015,3cyclictest25844-21timerwakeupswit3
15871992015,3cyclictest1699-21vmstat3
15871992014,4cyclictest5519-21wc3
15871992014,3cyclictest19768-21if_enp2s03
1586799208,3cyclictest16665-21kernelversion2
1586799207,11cyclictest0-21swapper/22
1586799204,3cyclictest28-21ksoftirqd/22
15867992015,3cyclictest7973-21kernelversion2
15867992015,3cyclictest12423-21cstates2
15867992015,3cyclictest12423-21cstates2
15867992014,4cyclictest30406-21expr2
15867992014,4cyclictest30406-21expr2
15867992014,3cyclictest32482-21munin-run2
15867992014,3cyclictest29544-21expr2
15867992014,3cyclictest29544-21expr2
15867992013,4cyclictest4354-21latency2
15867992013,4cyclictest28522-21date2
1586799201,17cyclictest7948-21rs:main2
1586799201,17cyclictest23267-21latency_hist2
1586799201,16cyclictest6652-21cut2
1586799200,2cyclictest21643-21perf2
1586799200,18cyclictest4145-1kworker/2:2H2
1586799200,18cyclictest30431-21munin-run2
1586799200,18cyclictest0-21swapper/22
15863992015,3cyclictest22873-21ps1
15863992015,3cyclictest22061-21seq1
15863992015,3cyclictest16219-21sh1
15863992015,3cyclictest14891-21seq1
15863992015,3cyclictest14648-21aten2_r9power_v1
15863992014,4cyclictest710-21seq1
15863992014,4cyclictest20435-21cat1
15863992013,5cyclictest9639-21expr1
15863992013,4cyclictest31588-21expr1
1586399201,16cyclictest1498-21tr1
1586399200,17cyclictest19614-21basename1
1585999208,10cyclictest9-21ksoftirqd/00
15859992017,2cyclictest0-21swapper/00
15859992015,3cyclictest7831-21seq0
15859992015,3cyclictest26311-21seq0
15859992015,3cyclictest1611-21/usr/sbin/munin0
15859992014,4cyclictest665-21runrttasks0
15859992014,4cyclictest6005-21sed0
15859992014,4cyclictest31091-21sed0
15859992014,4cyclictest31091-21sed0
15859992014,4cyclictest30139-21seq0
15859992014,4cyclictest24445-21seq0
15859992014,4cyclictest2288-21seq0
15859992014,3cyclictest13340-21acpi0
15859992013,4cyclictest9416-21seq0
1585999201,16cyclictest12915-21head0
1585999201,16cyclictest12915-21head0
1585999201,16cyclictest0-21swapper/00
1585999200,19cyclictest0-21swapper/00
112672200,1sleep00-21swapper/00
228642190,2sleep10-21swapper/11
1587199193,9cyclictest6943-21apt-get3
15871991914,3cyclictest8288-21sed3
15871991914,3cyclictest6504-21needreboot3
15871991914,3cyclictest12267-21cpu3
15871991914,3cyclictest12267-21cpu3
15871991913,4cyclictest12931-21grep3
15871991913,4cyclictest10170-21df3
15871991913,3cyclictest9217-21latency_hist3
15867991915,2cyclictest29602-21/usr/sbin/munin2
15867991914,3cyclictest26838-21cat2
15867991914,3cyclictest22946-21cat2
15867991914,3cyclictest21665-21ls2
15867991914,3cyclictest19849-21kernelversion2
15867991914,3cyclictest19058-21basename2
15867991914,3cyclictest11850-21basename2
1586799191,3cyclictest14350-21wc2
15867991913,4cyclictest5708-21cat2
15867991913,4cyclictest10196-21sh2
15867991913,3cyclictest28581-21cat2
15867991913,3cyclictest26835-21munin-run2
1586799191,2cyclictest23288-1kworker/2:1H2
1586799190,3cyclictest6347-1kworker/2:2H2
1586799190,17cyclictest11530-21munin-run2
15863991916,2cyclictest0-21swapper/11
15863991914,3cyclictest9953-21cat1
15863991914,3cyclictest7367-21seq1
15863991914,3cyclictest30713-21seq1
15863991914,3cyclictest30713-21seq1
15863991914,3cyclictest27391-21seq1
15863991914,3cyclictest23905-21/usr/sbin/munin1
15863991914,3cyclictest19894-21awk1
15863991914,3cyclictest19629-21df1
15863991914,3cyclictest17093-21cat1
15863991914,3cyclictest13547-21seq1
15863991914,3cyclictest13547-21seq1
15863991913,4cyclictest3554-21sed1
15863991913,4cyclictest20139-21seq1
15863991913,4cyclictest17329-21grep1
15863991912,4cyclictest505-21dbus-daemon1
15863991912,4cyclictest5016-21cron1
15863991912,4cyclictest3423-21basename1
1585999197,10cyclictest9-21ksoftirqd/00
1585999191,6cyclictest0-21swapper/00
15859991914,3cyclictest9097-21latency0
15859991914,3cyclictest30812-21sh0
15859991914,3cyclictest2715-21expr0
15859991914,3cyclictest13929-21gltestperf0
15859991914,3cyclictest11607-21gpgv0
15859991912,5cyclictest10333-21gdbus0
15859991912,4cyclictest963-21latency_hist0
15859991912,4cyclictest28546-21pmu-power0
15859991912,4cyclictest18942-21seq0
1587199184,7cyclictest21898-21apt-get3
1587199183,9cyclictest27574-21apt-get3
1587199183,8cyclictest31642-21apt-get3
1587199183,8cyclictest1229-21apt-get3
15871991814,2cyclictest4452-21timerandwakeup3
15871991813,3cyclictest30199-21which3
15871991813,3cyclictest30199-21which3
15871991813,3cyclictest24410-21uptime3
15871991813,3cyclictest21444-21awk3
15871991813,3cyclictest10528-21sh3
15871991813,3cyclictest10333-21gdbus3
15871991812,4cyclictest20270-21diskstats3
15871991812,4cyclictest17826-21expr3
15871991812,3cyclictest18159-21idleruntime3
1587199181,1cyclictest0-21swapper/33
15871991811,4cyclictest14369-21cut3
1587199180,5cyclictest0-21swapper/33
1587199180,3cyclictest15114-21proc_pri3
15867991815,2cyclictest0-21swapper/22
15867991813,3cyclictest31571-21expr2
15867991813,3cyclictest23927-21pluginstate2
15863991815,2cyclictest0-21swapper/11
15863991814,2cyclictest6925-21/usr/sbin/munin1
15863991814,2cyclictest30698-21/usr/sbin/munin1
15863991814,2cyclictest25531-21/usr/sbin/munin1
15863991814,2cyclictest24595-21/usr/sbin/munin1
15863991814,2cyclictest21220-21/usr/sbin/munin1
15863991813,3cyclictest665-21runrttasks1
15863991813,3cyclictest6002-21seq1
15863991813,3cyclictest3754-21sh1
15863991813,3cyclictest30475-21grep1
15863991813,3cyclictest30475-21grep1
15863991813,3cyclictest30004-21expr1
15863991813,3cyclictest28333-21expr1
15863991813,3cyclictest2699-21expr1
15863991813,3cyclictest26626-21/usr/sbin/munin1
15863991812,4cyclictest29409-21wc1
15863991812,4cyclictest13039-21seq1
15863991812,4cyclictest13039-21seq1
15863991812,3cyclictest18611-21aten2.4-expect1
15863991811,4cyclictest5037-21cut1
1585999182,10cyclictest16889-21chrt0
15859991814,2cyclictest19438-21/usr/sbin/munin0
15859991814,2cyclictest18166-21ntp_states0
15859991814,2cyclictest1211-21/usr/sbin/munin0
15859991813,3cyclictest8417-21seq0
15859991813,3cyclictest665-21runrttasks0
15859991813,3cyclictest665-21runrttasks0
15859991813,3cyclictest30819-21needreboot0
15859991813,3cyclictest30819-21needreboot0
15859991813,3cyclictest26736-21cut0
15859991813,3cyclictest16526-21sed0
15859991813,3cyclictest15083-21basename0
15859991813,3cyclictest10240-21seq0
15859991812,3cyclictest20492-21grep0
15859991811,4cyclictest20138-21grep0
1587199178,6cyclictest29733-21munin-run3
1587199173,8cyclictest29620-21apt-get3
1587199171,8cyclictest0-21swapper/33
15871991714,2cyclictest0-21swapper/33
15871991713,2cyclictest8409-21/usr/sbin/munin3
15871991713,2cyclictest31229-21/usr/sbin/munin3
15871991713,2cyclictest15370-21nfs4_client3
15871991712,3cyclictest7247-21sed3
15871991712,3cyclictest665-21runrttasks3
15871991712,3cyclictest665-21runrttasks3
15871991712,3cyclictest2849-21acpi3
15871991712,3cyclictest22738-21timerwakeupswit3
15871991712,3cyclictest19159-21kernelversion3
15871991712,3cyclictest15510-21aten2.4-expect3
15871991712,3cyclictest11879-21expr3
15871991712,3cyclictest11879-21expr3
15871991712,3cyclictest10066-21grep3
15871991712,3cyclictest10010-21memory3
15871991711,4cyclictest16486-21awk3
15867991712,3cyclictest6308-21cat2
1586799171,15cyclictest0-21swapper/22
15863991715,1cyclictest0-21swapper/11
15863991712,3cyclictest8798-21cat1
15863991712,3cyclictest32106-21aten2_r9power_e1
15863991712,3cyclictest29186-21seq1
15863991712,3cyclictest22862-21grep1
15863991712,3cyclictest16740-21gpgv1
15863991712,3cyclictest15399-21cut1
15863991712,3cyclictest12914-21cat1
1585999176,9cyclictest9-21ksoftirqd/00
15859991713,2cyclictest23905-21/usr/sbin/munin0
15859991711,4cyclictest27089-21cut0
15859991711,4cyclictest23296-21grep0
1587199169,4cyclictest2082-21systemd-journal3
1587199163,7cyclictest16029-21apt-get3
15871991611,3cyclictest17459-21if_enp3s03
15863991611,3cyclictest10488-21cat1
15859991610,3cyclictest28078-21basename0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional