You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-01 - 06:50
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Mon Dec 01, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
313462316278,25sleep10-21swapper/11
3392314277,25sleep20-21swapper/22
6052293257,24sleep30-21swapper/33
84999278272,3cyclictest21430-21strings2
6482270241,17sleep00-21swapper/00
84599264259,3cyclictest0-21swapper/11
84399216212,2cyclictest0-21swapper/00
85399165160,3cyclictest0-21swapper/33
2815421330,1sleep20-21swapper/22
296952570,1sleep20-21swapper/22
238142540,1sleep00-21swapper/00
115912470,2sleep211595-21missed_timers2
214612450,2sleep30-21swapper/33
46762440,1sleep30-21swapper/33
111992420,1sleep30-21swapper/33
263722400,1sleep30-21swapper/33
248802400,12sleep121-21ksoftirqd/11
272912350,1sleep00-21swapper/00
303972287,17sleep330504-21basename3
84999268,4cyclictest28-21ksoftirqd/22
84599260,13cyclictest222472/usr/sbin/munin1
84599240,1cyclictest111rcu_preempt1
84999233,4cyclictest28-21ksoftirqd/22
84999233,18cyclictest3582-21latency_hist2
84999233,18cyclictest24816-21latency_hist2
849992316,4cyclictest32550-21munin-run2
84999231,4cyclictest10333-21gdbus2
84999231,18cyclictest11525-21munin-run2
84599237,3cyclictest250012tr1
843992316,4cyclictest2148-21munin-plugin-st0
843992312,7cyclictest6741-21packagekitd0
843992311,3cyclictest505-21dbus-daemon0
843992311,3cyclictest505-21dbus-daemon0
84399230,21cyclictest12482-21kworker/0:20
217272230,3sleep284999cyclictest2
196182230,3sleep00-21swapper/00
113852230,9sleep09-21ksoftirqd/00
853992216,4cyclictest20675-21missed_timers3
853992214,5cyclictest25854-21cron3
84999224,17cyclictest20861-21awk2
84999224,17cyclictest20861-21awk2
84999223,4cyclictest28-21ksoftirqd/22
84999223,17cyclictest4621-21cat2
84999222,7cyclictest28-21ksoftirqd/22
84999222,3cyclictest111rcu_preempt2
845992216,4cyclictest12909-21sed1
845992215,4cyclictest29918-21sh1
843992215,5cyclictest12796-21cat0
85399212,16cyclictest18317-21cron3
853992116,3cyclictest16531-21latency3
853992115,4cyclictest6975-21ntpq3
853992115,4cyclictest25192-21pluginstate3
853992113,5cyclictest505-21dbus-daemon3
84999218,2cyclictest111rcu_preempt2
84999218,11cyclictest28-21ksoftirqd/22
84999215,14cyclictest0-21swapper/22
84999212,17cyclictest20441-21cat2
849992116,3cyclictest8749-21irqstats2
849992116,3cyclictest8749-21irqstats2
849992116,3cyclictest15872-21unixbench_singl2
849992115,3cyclictest3258-21ntpq2
84999211,4cyclictest28-21ksoftirqd/22
84999211,3cyclictest2498-1kworker/2:0H2
845992114,4cyclictest11759-21seq1
843992116,3cyclictest5185-21timerandwakeup0
843992116,3cyclictest26734-21cut0
843992116,3cyclictest15614-21sh0
843992115,4cyclictest25514-21awk0
843992114,5cyclictest1-21systemd0
85399203,10cyclictest23055-21apt-get3
853992015,3cyclictest6330-21irqstats3
853992015,3cyclictest2689-21ntp_states3
853992014,4cyclictest29196-21ntpq3
853992014,4cyclictest16945-21cut3
853992014,4cyclictest15373-21expr3
853992014,4cyclictest13550-21cat3
853992014,4cyclictest11359-21df_inode3
853992013,4cyclictest505-21dbus-daemon3
84999209,3cyclictest111rcu_preempt2
84999202,17cyclictest16809-21awk2
849992016,2cyclictest28-21ksoftirqd/22
849992016,2cyclictest28-21ksoftirqd/22
849992015,3cyclictest5598-21cron2
849992015,3cyclictest27226-21switchtime2
849992015,3cyclictest2403-21uptime2
849992015,3cyclictest18716-21latency_hist2
849992014,4cyclictest28948-21sed2
849992014,4cyclictest23806-21interrupts2
849992014,3cyclictest7832-21proc_pri2
84999201,3cyclictest22990-21cups-browsed2
849992013,4cyclictest24915-21cat2
849992013,4cyclictest16414-21basename2
849992013,4cyclictest10333-21gdbus2
84999201,17cyclictest12082-21threads2
84999201,17cyclictest0-21swapper/22
84999201,17cyclictest0-21swapper/22
84999200,18cyclictest1245-21ntp_states2
84599203,10cyclictest338-21apt-get1
84599202,15cyclictest20167-21cut1
845992015,3cyclictest32200-21/usr/sbin/munin1
845992015,3cyclictest28673-21sort1
845992015,3cyclictest22119-21cut1
845992015,3cyclictest2137-21sh1
845992015,3cyclictest16351-21seq1
845992014,4cyclictest9714-21awk1
845992014,4cyclictest20991-21/usr/sbin/munin1
845992014,4cyclictest20991-21/usr/sbin/munin1
845992014,4cyclictest19793-21date1
845992014,3cyclictest13091-21sh1
845992013,4cyclictest505-21dbus-daemon1
845992013,4cyclictest2439-21cat1
845992013,4cyclictest11537-21perf1
843992017,2cyclictest0-21swapper/00
843992016,2cyclictest15845-21/usr/sbin/munin0
843992015,3cyclictest31155-21/usr/sbin/munin0
843992015,3cyclictest30930-21idleruntime0
843992015,3cyclictest28135-21find0
843992015,3cyclictest2659-21cut0
843992015,3cyclictest24196-21/usr/sbin/munin0
843992015,3cyclictest2388-21/usr/sbin/munin0
843992015,3cyclictest22769-21latency_hist0
843992015,3cyclictest22769-21latency_hist0
843992015,3cyclictest18621-21seq0
843992014,4cyclictest8286-21seq0
843992014,4cyclictest4476-21seq0
843992014,4cyclictest2215-21expr0
843992014,4cyclictest19763-21sed0
843992014,3cyclictest13001-21aten2_r9power_e0
259902200,8sleep335-21ksoftirqd/33
85399193,10cyclictest2008-21apt-get3
853991916,2cyclictest0-21swapper/33
853991915,2cyclictest824-21sh3
853991915,2cyclictest24667-21/usr/sbin/munin3
853991914,3cyclictest8097-21/usr/sbin/munin3
853991914,3cyclictest8097-21/usr/sbin/munin3
853991914,3cyclictest4813-21expr3
853991914,3cyclictest31497-21sed3
853991914,3cyclictest29106-21acpi3
853991914,3cyclictest27842-21memory3
853991914,3cyclictest27417-21unixbench_multi3
853991914,3cyclictest2269-21sed3
853991914,3cyclictest21745-21memory3
853991914,3cyclictest21745-21memory3
853991914,3cyclictest19981-21users3
853991914,3cyclictest19846-21cat3
853991913,4cyclictest505-21dbus-daemon3
853991913,4cyclictest4235-21sed3
853991913,4cyclictest30077-21sed3
853991913,4cyclictest25089-21sed3
853991913,4cyclictest2082-21systemd-journal3
853991913,4cyclictest14684-21ntpq3
853991913,3cyclictest17694-21missed_timers3
85399191,15cyclictest1497-21grep3
85399190,16cyclictest14393-21cron3
84999195,12cyclictest28-21ksoftirqd/22
849991915,2cyclictest16682-21cat2
849991914,3cyclictest3677-21sh2
849991914,3cyclictest24625-21ls2
849991914,3cyclictest23436-21timerandwakeup2
849991914,3cyclictest19651-21latency2
849991914,3cyclictest13965-21cpu2
849991914,3cyclictest1-21systemd2
849991914,3cyclictest1178-21users2
849991913,4cyclictest5679-21/usr/sbin/munin2
849991913,4cyclictest19182-21grep2
84999190,17cyclictest5785-1kworker/2:1H2
84999190,17cyclictest5157-21sed2
84999190,17cyclictest29929-21sendmail2
845991915,2cyclictest6072-21/usr/sbin/munin1
845991915,2cyclictest17025-21/usr/sbin/munin1
845991914,3cyclictest8044-21sed1
845991914,3cyclictest740-21/usr/sbin/munin1
845991914,3cyclictest3862-21mailstats1
845991914,3cyclictest30435-21grep1
845991914,3cyclictest28863-21latency_hist1
845991914,3cyclictest28704-21seq1
845991914,3cyclictest12797-21date1
845991913,4cyclictest8964-21ntp_kernel_pll_1
845991913,4cyclictest8964-21ntp_kernel_pll_1
845991913,4cyclictest6805-21date1
845991913,4cyclictest6805-21date1
845991913,4cyclictest4801-21expr1
845991913,4cyclictest32041-21ntp_states1
845991913,4cyclictest18846-21date1
845991913,4cyclictest17030-21expr1
845991913,3cyclictest15922-21aten2.4-expect1
845991913,3cyclictest14481-21gdbus1
845991912,4cyclictest4351-21grep1
84399199,4cyclictest5961-21expr0
843991915,2cyclictest32200-21/usr/sbin/munin0
843991914,3cyclictest6947-21aten2_r9power_p0
843991914,3cyclictest32466-21seq0
843991914,3cyclictest29760-21kernelversion0
843991914,3cyclictest26940-21cat0
843991914,3cyclictest24269-21/usr/sbin/munin0
843991914,3cyclictest23300-21sendmail_mailst0
843991914,3cyclictest11694-21cut0
843991913,4cyclictest5614-21date0
843991913,4cyclictest505-21dbus-daemon0
843991913,4cyclictest17859-21grep0
843991913,4cyclictest13949-21sendmail0
843991913,4cyclictest10885-21date0
843991913,3cyclictest16986-21sh0
84399191,16cyclictest0-21swapper/00
853991816,1cyclictest0-21swapper/33
853991816,1cyclictest0-21swapper/33
853991816,1cyclictest0-21swapper/33
853991814,2cyclictest6767-21/usr/sbin/munin3
853991814,2cyclictest28718-21/usr/sbin/munin3
853991813,3cyclictest4964-21cut3
853991813,3cyclictest23460-21sed3
853991813,3cyclictest22983-21cstates3
853991813,3cyclictest1736-21cron3
853991813,3cyclictest12674-21sed3
853991813,3cyclictest10263-21sed3
853991812,4cyclictest4631-21cat3
853991811,4cyclictest505-21dbus-daemon3
853991811,4cyclictest505-21dbus-daemon3
84999182,2cyclictest28-21ksoftirqd/22
84999182,14cyclictest0-21swapper/22
849991816,1cyclictest0-21swapper/22
849991813,3cyclictest665-21runrttasks2
849991813,3cyclictest6472-21readlink2
849991813,3cyclictest16971-21expr2
849991813,3cyclictest12577-21expr2
849991813,3cyclictest10145-21apt-get2
84599183,9cyclictest23177-21apt-get1
84599183,9cyclictest18983-21apt-get1
84599183,8cyclictest12174-21apt-get1
84599182,6cyclictest21-21ksoftirqd/11
845991813,3cyclictest665-21runrttasks1
845991813,3cyclictest6577-21sh1
845991813,3cyclictest31152-21cat1
845991813,3cyclictest30785-21seq1
845991813,3cyclictest27801-21seq1
845991813,3cyclictest27435-21sed1
845991813,3cyclictest24270-21acpi1
845991813,3cyclictest23788-21cat1
845991813,3cyclictest19940-21ntpq1
845991813,3cyclictest19940-21ntpq1
845991813,3cyclictest12851-21/usr/sbin/munin1
845991812,4cyclictest7489-21ls1
845991812,4cyclictest28762-21df1
845991812,4cyclictest25058-21/usr/sbin/munin1
845991812,4cyclictest14327-21cut1
845991812,3cyclictest2528-21aten2.4-expect1
843991816,1cyclictest0-21swapper/00
843991816,1cyclictest0-21swapper/00
843991814,2cyclictest19050-21/usr/sbin/munin0
843991814,2cyclictest19050-21/usr/sbin/munin0
843991813,3cyclictest665-21runrttasks0
843991813,3cyclictest665-21runrttasks0
843991813,3cyclictest665-21runrttasks0
843991813,3cyclictest4692-21expr0
843991813,3cyclictest28941-21cat0
843991813,3cyclictest15266-21wc0
843991813,3cyclictest13052-21ls0
84399180,16cyclictest0-21swapper/00
853991713,2cyclictest665-21runrttasks3
853991713,2cyclictest15009-21gltestperf3
853991712,3cyclictest6970-21aten2.4-expect3
853991712,3cyclictest3069-21cpuspeed_turbos3
853991712,3cyclictest20975-21cut3
853991712,3cyclictest20975-21cut3
853991712,3cyclictest17414-21expr3
84999170,15cyclictest0-21swapper/22
845991712,3cyclictest665-21runrttasks1
845991712,3cyclictest11254-21expr1
843991715,1cyclictest0-21swapper/00
843991713,3cyclictest665-21runrttasks0
843991713,2cyclictest10125-21/usr/sbin/munin0
843991712,3cyclictest25294-21find0
843991712,3cyclictest20229-21cstates0
843991712,3cyclictest18309-21sh0
843991712,3cyclictest15610-21if_err_enp2s00
843991712,3cyclictest13562-21turbostat.cron0
843991711,4cyclictest5011-21sed0
85399169,4cyclictest12470-21grep3
84599162,8cyclictest3844-21apt-get1
845991614,1cyclictest0-21swapper/11
845991612,2cyclictest1124-21aten2_r9power_v1
845991611,3cyclictest9502-21cat1
845991610,4cyclictest7982-21expr1
84399160,15cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional