You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-04 - 13:19
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Thu Dec 04, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1772399270264,4cyclictest6810-21munin-run3
174292263189,26sleep10-21swapper/11
1771999259254,3cyclictest6837-21perf2
172672231182,36sleep20-21swapper/22
174332229192,25sleep00-21swapper/00
172632227191,24sleep30-21swapper/33
1770999178172,3cyclictest6857-21sendmail-msp0
1771199172165,4cyclictest6858-21awk1
2742921600,3sleep11771199cyclictest1
283121320,3sleep11771199cyclictest1
210032420,2sleep20-21swapper/22
1771199410,39cyclictest22336-21kworker/1:21
1771199410,39cyclictest22336-21kworker/1:21
26472370,2sleep20-21swapper/22
1771999350,6cyclictest28-21ksoftirqd/22
1771999350,33cyclictest22392-21kworker/2:22
1772399331,5cyclictest341rcuc/33
1772399321,6cyclictest341rcuc/33
17719993216,5cyclictest28-21ksoftirqd/22
17723993027,2cyclictest341rcuc/33
1772399294,6cyclictest35-21ksoftirqd/33
1772399293,6cyclictest35-21ksoftirqd/33
1772399293,6cyclictest35-21ksoftirqd/33
1772399291,6cyclictest341rcuc/33
1771999298,3cyclictest111rcu_preempt2
1772399281,5cyclictest35-21ksoftirqd/33
1772399280,5cyclictest35-21ksoftirqd/33
1771999289,3cyclictest28-21ksoftirqd/22
1771999287,4cyclictest28-21ksoftirqd/22
1771999286,4cyclictest28-21ksoftirqd/22
286652270,2sleep30-21swapper/33
1772399273,6cyclictest35-21ksoftirqd/33
1772399272,6cyclictest35-21ksoftirqd/33
1772399270,5cyclictest35-21ksoftirqd/33
17719992710,3cyclictest28-21ksoftirqd/22
1770999270,26cyclictest25321-21kworker/0:20
17723992623,2cyclictest341rcuc/33
1772399261,7cyclictest35-21ksoftirqd/33
1772399260,8cyclictest35-21ksoftirqd/33
1772399260,6cyclictest341rcuc/33
1772399260,12cyclictest35-21ksoftirqd/33
17719992611,5cyclictest28-21ksoftirqd/22
17719992611,5cyclictest28-21ksoftirqd/22
17719992611,3cyclictest28-21ksoftirqd/22
17719992611,2cyclictest111rcu_preempt2
17719992610,3cyclictest111rcu_preempt2
17711992615,6cyclictest3505-21apt-get1
1772399255,9cyclictest35-21ksoftirqd/33
1772399254,9cyclictest35-21ksoftirqd/33
1772399253,7cyclictest35-21ksoftirqd/33
1772399253,5cyclictest35-21ksoftirqd/33
1772399252,6cyclictest35-21ksoftirqd/33
17723992519,4cyclictest24606-21cron3
1772399251,6cyclictest35-21ksoftirqd/33
1772399250,7cyclictest35-21ksoftirqd/33
1772399250,6cyclictest35-21ksoftirqd/33
1772399250,4cyclictest35-21ksoftirqd/33
17719992511,12cyclictest28-21ksoftirqd/22
17719992510,3cyclictest28-21ksoftirqd/22
1772399243,6cyclictest35-21ksoftirqd/33
17723992421,2cyclictest341rcuc/33
17723992421,2cyclictest341rcuc/33
1772399241,7cyclictest35-21ksoftirqd/33
1772399241,5cyclictest35-21ksoftirqd/33
1772399240,7cyclictest35-21ksoftirqd/33
1772399240,7cyclictest35-21ksoftirqd/33
1772399240,7cyclictest35-21ksoftirqd/33
1772399240,7cyclictest35-21ksoftirqd/33
1772399240,6cyclictest35-21ksoftirqd/33
1772399240,6cyclictest35-21ksoftirqd/33
1772399240,6cyclictest21892-21switchtime3
1772399240,6cyclictest21892-21switchtime3
1772399240,5cyclictest341rcuc/33
1771999247,3cyclictest28-21ksoftirqd/22
1771999246,16cyclictest507-21cron2
1771999245,3cyclictest28-21ksoftirqd/22
1771999245,3cyclictest28-21ksoftirqd/22
17719992414,2cyclictest28-21ksoftirqd/22
17719992411,4cyclictest30243-21taskset2
17719992410,3cyclictest28-21ksoftirqd/22
17719992410,2cyclictest111rcu_preempt2
17719992410,2cyclictest111rcu_preempt2
63302230,1sleep16331-21aten2_r9power_v1
1772399232,7cyclictest35-21ksoftirqd/33
1772399232,7cyclictest35-21ksoftirqd/33
1772399232,6cyclictest35-21ksoftirqd/33
17723992318,3cyclictest341rcuc/33
1772399231,6cyclictest35-21ksoftirqd/33
1772399231,6cyclictest0-21swapper/33
1772399231,6cyclictest0-21swapper/33
1772399230,8cyclictest35-21ksoftirqd/33
1772399230,6cyclictest35-21ksoftirqd/33
1771999239,4cyclictest28-21ksoftirqd/22
1771999239,3cyclictest28-21ksoftirqd/22
1771999238,3cyclictest28-21ksoftirqd/22
1771999238,3cyclictest28-21ksoftirqd/22
1771999238,3cyclictest28-21ksoftirqd/22
1771999235,4cyclictest28-21ksoftirqd/22
1771999231,2cyclictest28-21ksoftirqd/22
17719992312,9cyclictest25042-21if_enp3s02
17711992316,4cyclictest11960-21df1
1771199231,5cyclictest19632-21turbostat.cron1
52042220,1sleep30-21swapper/33
1772399222,5cyclictest0-21swapper/33
1772399221,7cyclictest35-21ksoftirqd/33
1772399221,6cyclictest35-21ksoftirqd/33
1772399221,6cyclictest0-21swapper/33
17723992216,4cyclictest505-21dbus-daemon3
17723992211,3cyclictest111rcu_preempt3
17723992211,3cyclictest111rcu_preempt3
17723992211,3cyclictest111rcu_preempt3
1772399220,7cyclictest35-21ksoftirqd/33
1772399220,7cyclictest35-21ksoftirqd/33
1772399220,6cyclictest35-21ksoftirqd/33
1772399220,5cyclictest0-21swapper/33
1771999229,6cyclictest28-21ksoftirqd/22
1771999229,2cyclictest111rcu_preempt2
1771999228,3cyclictest28-21ksoftirqd/22
1771999228,3cyclictest28-21ksoftirqd/22
1771999227,6cyclictest111rcu_preempt2
1771999227,3cyclictest28-21ksoftirqd/22
1771999221,19cyclictest26978-21systemd2
1771999220,10cyclictest28-21ksoftirqd/22
1770999222,17cyclictest0-21swapper/00
17709992217,3cyclictest22644-21cron0
17709992217,3cyclictest22644-21cron0
17709992216,4cyclictest15352-21ls0
17709992214,5cyclictest24217-21grep0
1772399212,6cyclictest35-21ksoftirqd/33
1772399212,5cyclictest0-21swapper/33
1772399211,5cyclictest35-21ksoftirqd/33
1772399210,5cyclictest35-21ksoftirqd/33
1772399210,5cyclictest0-21swapper/33
1771999219,11cyclictest28-21ksoftirqd/22
1771999218,5cyclictest111rcu_preempt2
1771999218,4cyclictest28-21ksoftirqd/22
1771999218,2cyclictest111rcu_preempt2
1771999216,6cyclictest111rcu_preempt2
1771999216,5cyclictest28-21ksoftirqd/22
1771999216,5cyclictest28-21ksoftirqd/22
1771999216,5cyclictest28-21ksoftirqd/22
1771999216,3cyclictest28-21ksoftirqd/22
1771999215,6cyclictest665-21runrttasks2
1771999215,5cyclictest28-21ksoftirqd/22
1771999215,5cyclictest28-21ksoftirqd/22
17719992116,3cyclictest29544-21cpu2
17719992116,3cyclictest28846-21processes2
17719992115,3cyclictest17251-21pmu-power2
1771999211,17cyclictest14822-21/usr/sbin/munin2
1771999210,18cyclictest7903-21df_inode2
17711992115,4cyclictest25434-21seq1
17711992115,4cyclictest20537-21seq1
17711992115,4cyclictest12388-21seq1
17711992114,4cyclictest24879-21df1
17711992114,4cyclictest15230-21apt-get1
17711992113,5cyclictest12680-21apt-get1
17709992117,3cyclictest7076-21tr0
17709992117,2cyclictest8434-21ntpq0
17709992112,4cyclictest10277-21wc0
34882200,2sleep00-21swapper/00
1771999205,5cyclictest28-21ksoftirqd/22
1771999204,5cyclictest28-21ksoftirqd/22
1771999204,5cyclictest28-21ksoftirqd/22
1771999204,5cyclictest28-21ksoftirqd/22
17719992015,3cyclictest31506-21aten2_r9power_c2
17719992015,3cyclictest3041-21aten2_r9power_c2
17719992015,3cyclictest3041-21aten2_r9power_c2
17711992015,3cyclictest29864-21df1
17711992015,3cyclictest21696-21/usr/sbin/munin1
17711992015,3cyclictest2082-21systemd-journal1
17711992015,3cyclictest18343-21/usr/sbin/munin1
17711992015,3cyclictest13550-21/usr/sbin/munin1
17711992014,4cyclictest422-21seq1
17711992014,4cyclictest21610-21cat1
17711992014,4cyclictest17690-21diskstats1
17711992014,4cyclictest16472-21sh1
17711992013,4cyclictest16762-21apt-get1
17709992015,3cyclictest8141-21systemctl0
17709992015,3cyclictest23520-21sed0
17709992015,3cyclictest17346-21cut0
17709992014,4cyclictest977-21sed0
17709992014,3cyclictest1562-21aten2.4-expect0
17709992014,3cyclictest11405-21idleruntime-cro0
59522190,16sleep00-21swapper/00
1771999199,2cyclictest28-21ksoftirqd/22
17719991914,3cyclictest5055-21ntp_kernel_pll_2
17719991914,3cyclictest12044-21users2
1771199199,6cyclictest22847-21apt-get1
1771199197,7cyclictest17659-21apt-get1
17711991915,2cyclictest23213-21/usr/sbin/munin1
17711991915,2cyclictest22398-21/usr/sbin/munin1
17711991915,2cyclictest22198-21ntp_states1
17711991915,2cyclictest10485-21ntp_states1
17711991914,3cyclictest7465-21/usr/sbin/munin1
17711991914,3cyclictest5111-21/usr/sbin/munin1
17711991914,3cyclictest3211-21mailstats1
17711991914,3cyclictest3018-21cat1
17711991914,3cyclictest3018-21cat1
17711991914,3cyclictest29235-21seq1
17711991914,3cyclictest27670-21date1
17711991914,3cyclictest26156-21sed1
17711991914,3cyclictest23904-21cut1
17711991914,3cyclictest2070-21if_err_enp2s01
17711991914,3cyclictest17997-21seq1
17711991914,3cyclictest14285-21cat1
17711991914,3cyclictest13841-21cat1
17711991914,3cyclictest13841-21cat1
17711991914,3cyclictest10982-21seq1
17711991913,4cyclictest9167-21basename1
17711991913,4cyclictest30252-21seq1
17711991913,4cyclictest27761-21ls1
17711991913,4cyclictest20900-21seq1
17711991913,4cyclictest14446-21sed1
17711991913,4cyclictest1439-21expr1
17711991913,4cyclictest11545-21expr1
17711991913,4cyclictest10884-21cron1
17711991912,4cyclictest492-21mailstats1
1771199191,15cyclictest2082-21systemd-journal1
1771199190,17cyclictest31244-21cat1
1770999192,15cyclictest3540-21head0
1770999192,15cyclictest3540-21head0
1770999192,14cyclictest30293-21grep0
1770999192,14cyclictest30293-21grep0
17709991915,3cyclictest9-21ksoftirqd/00
17709991914,3cyclictest4337-21sed0
17709991914,3cyclictest2888-21sed0
17709991914,3cyclictest27469-21aten2.4-expect0
17709991914,3cyclictest24840-21sed0
17709991914,3cyclictest24733-21sed0
17709991914,3cyclictest2082-21systemd-journal0
17709991914,3cyclictest2082-21systemd-journal0
17709991914,3cyclictest20380-21switchtime0
17709991914,3cyclictest13205-21sed0
17709991913,4cyclictest9706-21cat0
17709991913,4cyclictest22198-21grep0
17709991913,4cyclictest14480-21grep0
17709991913,3cyclictest28722-21unixbench_multi0
17709991912,4cyclictest8801-21sort0
17709991912,4cyclictest16572-21pmu-power0
17709991911,3cyclictest1249-21sed0
1771199183,10cyclictest7576-21apt-get1
17711991814,2cyclictest32577-21/usr/sbin/munin1
17711991813,3cyclictest7347-21expr1
17711991813,3cyclictest665-21runrttasks1
17711991813,3cyclictest5933-21cat1
17711991813,3cyclictest5241-21which1
17711991813,3cyclictest3183-21hostname1
17711991813,3cyclictest31482-21/usr/sbin/munin1
17711991813,3cyclictest29351-21/usr/sbin/munin1
17711991813,3cyclictest20984-21grep1
17711991811,5cyclictest31673-21latency_hist1
17711991811,5cyclictest31673-21latency_hist1
1770999184,12cyclictest665-21runrttasks0
1770999183,8cyclictest15751-21apt-get0
1770999182,13cyclictest21629-21cut0
1770999181,6cyclictest2082-21systemd-journal0
17709991816,1cyclictest0-21swapper/00
17709991816,1cyclictest0-21swapper/00
17709991816,1cyclictest0-21swapper/00
17709991814,2cyclictest25232-21sed0
17709991814,2cyclictest2153-21/usr/sbin/munin0
17709991814,2cyclictest1058-21/usr/sbin/munin0
17709991813,3cyclictest665-21runrttasks0
17709991813,3cyclictest665-21runrttasks0
17709991813,3cyclictest25777-21/usr/sbin/munin0
17709991813,3cyclictest18369-21cut0
17709991813,3cyclictest12912-21cron0
17709991812,4cyclictest5324-21cat0
17709991812,4cyclictest29175-21cut0
17709991812,4cyclictest27023-21basename0
17709991812,4cyclictest2082-21systemd-journal0
17709991812,4cyclictest11804-21grep0
1770999181,16cyclictest0-21swapper/00
1770999180,16cyclictest9-21ksoftirqd/00
285662170,2sleep00-21swapper/00
17711991712,3cyclictest22247-21seq1
1770999173,8cyclictest31894-21apt-get0
17709991715,1cyclictest0-21swapper/00
17709991713,2cyclictest14681-21/usr/sbin/munin0
17709991712,3cyclictest665-21runrttasks0
17709991712,3cyclictest30384-21grep0
17709991712,3cyclictest15002-21mailstats0
17709991611,3cyclictest27161-21latency_hist0
1770999160,15cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional