You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-07 - 13:58
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Nov 07, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
8952307270,24sleep00-21swapper/00
8932306268,25sleep30-21swapper/33
9312305267,25sleep10-21swapper/11
8292286227,47sleep20-21swapper/22
123299247239,5cyclictest12238-21perf0
123999219215,3cyclictest11250irq/128-xhci_hc2
124299196191,3cyclictest12219-21munin-run3
123599179172,4cyclictest27066-1kworker/1:0H1
242272560,4sleep2123999cyclictest2
123299521,30cyclictest10200-21munin-run0
1232995115,26cyclictest31890-21latency_hist0
123299470,33cyclictest13927-21mailstats0
123299470,25cyclictest26805-21cat0
123299470,23cyclictest19703-21cron0
123299461,32cyclictest9015-21taskset0
123299461,24cyclictest11726-21latency_hist0
123299460,33cyclictest14655-21telnet0
123299460,32cyclictest25264-21/usr/sbin/munin0
123299460,24cyclictest23860-21sed0
123299460,24cyclictest23860-21sed0
123299451,31cyclictest32297-21aten2.4-expect0
123299451,26cyclictest13200-21sed0
123299451,23cyclictest4092-21cat0
123299450,34cyclictest7747-21cat0
123299450,34cyclictest5501-21sed0
123299450,34cyclictest5501-21sed0
123299450,32cyclictest774-21ntpq0
123299450,24cyclictest18402-21wc0
123299442,25cyclictest15702-21apt-config0
123299441,29cyclictest29158-21ntp_states0
123299441,27cyclictest19349-21sed0
123299440,31cyclictest8754-21ntp_states0
123299440,28cyclictest2082-21systemd-journal0
123299440,26cyclictest6683-21sed0
123299440,25cyclictest15472-21apt-config0
123299440,24cyclictest28918-21cat0
123299440,23cyclictest30052-21date0
123299431,32cyclictest19261-21sed0
123299431,27cyclictest521-21sed0
123299431,26cyclictest29215-21aten2.4-expect0
123299431,25cyclictest7453-21mailstats0
123299430,31cyclictest19850-21ntp_states0
123299430,31cyclictest16042-21apt-config0
123299430,26cyclictest1872-21sed0
123299430,25cyclictest7092-21cmp0
302032420,2sleep30-21swapper/33
123299425,21cyclictest13436-21date0
123299421,25cyclictest12236-21users0
123299420,31cyclictest15797-21ntpq0
123299420,28cyclictest22132-21cat0
123299420,26cyclictest1641-21ntpq0
123299420,26cyclictest13069-21sed0
123299420,25cyclictest8121-21awk0
123299420,25cyclictest5091-21sed0
123299420,25cyclictest26584-21cstates0
123299411,25cyclictest505-21dbus-daemon0
123299411,25cyclictest3584-21ntpq0
123299411,22cyclictest24817-21turbostat.cron0
123299410,26cyclictest7185-21ntpq0
123299410,25cyclictest9976-21sed0
123299410,25cyclictest559-21date0
123299410,21cyclictest31840-21kworker/u8:20
123299401,24cyclictest17931-21/usr/sbin/munin0
123299400,25cyclictest24690-21irqstats0
123299400,24cyclictest23747-21sed0
123299400,24cyclictest22768-21latency_hist0
123299391,24cyclictest30360-21aten2_r9power_e0
123299391,23cyclictest1495-21apt-config0
123299390,22cyclictest4746-21latency_hist0
123299381,23cyclictest18066-21switchtime0
123299380,24cyclictest21272-21grep0
123299380,24cyclictest21272-21grep0
123299380,24cyclictest15815-21apt-get0
123299360,24cyclictest0-21swapper/00
123299360,22cyclictest30913-21latency_hist0
123299350,21cyclictest27514-21df0
123299350,19cyclictest0-21swapper/00
123999342,6cyclictest28-21ksoftirqd/22
123299340,20cyclictest0-21swapper/00
123999333,5cyclictest28-21ksoftirqd/22
123999332,5cyclictest271rcuc/22
123999331,4cyclictest271rcuc/22
123999321,6cyclictest20932-21cat2
123999320,7cyclictest271rcuc/22
1242992913,5cyclictest35-21ksoftirqd/33
123999299,7cyclictest28-21ksoftirqd/22
123999299,7cyclictest28-21ksoftirqd/22
123999293,6cyclictest28-21ksoftirqd/22
1239992925,2cyclictest271rcuc/22
123999290,5cyclictest271rcuc/22
124299288,4cyclictest35-21ksoftirqd/33
123999282,5cyclictest28-21ksoftirqd/22
1239992825,2cyclictest271rcuc/22
1239992823,3cyclictest271rcuc/22
123999281,23cyclictest6140-21plymouth2
123999280,6cyclictest271rcuc/22
123999280,6cyclictest271rcuc/22
123999275,4cyclictest0-21swapper/22
123999272,5cyclictest28-21ksoftirqd/22
123999272,5cyclictest28-21ksoftirqd/22
123999271,5cyclictest28-21ksoftirqd/22
124299267,4cyclictest35-21ksoftirqd/33
124299264,12cyclictest35-21ksoftirqd/33
1242992621,3cyclictest35-21ksoftirqd/33
123999262,6cyclictest28-21ksoftirqd/22
1239992623,2cyclictest271rcuc/22
123999261,6cyclictest271rcuc/22
124299253,8cyclictest35-21ksoftirqd/33
124299252,7cyclictest35-21ksoftirqd/33
124299250,3cyclictest23975-40mandb3
123999257,7cyclictest28-21ksoftirqd/22
123999256,9cyclictest28-21ksoftirqd/22
123999254,7cyclictest28-21ksoftirqd/22
123999254,11cyclictest28-21ksoftirqd/22
123999253,6cyclictest28-21ksoftirqd/22
1239992522,2cyclictest271rcuc/22
1239992521,2cyclictest271rcuc/22
123999250,5cyclictest28-21ksoftirqd/22
123999250,5cyclictest271rcuc/22
123999250,5cyclictest271rcuc/22
123599250,1cyclictest111rcu_preempt1
124299248,5cyclictest111rcu_preempt3
124299248,3cyclictest111rcu_preempt3
124299248,3cyclictest111rcu_preempt3
124299246,6cyclictest111rcu_preempt3
124299244,3cyclictest111rcu_preempt3
1242992418,4cyclictest25313-21/usr/sbin/munin3
123999246,6cyclictest28-21ksoftirqd/22
123999243,18cyclictest24016-21procmail2
123999242,5cyclictest28-21ksoftirqd/22
1239992421,2cyclictest271rcuc/22
1239992421,2cyclictest271rcuc/22
1239992420,3cyclictest271rcuc/22
123999241,6cyclictest28-21ksoftirqd/22
123999240,6cyclictest28-21ksoftirqd/22
123999240,6cyclictest271rcuc/22
123999240,5cyclictest271rcuc/22
124299236,2cyclictest111rcu_preempt3
124299234,9cyclictest35-21ksoftirqd/33
124299232,18cyclictest21298-21sed3
123999236,9cyclictest28-21ksoftirqd/22
123999235,6cyclictest28-21ksoftirqd/22
123999235,6cyclictest28-21ksoftirqd/22
123999235,6cyclictest28-21ksoftirqd/22
123999233,5cyclictest28-21ksoftirqd/22
1239992320,2cyclictest271rcuc/22
1239992320,2cyclictest271rcuc/22
1239992316,4cyclictest11677-21seq2
123999231,5cyclictest28-21ksoftirqd/22
123999230,6cyclictest271rcuc/22
124299226,2cyclictest111rcu_preempt3
124299222,10cyclictest35-21ksoftirqd/33
1242992215,5cyclictest25413-21diskstats3
123999225,9cyclictest28-21ksoftirqd/22
123999225,5cyclictest28-21ksoftirqd/22
123999224,7cyclictest28-21ksoftirqd/22
123999223,5cyclictest28-21ksoftirqd/22
123999222,6cyclictest28-21ksoftirqd/22
123999222,5cyclictest28-21ksoftirqd/22
1239992219,2cyclictest271rcuc/22
123999221,6cyclictest28-21ksoftirqd/22
123999221,5cyclictest271rcuc/22
123599220,20cyclictest11912-21kworker/1:11
123599220,20cyclictest0-21swapper/11
124299219,2cyclictest35-21ksoftirqd/33
1242992115,4cyclictest505-21dbus-daemon3
1242992115,4cyclictest14212-21cut3
1242992114,4cyclictest29168-21ntpq3
1242992114,4cyclictest12828-21date3
124299210,8cyclictest35-21ksoftirqd/33
124299210,4cyclictest35-21ksoftirqd/33
124299210,4cyclictest35-21ksoftirqd/33
123999212,6cyclictest28-21ksoftirqd/22
1239992118,2cyclictest271rcuc/22
123999211,7cyclictest28-21ksoftirqd/22
1235992116,3cyclictest8076-21grep1
1235992115,4cyclictest29928-21open_files1
124299209,2cyclictest35-21ksoftirqd/33
124299208,3cyclictest111rcu_preempt3
124299202,2cyclictest111rcu_preempt3
1242992016,2cyclictest35-21ksoftirqd/33
1242992015,3cyclictest9455-21sed3
1242992015,3cyclictest9179-21/usr/sbin/munin3
1242992015,3cyclictest8294-21sed3
1242992014,4cyclictest7953-21sed3
1242992014,4cyclictest27768-21cut3
1242992014,4cyclictest20877-21ls3
1242992014,4cyclictest20877-21ls3
1242992014,4cyclictest1201-21fw_packets3
1242992014,3cyclictest1872-21hostname3
1242992014,3cyclictest11482-21kernelversion3
1242992013,4cyclictest24656-21cat3
124299201,2cyclictest111rcu_preempt3
124299200,9cyclictest35-21ksoftirqd/33
124299200,8cyclictest35-21ksoftirqd/33
123999200,7cyclictest28-21ksoftirqd/22
1235992015,3cyclictest28086-21/usr/sbin/munin1
1235992015,3cyclictest15432-21seq1
1235992014,4cyclictest3971-21seq1
1235992014,4cyclictest32177-21cat1
1235992014,4cyclictest24959-21seq1
1235992014,4cyclictest22793-21sh1
1235992014,4cyclictest16158-21seq1
1235992014,4cyclictest15164-21seq1
124299199,4cyclictest19706-21cron3
124299199,2cyclictest111rcu_preempt3
124299197,3cyclictest35-21ksoftirqd/33
1242991914,3cyclictest17535-21cat3
1242991913,4cyclictest21706-21ls3
124299190,9cyclictest35-21ksoftirqd/33
124299190,9cyclictest20750-21apt3
124299190,3cyclictest6260-21latency_hist3
124299190,2cyclictest111rcu_preempt3
123599193,14cyclictest25995-21cron1
1235991915,3cyclictest21-21ksoftirqd/11
1235991915,2cyclictest8787-21/usr/sbin/munin1
1235991915,2cyclictest635-21/usr/sbin/munin1
1235991915,2cyclictest18958-21/usr/sbin/munin1
123599191,4cyclictest0-21swapper/11
1235991914,3cyclictest889-21ps1
1235991914,3cyclictest665-21runrttasks1
1235991914,3cyclictest5832-21seq1
1235991914,3cyclictest5588-21cat1
1235991914,3cyclictest400-21seq1
1235991914,3cyclictest3240-21expr1
1235991914,3cyclictest28517-21seq1
1235991914,3cyclictest23034-21/usr/sbin/munin1
1235991914,3cyclictest18580-21awk1
1235991914,3cyclictest14172-21seq1
1235991914,3cyclictest12339-21needreboot1
1235991913,4cyclictest26408-21cat1
1235991913,4cyclictest26162-21ls1
1235991913,4cyclictest18012-21seq1
1235991913,4cyclictest14410-21seq1
1235991913,4cyclictest10475-21cat1
123599190,2cyclictest111rcu_preempt1
124299187,3cyclictest111rcu_preempt3
124299187,2cyclictest111rcu_preempt3
124299186,2cyclictest111rcu_preempt3
1242991813,3cyclictest9374-21which3
1242991813,3cyclictest26245-21cat3
1242991813,3cyclictest21454-21ls3
1242991813,3cyclictest10985-21apt-get3
1242991812,4cyclictest824-21sed3
1242991812,4cyclictest28465-21cat3
1242991812,4cyclictest24779-21basename3
1242991812,4cyclictest23027-21sh3
1235991814,2cyclictest4717-21/usr/sbin/munin1
1235991814,2cyclictest31067-21/usr/sbin/munin1
1235991814,2cyclictest20896-21/usr/sbin/munin1
1235991814,2cyclictest15910-21/usr/sbin/munin1
1235991814,2cyclictest10844-21apt-get1
1235991813,3cyclictest8440-21unixbench-2d1
1235991813,3cyclictest7942-21cat1
1235991813,3cyclictest7382-21seq1
1235991813,3cyclictest6721-21cat1
1235991813,3cyclictest397-21cat1
1235991813,3cyclictest30516-21expr1
1235991813,3cyclictest28270-21/usr/sbin/munin1
1235991813,3cyclictest24282-21cat1
1235991813,3cyclictest2154-21expr1
1235991813,3cyclictest19965-21basename1
1235991813,3cyclictest18656-21aten2_r9power_e1
1235991813,3cyclictest1231-21expr1
1235991812,4cyclictest29477-21expr1
1235991812,4cyclictest18491-21expr1
124299178,6cyclictest18589-21apt-get3
1235991713,2cyclictest8399-21/usr/sbin/munin1
1235991713,2cyclictest5089-21unixbench_multi1
1235991713,2cyclictest4801-21/usr/sbin/munin1
1235991713,2cyclictest4801-21/usr/sbin/munin1
1235991713,2cyclictest20111-21/usr/sbin/munin1
1235991713,2cyclictest20111-21/usr/sbin/munin1
1235991712,3cyclictest8228-21expr1
1235991712,3cyclictest3616-21grep1
1235991712,3cyclictest22743-21missed_timers1
1235991712,3cyclictest22743-21missed_timers1
1235991711,4cyclictest12650-21cat1
123599170,15cyclictest0-21swapper/11
1235991611,3cyclictest3422-21seq1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional