You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-09-18 - 03:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Sep 18, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
248912305270,22sleep30-21swapper/33
247902271185,51sleep20-21swapper/22
240352271208,47sleep10-21swapper/11
246702253182,24sleep00-21swapper/00
2508399178173,3cyclictest0-21swapper/11
2509099162158,2cyclictest0-21swapper/33
2507999153147,3cyclictest32756-21strings0
1740421340,4sleep12508399cyclictest1
2508799123117,4cyclictest0-21swapper/22
268822610,8sleep335-21ksoftirqd/33
231362560,4sleep023138-21latency_hist0
25090993021,5cyclictest5731-21perf3
2508799251,21cyclictest16116-21munin-run2
25079992513,9cyclictest29549-21cut0
25090992411,3cyclictest35-21ksoftirqd/33
25083992415,5cyclictest505-21dbus-daemon1
25083992415,5cyclictest505-21dbus-daemon1
294622230,3sleep228-21ksoftirqd/22
2508799234,17cyclictest18472-21awk2
2508799233,17cyclictest4293-21latency_hist2
2508799233,17cyclictest27209-21cat2
2508799231,4cyclictest5728-21apt-get2
25083992316,4cyclictest11392-21seq1
25083992315,5cyclictest28023-21sh1
21762230,3sleep30-21swapper/33
7082220,1sleep20-21swapper/22
7082220,1sleep20-21swapper/22
2509099221,17cyclictest2082-21systemd-journal3
25090992210,6cyclictest665-21runrttasks3
2508799226,14cyclictest30668-21perf2
2508799223,17cyclictest7665-21latency_hist2
2508799223,17cyclictest0-21swapper/22
25087992215,4cyclictest27920-21ls2
2508799221,19cyclictest14246-21cut2
2508799221,18cyclictest18578-21munin-run2
2508799221,18cyclictest12736-21cron2
25083992215,4cyclictest3308-21idleruntime-cro1
25083992215,4cyclictest29966-21sh1
25083992214,5cyclictest24384-21sort1
25083992214,5cyclictest21832-21grep1
25083992214,4cyclictest5346-21grep1
25090992115,3cyclictest10408-21sh3
25090992114,4cyclictest28657-21idleruntime-cro3
2508799213,16cyclictest12696-21cat2
25087992116,3cyclictest32091-21munin-run2
25087992116,3cyclictest20469-21munin-run2
25087992115,4cyclictest27930-21seq2
25087992115,4cyclictest18695-21cat2
25087992115,4cyclictest16508-21load2
2508799211,3cyclictest8498-21ntp_states2
2508799211,3cyclictest2280-21munin-run2
2508799211,3cyclictest2082-21systemd-journal2
25087992110,9cyclictest28703-21latency_hist2
2508799210,18cyclictest14081-21munin-run2
2508399212,16cyclictest25881-21cron1
25083992116,3cyclictest25230-21/usr/sbin/munin1
25083992115,4cyclictest9564-21sed1
25083992114,4cyclictest4470-21wc1
25083992114,4cyclictest23468-21/usr/sbin/munin1
25083992114,4cyclictest18457-21idleruntime-cro1
25083992114,4cyclictest16129-21sh1
25083992113,5cyclictest12752-21cron1
25083992111,6cyclictest505-21dbus-daemon1
25079992116,3cyclictest9-21ksoftirqd/00
25079992116,3cyclictest9-21ksoftirqd/00
25079992115,4cyclictest28746-21ntp_states0
2507999210,19cyclictest12643-21latency_hist0
2509099208,10cyclictest505-21dbus-daemon3
2509099203,9cyclictest28271-21apt-get3
25090992015,3cyclictest8351-21sh3
25090992015,3cyclictest665-21runrttasks3
25090992015,3cyclictest5936-21aten2_r9power_e3
25090992015,3cyclictest30201-21/usr/sbin/munin3
25090992014,4cyclictest16196-21wc3
25090992013,5cyclictest12394-21cut3
25090992012,5cyclictest5223-21cut3
25090992011,4cyclictest0-21swapper/33
25087992016,2cyclictest20256-21threads2
25087992015,3cyclictest3190-21cat2
25087992015,3cyclictest27147-21cpuspeed2
25087992015,3cyclictest19604-21missed_timers2
25087992015,3cyclictest17695-21if_err_enp2s02
25087992014,4cyclictest5668-21ls2
25087992014,4cyclictest31052-21cat2
25087992014,4cyclictest21627-21memory2
25087992014,4cyclictest13648-21pluginstate2
25087992014,4cyclictest13455-21diskstats2
2508799201,2cyclictest31996-21sendmail2
2508799201,17cyclictest25885-21grep2
2508799200,3cyclictest16833-21munin-run2
2508399204,9cyclictest26840-21apt-get1
2508399203,10cyclictest32339-21apt-get1
2508399202,10cyclictest27872-21apt-get1
25083992017,2cyclictest0-21swapper/11
25083992015,3cyclictest6831-21sed1
25083992015,3cyclictest30302-21/usr/sbin/munin1
25083992015,3cyclictest18689-21/usr/sbin/munin1
25083992014,4cyclictest6514-21sed1
25083992014,4cyclictest13013-21/usr/sbin/munin1
25083992014,3cyclictest28683-21df1
25083992013,4cyclictest26236-21seq1
25083992011,5cyclictest13559-21wc1
25079992016,2cyclictest2623-21latency0
25079992015,3cyclictest8949-21aten2_r9power_c0
25079992015,3cyclictest3510-21processes0
25079992015,3cyclictest17191-21sh0
25079992015,3cyclictest1631-21seq0
25079992014,4cyclictest7918-21seq0
25079992014,4cyclictest26139-21latency_hist0
25079992014,4cyclictest26025-21cut0
25079992014,4cyclictest13359-21cat0
25079992014,4cyclictest10551-21cat0
25079992013,5cyclictest28456-21seq0
25079992013,4cyclictest9020-21awk0
25079992012,5cyclictest58150irq/130-enp2s00
2507999200,17cyclictest18734-21cat0
25090991914,3cyclictest8681-21latency_hist3
25090991914,3cyclictest751-21proc_pri3
25090991914,3cyclictest751-21proc_pri3
25090991914,3cyclictest30252-21grep3
25090991914,3cyclictest24891-21sed3
25090991914,3cyclictest23592-21cat3
25090991914,3cyclictest20621-21idleruntime-cro3
25090991914,3cyclictest19442-21memory3
25090991913,4cyclictest13211-21gltestperf3
25090991913,3cyclictest15949-21cpu3
25090991912,5cyclictest28737-21latency_hist3
25090991912,5cyclictest18493-21cat3
25090991912,4cyclictest21077-21sort3
25090991912,3cyclictest15336-21grep3
2509099191,15cyclictest5642-21cron3
2509099190,17cyclictest4812-21sed3
25087991917,1cyclictest0-21swapper/22
25087991915,2cyclictest2406-21ntp_states2
25087991915,2cyclictest10556-21cat2
25087991914,3cyclictest9829-21awk2
25087991914,3cyclictest25901-21latency_hist2
25087991914,3cyclictest22096-21pmu-power2
25087991914,3cyclictest21098-21ps2
25087991914,3cyclictest21098-21ps2
25087991914,3cyclictest14889-21aten2_r9power_v2
25087991913,4cyclictest24919-21/usr/sbin/munin2
2508799191,16cyclictest1649-21cron2
2508799190,3cyclictest24729-1kworker/2:1H2
2508799190,3cyclictest2082-21systemd-journal2
2508799190,17cyclictest25261-21cron2
2508399192,10cyclictest20758-21apt-get1
2508399191,6cyclictest0-21swapper/11
25083991914,3cyclictest9941-21/usr/sbin/munin1
25083991914,3cyclictest25834-21ntpq1
25083991914,3cyclictest22889-21/usr/sbin/munin1
25083991914,3cyclictest20385-21grep1
25083991914,3cyclictest20110-21/usr/sbin/munin1
25083991914,3cyclictest20110-21/usr/sbin/munin1
25083991914,3cyclictest18088-21/usr/sbin/munin1
25083991913,4cyclictest15273-21wc1
25083991913,3cyclictest4741-21ntpq1
25083991913,3cyclictest21-21ksoftirqd/11
25083991912,4cyclictest7689-21basename1
25083991911,5cyclictest12559-21cut1
2507999196,10cyclictest8502-21if_enp2s00
2507999195,3cyclictest111rcu_preempt0
25079991915,2cyclictest28253-21/usr/sbin/munin0
25079991915,2cyclictest26179-21aten2_r9power_e0
25079991914,3cyclictest6990-21ls0
25079991914,3cyclictest5712-21latency_hist0
25079991914,3cyclictest22603-21diskstats0
25079991914,3cyclictest20756-21cut0
25079991913,4cyclictest30983-21mailstats0
25079991913,4cyclictest30759-21fw_packets0
25079991913,4cyclictest27025-21idleruntime-cro0
25079991913,3cyclictest13795-21hostname0
25079991911,5cyclictest17128-21grep0
25090991814,2cyclictest5587-21/usr/sbin/munin3
25090991813,3cyclictest8275-21sed3
25090991813,3cyclictest4304-21idleruntime-cro3
25090991813,3cyclictest26710-21latency_hist3
25090991813,3cyclictest17610-21sed3
25090991813,3cyclictest17103-21df_inode3
25090991812,4cyclictest7961-21cstates3
25090991812,3cyclictest21291-21aten2.4-expect3
2509099181,14cyclictest2082-21systemd-journal3
25090991811,4cyclictest20509-21expr3
25090991811,4cyclictest20509-21expr3
25090991810,5cyclictest12737-21cron3
2508799189,5cyclictest5607-21apt-get2
25087991814,2cyclictest10289-21cstates2
25087991813,3cyclictest6600-21apt-get2
25087991813,3cyclictest4242-21expr2
25087991813,3cyclictest27354-21cat2
25087991813,3cyclictest24738-21sed2
25087991813,3cyclictest24591-21expr2
25087991812,4cyclictest31278-21cat2
25087991812,4cyclictest29429-21sed2
25087991812,4cyclictest22546-21cat2
25087991812,4cyclictest21739-21cut2
25087991812,4cyclictest11659-21date2
25087991812,3cyclictest6090-21find2
2508399187,3cyclictest111rcu_preempt1
2508399182,9cyclictest7929-21apt-get1
25083991816,1cyclictest0-21swapper/11
2508399181,5cyclictest0-21swapper/11
25083991814,3cyclictest21-21ksoftirqd/11
25083991813,3cyclictest8558-21seq1
25083991813,3cyclictest456-21/usr/sbin/munin1
25083991813,3cyclictest28877-21/usr/sbin/munin1
25083991813,3cyclictest19231-21ls1
25083991813,3cyclictest1798-21/usr/sbin/munin1
25083991813,3cyclictest15222-21gltestperf1
25083991813,3cyclictest10912-21ls1
25083991812,4cyclictest8185-21seq1
25083991812,4cyclictest30673-21grep1
25083991812,4cyclictest22002-21awk1
25083991812,4cyclictest13110-21sed1
25083991812,3cyclictest31009-21sh1
25083991812,3cyclictest22693-21head1
25083991812,3cyclictest17144-21aten2_r9power_e1
25079991814,2cyclictest3866-21/usr/sbin/munin0
25079991814,2cyclictest13449-21sh0
25079991814,2cyclictest12618-21pmu-power0
25079991813,3cyclictest8543-21seq0
25079991813,3cyclictest5333-21ls0
25079991813,3cyclictest32313-21aten2_r9power_p0
25079991813,3cyclictest32313-21aten2_r9power_p0
25079991813,3cyclictest23710-21grep0
25079991813,3cyclictest22889-21/usr/sbin/munin0
25079991813,3cyclictest20746-21acpi0
25079991813,3cyclictest1864-21aten2_r9power_e0
25079991813,3cyclictest15801-21missed_timers0
25079991813,3cyclictest15754-21seq0
25079991813,3cyclictest15288-21expr0
25079991813,3cyclictest10085-21sh0
25079991812,4cyclictest27409-21cat0
25079991812,4cyclictest26579-21cron0
25079991812,4cyclictest26412-21seq0
25079991812,4cyclictest21068-21cat0
25079991812,3cyclictest9-21ksoftirqd/00
25079991811,4cyclictest20331-21cat0
25079991811,4cyclictest20331-21cat0
2509099178,6cyclictest505-21dbus-daemon3
2509099172,13cyclictest10234-21unixbench-2d3
25090991715,1cyclictest0-21swapper/33
25090991713,2cyclictest22743-21if_enp2s03
25090991712,3cyclictest665-21runrttasks3
25090991712,3cyclictest665-21runrttasks3
25090991712,3cyclictest665-21runrttasks3
25090991712,3cyclictest6341-21latency_hist3
25090991712,3cyclictest3312-21grep3
25090991712,3cyclictest30734-21sed3
25090991712,3cyclictest1654-21latency_hist3
25090991712,3cyclictest15469-21sed3
25090991712,3cyclictest10277-21expr3
25090991711,3cyclictest25900-21sh3
2509099170,16cyclictest0-21swapper/33
25087991713,2cyclictest3981-21entropy2
25083991713,2cyclictest13831-21aten2.4-expect1
25083991712,3cyclictest7318-21processes1
2508399170,16cyclictest0-21swapper/11
25079991713,2cyclictest5587-21/usr/sbin/munin0
25079991713,2cyclictest20871-21/usr/sbin/munin0
25079991712,3cyclictest665-21runrttasks0
25079991712,3cyclictest665-21runrttasks0
25079991712,3cyclictest4937-21ls0
25079991712,3cyclictest28035-21swap0
25079991712,3cyclictest23468-21/usr/sbin/munin0
25079991712,3cyclictest13357-21which0
25079991712,3cyclictest11262-21expr0
25079991711,4cyclictest6503-21cat0
25079991711,4cyclictest19914-21wc0
25090991612,2cyclictest665-21runrttasks3
25090991611,3cyclictest23565-21aten2_r9power_p3
25090991611,3cyclictest23109-21cstates3
25090991611,3cyclictest13270-21cpuspeed_turbos3
25090991610,3cyclictest26264-21aten2_r9power_v3
2509099160,15cyclictest0-21swapper/33
25079991612,2cyclictest18088-21/usr/sbin/munin0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional