You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-09 - 05:19
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Dec 09, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
161952315277,25sleep00-21swapper/00
161462287249,26sleep10-21swapper/11
1640499284279,3cyclictest4134-21strings0
1640499284279,3cyclictest4134-21strings0
160202279242,24sleep20-21swapper/22
1640899268263,3cyclictest0-21swapper/11
1640899268263,3cyclictest0-21swapper/11
161932252215,25sleep30-21swapper/33
1641799233229,2cyclictest0-21swapper/33
1641799233229,2cyclictest0-21swapper/33
734221550,3sleep21641299cyclictest2
1641299107103,2cyclictest0-21swapper/22
1641299107103,2cyclictest0-21swapper/22
151362450,2sleep015133-21grep0
284542430,2sleep20-21swapper/22
16404993511,14cyclictest10971-21avahi-daemon0
16412993413,18cyclictest23017-21grep2
1641299341,30cyclictest7375-21cups-browsed2
1640899342,6cyclictest21-21ksoftirqd/11
1640899342,6cyclictest21-21ksoftirqd/11
16412993315,16cyclictest23867-21cron2
1641299331,29cyclictest15086-21diskstats2
1641299330,3cyclictest15733-21munin-run2
1640499332,9cyclictest3473-21idleruntime-cro0
1641299312,26cyclictest27641-21gltestperf2
16412993113,15cyclictest26639-21irqstats2
16412993110,18cyclictest19272-21expr2
16408993112,9cyclictest21-21ksoftirqd/11
1640499313,8cyclictest5586-21sendmail-mta0
16412993010,17cyclictest16793-21grep2
1641299300,28cyclictest0-21swapper/22
1640499302,13cyclictest13591-21latency_hist0
1640499302,10cyclictest6746-21sed0
1641299299,18cyclictest26574-21sed2
16412992914,13cyclictest3791-21cstates2
16412992911,16cyclictest2934-21wc2
16412992910,16cyclictest18363-21if_err_enp3s02
1641299290,3cyclictest5579-21awk2
1641299290,26cyclictest1452-21latency_hist2
1640499292,16cyclictest0-21swapper/00
1641299289,4cyclictest2082-21systemd-journal2
1641299289,3cyclictest8851-21cat2
1641299289,3cyclictest31639-21cpuspeed_turbos2
1641299289,3cyclictest26243-21aten2_r9power_p2
1641299288,3cyclictest29917-21df2
16412992813,13cyclictest23017-21latency_hist2
16412992812,14cyclictest32632-21aten2_r9power_p2
16412992812,14cyclictest32632-21aten2_r9power_p2
16412992811,14cyclictest9403-21/usr/sbin/munin2
16412992810,2cyclictest2082-21systemd-journal2
16412992810,15cyclictest16902-21open_files2
1641299280,26cyclictest0-21swapper/22
1640899285,10cyclictest21-21ksoftirqd/11
1640899285,10cyclictest21-21ksoftirqd/11
1640499285,9cyclictest15749-21apt0
1640499284,6cyclictest10624-21/usr/sbin/munin0
1640499280,9cyclictest1617-21grep0
1641299279,4cyclictest10549-21grep2
1641299279,3cyclictest29874-21latency_hist2
1641299279,16cyclictest24544-21if_enp2s02
1641299276,3cyclictest18056-21cut2
1641299276,3cyclictest18056-21cut2
1641299272,5cyclictest9878-21apt-get2
1641299272,2cyclictest18537-21diskstats2
16412992712,13cyclictest0-21swapper/22
1640899277,9cyclictest21-21ksoftirqd/11
1640499274,8cyclictest19667-21latency_hist0
1640499272,6cyclictest9-21ksoftirqd/00
1640499271,9cyclictest23115-21sed0
1640499271,10cyclictest3872-21df0
1640499270,8cyclictest3166-21latency_hist0
1641299268,3cyclictest2082-21systemd-journal2
1641299264,20cyclictest5346-21timerandwakeup2
1641299262,6cyclictest15710-21apt-get2
1641299260,9cyclictest0-21swapper/22
1641299260,9cyclictest0-21swapper/22
1641299260,3cyclictest7365-21latency_hist2
1640499264,11cyclictest28953-21apt-get0
1640499263,8cyclictest17591-21ntp_states0
1640499262,9cyclictest6153-21latency_hist0
1640499262,10cyclictest11819-21kworker/u8:00
1640499261,9cyclictest18987-21sed0
1640499260,9cyclictest665-21runrttasks0
1641299258,3cyclictest22492-21latency2
1641299257,3cyclictest31350-21grep2
1641299257,3cyclictest15728-21latency_hist2
1641299255,4cyclictest21907-21sed2
1641299255,4cyclictest21907-21sed2
1641299255,3cyclictest2082-21systemd-journal2
1641299251,5cyclictest7584-21munin-run2
16412992511,12cyclictest665-21runrttasks2
16412992510,13cyclictest6236-21aten2_r9power_c2
1640899257,8cyclictest21-21ksoftirqd/11
1640899254,10cyclictest21-21ksoftirqd/11
1640899252,10cyclictest21-21ksoftirqd/11
16408992515,3cyclictest21-21ksoftirqd/11
16408992513,4cyclictest21-21ksoftirqd/11
1640499253,8cyclictest26639-21irqstats0
1640499252,9cyclictest8736-21sed0
1640499252,9cyclictest7623-21sed0
1640499252,6cyclictest101rcuc/00
1640499252,6cyclictest101rcuc/00
1640499252,10cyclictest18692-21cut0
1640499252,10cyclictest18692-21cut0
1640499251,9cyclictest21594-21latency_hist0
16404992517,4cyclictest23581-21sendmail0
1640499251,6cyclictest9-21ksoftirqd/00
1640499251,6cyclictest9-21ksoftirqd/00
1641299248,3cyclictest18458-21if_enp3s02
1641299247,3cyclictest29138-21sendmail2
1641299244,2cyclictest7709-21cstates2
1641299243,4cyclictest11753-21apt-get2
1641299242,8cyclictest7842-21apt-get2
1641299242,5cyclictest23276-21apt-get2
1641299241,9cyclictest3296-21taskset2
1641299240,3cyclictest12599-21cut2
16408992418,4cyclictest3468-21grep1
16408992414,3cyclictest21-21ksoftirqd/11
16408992411,8cyclictest21959-21apt-get1
16408992411,4cyclictest21-21ksoftirqd/11
1640899240,4cyclictest27078-21apt1
1640499243,7cyclictest31463-21pmu-power0
1640499242,9cyclictest22724-21missed_timers0
1640499242,9cyclictest12201-21cpuspeed_turbos0
1640499242,8cyclictest2206-21telnet0
1640499242,7cyclictest10290-21ntp_states0
1640499242,6cyclictest0-21swapper/00
1640499241,9cyclictest13830-21cpuspeed0
1640499241,6cyclictest9-21ksoftirqd/00
1640499241,6cyclictest0-21swapper/00
1640499241,13cyclictest23752-21irqstats0
1640499240,9cyclictest25917-21sort0
1640499240,8cyclictest22882-21missed_timers0
1641299239,12cyclictest665-21runrttasks2
1641299236,2cyclictest30538-21grep2
1641299235,4cyclictest20921-21timerandwakeup2
1641299232,5cyclictest1282-21apt-get2
1641299230,9cyclictest26850-21chrt2
1640899234,9cyclictest21-21ksoftirqd/11
1640899231,4cyclictest21-21ksoftirqd/11
16408992311,4cyclictest21-21ksoftirqd/11
1640499233,8cyclictest665-21runrttasks0
1640499233,6cyclictest29565-21seq0
1640499233,5cyclictest9-21ksoftirqd/00
1640499232,7cyclictest0-21swapper/00
1640499232,6cyclictest9-21ksoftirqd/00
1640499232,6cyclictest0-21swapper/00
1640499231,6cyclictest9-21ksoftirqd/00
1640499231,6cyclictest0-21swapper/00
1640499230,8cyclictest9-21ksoftirqd/00
1640499230,6cyclictest9-21ksoftirqd/00
276112220,3sleep11640899cyclictest1
1641299226,2cyclictest2508-21cat2
1641299221,6cyclictest15427-21ls2
1640899223,10cyclictest21-21ksoftirqd/11
16408992218,3cyclictest21-21ksoftirqd/11
16408992218,2cyclictest201rcuc/11
16408992216,4cyclictest24403-21diskstats1
16408992215,4cyclictest31716-21seq1
16408992210,3cyclictest21-21ksoftirqd/11
1640499222,6cyclictest9-21ksoftirqd/00
1640499222,6cyclictest101rcuc/00
1640499221,5cyclictest0-21swapper/00
1640499221,5cyclictest0-21swapper/00
16404992214,5cyclictest505-21dbus-daemon0
1640499220,7cyclictest9-21ksoftirqd/00
1640499220,7cyclictest9-21ksoftirqd/00
1640499220,7cyclictest9-21ksoftirqd/00
1640499220,7cyclictest9-21ksoftirqd/00
1640499220,7cyclictest9-21ksoftirqd/00
1640499220,6cyclictest9-21ksoftirqd/00
1640499220,6cyclictest9-21ksoftirqd/00
1640499220,6cyclictest9-21ksoftirqd/00
1640499220,6cyclictest665-21runrttasks0
16417992116,3cyclictest17200-21if_err_enp3s03
16417992116,3cyclictest14606-21sed3
16417992115,4cyclictest24422-21gltestperf3
16417992115,3cyclictest2082-21systemd-journal3
1641299218,2cyclictest20873-21grep2
1640899219,4cyclictest21-21ksoftirqd/11
1640899219,2cyclictest21-21ksoftirqd/11
1640899214,3cyclictest21-21ksoftirqd/11
1640899213,10cyclictest21-21ksoftirqd/11
1640899212,6cyclictest21-21ksoftirqd/11
16408992116,3cyclictest21-21ksoftirqd/11
16408992116,3cyclictest21-21ksoftirqd/11
16408992115,4cyclictest29662-21seq1
16408992115,4cyclictest29007-21seq1
16408992115,3cyclictest23493-21ls1
16408992110,2cyclictest111rcu_preempt1
1640499212,5cyclictest0-21swapper/00
16417992016,2cyclictest16490-21irqstats3
16417992015,3cyclictest8025-21interrupts3
16417992015,3cyclictest616-21proc_pri3
16417992015,3cyclictest4526-21swap3
16417992015,3cyclictest3482-21sed3
16417992015,3cyclictest30438-21awk3
16417992015,3cyclictest292-21jbd2/mmcblk0p2-3
16417992015,3cyclictest28474-21fw_packets3
16417992015,3cyclictest22110-21aten2_r9power_c3
16417992015,3cyclictest20896-21tr3
16417992015,3cyclictest2082-21systemd-journal3
16417992015,3cyclictest18278-21ls3
16417992015,3cyclictest16364-21kernelversion3
16417992014,4cyclictest26475-21head3
16417992014,4cyclictest2533-21cat3
16417992013,4cyclictest16687-21latency3
1641799200,1cyclictest0-21swapper/33
1641799200,1cyclictest0-21swapper/33
1640899209,3cyclictest21-21ksoftirqd/11
1640899207,3cyclictest21-21ksoftirqd/11
1640899205,7cyclictest21-21ksoftirqd/11
1640899202,9cyclictest21-21ksoftirqd/11
1640899202,9cyclictest0-21swapper/11
1640899202,3cyclictest111rcu_preempt1
1640899201,9cyclictest21-21ksoftirqd/11
1640899201,6cyclictest505-21dbus-daemon1
16408992016,2cyclictest7704-21cut1
16408992015,3cyclictest29723-21expr1
16408992015,3cyclictest11104-21seq1
16408992014,4cyclictest13594-21cat1
16408992014,3cyclictest22701-21seq1
16408992013,5cyclictest17009-21grep1
1640899201,2cyclictest21-21ksoftirqd/11
1640899200,7cyclictest21-21ksoftirqd/11
16417991914,3cyclictest9860-21/usr/sbin/munin3
16417991914,3cyclictest27384-21ls3
16417991914,3cyclictest26572-21df3
16417991914,3cyclictest22893-21apt-config3
16417991914,3cyclictest20755-21acpi3
16417991914,3cyclictest19934-21load3
16417991914,3cyclictest1222-21aten2_r9power_v3
16417991914,3cyclictest1147-21mailstats3
16417991914,3cyclictest1147-21mailstats3
16417991913,4cyclictest9153-21pluginstate3
16417991913,4cyclictest27130-21cat3
16417991913,4cyclictest20781-21uname3
16417991913,4cyclictest20781-21uname3
16417991913,4cyclictest20041-21expr3
16417991913,4cyclictest17147-21cat3
16417991913,4cyclictest13017-21awk3
16417991912,4cyclictest18166-21df_inode3
1640899198,7cyclictest23118-21apt-get1
1640899195,2cyclictest111rcu_preempt1
1640899192,8cyclictest0-21swapper/11
1640899191,5cyclictest21-21ksoftirqd/11
16408991915,2cyclictest21-21ksoftirqd/11
16408991915,2cyclictest21-21ksoftirqd/11
16408991914,3cyclictest9860-21/usr/sbin/munin1
16408991914,3cyclictest20038-21/usr/sbin/munin1
16408991914,3cyclictest18349-21if_err_enp2s01
16408991914,3cyclictest13789-21/usr/sbin/munin1
16408991913,4cyclictest26095-21awk1
16408991913,4cyclictest1007-21cut1
16408991913,4cyclictest1007-21cut1
16408991912,4cyclictest3466-21sed1
16408991912,4cyclictest21-21ksoftirqd/11
16417991814,3cyclictest35-21ksoftirqd/33
16417991814,2cyclictest18725-21/usr/sbin/munin3
16417991814,2cyclictest18705-21latency3
16417991814,2cyclictest18705-21latency3
16417991813,3cyclictest5797-21forks3
16417991813,3cyclictest30916-21ntpq3
16417991813,3cyclictest24810-21kworker/u8:13
16417991813,3cyclictest22435-21expr3
16417991813,3cyclictest15103-21unixbench_multi3
16417991813,3cyclictest13541-21idleruntime-cro3
16417991813,3cyclictest10000-21expr3
16417991812,4cyclictest31689-21expr3
16417991812,4cyclictest24115-21ntpq3
16417991812,4cyclictest22203-21expr3
16417991812,3cyclictest10026-21if_err_enp3s03
1641799181,1cyclictest0-21swapper/33
1640899182,8cyclictest0-21swapper/11
1641799172,9cyclictest7565-21apt-get3
16417991715,1cyclictest0-21swapper/33
16417991713,2cyclictest35-21ksoftirqd/33
16417991712,3cyclictest8881-21seq3
16417991712,3cyclictest4992-21strings3
16417991712,3cyclictest26323-21processes3
16417991712,3cyclictest21286-21sh3
16417991712,3cyclictest12305-21ls3
16417991712,3cyclictest10610-21cat3
16417991614,1cyclictest0-21swapper/33
16417991612,2cyclictest1686-21apt3
16417991612,2cyclictest14071-21df_inode3
16417991611,3cyclictest7125-21pmu-power3
1641799161,13cyclictest25494-21sed3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional