You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-21 - 23:32
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Fri Nov 21, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2861323160,21sleep30-21swapper/33
295062305266,25sleep00-21swapper/00
2989399281277,2cyclictest0-21swapper/00
296102278239,26sleep10-21swapper/11
296882262182,44sleep20-21swapper/22
2989999232228,2cyclictest0-21swapper/22
2990799212208,2cyclictest0-21swapper/33
1949421550,2sleep32990799cyclictest3
29897999994,3cyclictest8353-21strings1
93292600,2sleep20-21swapper/22
220342460,3sleep1211ksoftirqd/11
96292440,3sleep10-21swapper/11
264372410,1sleep00-21swapper/00
155312370,1sleep115529-21apt-config1
155312370,1sleep115529-21apt-config1
2989999261,21cyclictest15317-21munin-run2
29899992516,5cyclictest505-21dbus-daemon2
2989999251,20cyclictest30888-21munin-run2
2989999250,7cyclictest11360-21perf2
2989999249,12cyclictest26802-21cron2
2989999244,17cyclictest18673-21latency_hist2
2989999244,17cyclictest18673-21latency_hist2
2989999241,4cyclictest22749-21munin-run2
2989999241,20cyclictest10333-21gdbus2
2989999234,17cyclictest4476-21cat2
2989999233,17cyclictest23448-21latency_hist2
2989999233,17cyclictest1997-21latency_hist2
29899992310,11cyclictest22000-21sed2
2989999230,20cyclictest2082-21systemd-journal2
2989999230,11cyclictest25921-21cron2
2989999228,11cyclictest13407-21basename2
2989999223,17cyclictest27952-21latency_hist2
2989999223,17cyclictest18333-21cat2
2989999223,16cyclictest21423-21latency_hist2
29899992215,4cyclictest505-21dbus-daemon2
2989999221,4cyclictest23236-1kworker/2:1H2
29899992214,4cyclictest31944-21aten2.4-expect2
29899992214,4cyclictest31944-21aten2.4-expect2
2989999221,19cyclictest23938-21wc2
35872210,9sleep335-21ksoftirqd/33
29907992115,4cyclictest19360-21pmu-power3
29907992114,5cyclictest27794-21grep3
29907992114,5cyclictest1607-21tr3
29907992114,4cyclictest22253-21cut3
2990799210,5cyclictest0-21swapper/33
2989999218,3cyclictest25672-21wc2
29899992114,4cyclictest6770-21forks2
29899992114,4cyclictest30521-21grep2
2989999211,18cyclictest15438-1kworker/2:3H2
2989999211,17cyclictest6078-21munin-run2
2989999211,17cyclictest24774-21latency_hist2
2989999211,17cyclictest23236-1kworker/2:1H2
2989999211,17cyclictest20203-1kworker/2:2H2
2989999211,17cyclictest15422-21apt-get2
2989999211,17cyclictest15422-21apt-get2
2989999210,3cyclictest14329-21sendmail2
29897992115,3cyclictest3951-21cron1
29897992114,4cyclictest6773-21sed1
29897992114,4cyclictest16660-21sh1
29897992111,6cyclictest27795-21apt-get1
29893992116,3cyclictest24840-21/usr/sbin/munin0
29907992015,3cyclictest8833-21ls3
29907992015,3cyclictest4526-21cpuspeed_turbos3
29907992015,3cyclictest22822-21timerandwakeup3
29907992015,3cyclictest2082-21systemd-journal3
29907992015,3cyclictest13399-21ntp_kernel_pll_3
29907992014,4cyclictest2963-21ls3
29907992014,4cyclictest2963-21ls3
29907992014,4cyclictest25722-21/usr/sbin/munin3
29907992014,4cyclictest10251-21sendmail3
29907992013,4cyclictest625-21expr3
29907992011,6cyclictest665-21runrttasks3
2989999208,9cyclictest0-21swapper/22
2989999202,15cyclictest8018-21cron2
29899992014,4cyclictest26858-21cat2
29899992014,4cyclictest2534-21date2
29899992013,4cyclictest1570-21basename2
2989999201,16cyclictest32756-21idleruntime-cro2
2989999201,16cyclictest12189-21sendmail-mta2
2989999200,17cyclictest14134-21latency_hist2
2989999200,17cyclictest14134-21latency_hist2
2989799208,6cyclictest28240-21apt-get1
2989799203,9cyclictest25035-21apt-get1
2989799203,11cyclictest8469-21apt-get1
2989799203,10cyclictest7137-21apt-get1
2989799202,15cyclictest21113-21grep1
2989799202,11cyclictest22835-21apt-get1
29897992015,3cyclictest3465-21/usr/sbin/munin1
29897992015,3cyclictest31835-21/usr/sbin/munin1
29897992015,3cyclictest31835-21/usr/sbin/munin1
29897992015,3cyclictest16894-21/usr/sbin/munin1
29897992015,3cyclictest16894-21/usr/sbin/munin1
29897992014,3cyclictest26632-21dump-pmu-power1
29897992013,4cyclictest12265-21wc1
29897992012,5cyclictest665-21runrttasks1
29897992012,4cyclictest29914-21aten2.4-expect1
29897992011,6cyclictest833-21tr1
29893992016,2cyclictest4225-21/usr/sbin/munin0
29893992015,3cyclictest6319-21/usr/sbin/munin0
29893992015,3cyclictest30257-21/usr/sbin/munin0
29893992015,3cyclictest1843-21df_inode0
29893992015,3cyclictest14380-21/usr/sbin/munin0
29893992015,3cyclictest14076-21awk0
29893992015,3cyclictest14076-21awk0
29893992015,3cyclictest13413-21sendmail_mailst0
29893992015,3cyclictest13413-21sendmail_mailst0
29893992014,3cyclictest12163-21awk0
29893992013,4cyclictest424-21latency_hist0
267272200,2sleep30-21swapper/33
2990799193,10cyclictest10531-21apt-get3
29907991914,3cyclictest505-21dbus-daemon3
29907991914,3cyclictest4229-21find3
29907991914,3cyclictest3355-21cut3
29907991914,3cyclictest32277-21df3
29907991914,3cyclictest32277-21df3
29907991914,3cyclictest31175-21hostname3
29907991914,3cyclictest31137-21ntpq3
29907991914,3cyclictest30892-21mailstats3
29907991914,3cyclictest29699-21if_err_enp2s03
29907991914,3cyclictest24776-21if_err_enp3s03
29907991914,3cyclictest24019-21cut3
29907991914,3cyclictest23451-21if_err_enp3s03
29907991914,3cyclictest21883-21pmu-power3
29907991914,3cyclictest20290-21awk3
29907991914,3cyclictest20143-21gltestperf3
29907991914,3cyclictest18491-21gltestperf3
29907991914,3cyclictest16492-21pluginstate3
29907991914,3cyclictest10001-21ntp_kernel_err3
29907991913,4cyclictest28557-21cut3
29907991913,4cyclictest16177-21sh3
29907991913,4cyclictest14913-21grep3
29907991913,4cyclictest14913-21grep3
29907991912,4cyclictest16668-21ls3
29899991917,1cyclictest0-21swapper/22
29899991915,2cyclictest3195-21latency_hist2
29899991914,2cyclictest27071-21/usr/sbin/munin2
29899991913,4cyclictest10130-21wc2
2989999190,3cyclictest28736-1kworker/2:0H2
2989999190,3cyclictest23236-1kworker/2:1H2
2989999190,3cyclictest23236-1kworker/2:1H2
2989999190,3cyclictest23236-1kworker/2:1H2
2989999190,3cyclictest15438-1kworker/2:3H2
2989999190,17cyclictest24628-21procmail2
2989999190,17cyclictest0-21swapper/22
2989799194,9cyclictest32603-21apt-get1
2989799193,10cyclictest19659-21apt-get1
2989799193,10cyclictest13555-21apt-get1
2989799192,10cyclictest14398-21apt-get1
29897991916,2cyclictest0-21swapper/11
29897991914,3cyclictest7263-21cron1
29897991914,3cyclictest5355-21tr1
29897991914,3cyclictest4033-21seq1
29897991914,3cyclictest4033-21seq1
29897991914,3cyclictest3071-21/usr/sbin/munin1
29897991914,3cyclictest19582-21date1
29897991914,3cyclictest15968-21/usr/sbin/munin1
29897991914,3cyclictest12529-21/usr/sbin/munin1
29897991914,3cyclictest11205-21/usr/sbin/munin1
29897991913,3cyclictest23895-21sh1
29897991913,3cyclictest16718-21grep1
29897991912,4cyclictest31813-21cron1
29897991912,4cyclictest31620-21grep1
29897991912,4cyclictest16887-21grep1
29897991911,6cyclictest505-21dbus-daemon1
29897991911,4cyclictest505-21dbus-daemon1
2989399198,6cyclictest32603-21apt-get0
29893991917,1cyclictest0-21swapper/00
29893991915,2cyclictest29526-21sh0
29893991914,3cyclictest3621-21which0
29893991914,3cyclictest28383-21seq0
29893991914,3cyclictest28150-21expr0
29893991914,3cyclictest27952-21latency_hist0
29893991914,3cyclictest25533-21tail0
29893991914,3cyclictest24139-21seq0
29893991914,3cyclictest2246-21date0
29893991914,3cyclictest13382-21seq0
29893991913,4cyclictest24086-21sed0
29893991913,4cyclictest16158-21cat0
29893991913,4cyclictest15448-21basename0
29893991913,3cyclictest30073-21aten2_r9power_c0
29893991913,3cyclictest13942-21expr0
29907991813,3cyclictest985-21sh3
29907991813,3cyclictest6556-21expr3
29907991813,3cyclictest6373-21ntpq3
29907991813,3cyclictest3487-21open_inodes3
29907991813,3cyclictest30467-21sh3
29907991813,3cyclictest30074-21cat3
29907991813,3cyclictest28900-21sed3
29907991813,3cyclictest15842-21apt-key3
29907991812,3cyclictest408-21grep3
2990799181,1cyclictest0-21swapper/33
29907991811,4cyclictest29581-21basename3
2990799180,16cyclictest0-21swapper/33
29899991816,1cyclictest0-21swapper/22
29899991816,1cyclictest0-21swapper/22
29899991813,3cyclictest18324-21sed2
29899991811,4cyclictest3600-21cut2
29899991811,4cyclictest19198-21cpuspeed_turbos2
2989999180,16cyclictest4072-21perf2
2989999180,16cyclictest4072-21perf2
2989799182,9cyclictest30276-21apt-get1
2989799182,9cyclictest26714-21lldpd1
29897991816,1cyclictest0-21swapper/11
29897991816,1cyclictest0-21swapper/11
29897991816,1cyclictest0-21swapper/11
29897991814,2cyclictest26865-21/usr/sbin/munin1
29897991814,2cyclictest25722-21/usr/sbin/munin1
29897991814,2cyclictest2563-21/usr/sbin/munin1
29897991814,2cyclictest23693-21/usr/sbin/munin1
29897991813,3cyclictest29090-21/usr/sbin/munin1
29897991813,3cyclictest27296-21wc1
29897991813,3cyclictest18485-21sh1
29897991813,3cyclictest10336-21sed1
29897991813,3cyclictest1014-21/usr/sbin/munin1
2989799181,14cyclictest2082-21systemd-journal1
29897991811,4cyclictest12407-21aten2.4-expect1
29897991811,4cyclictest12407-21aten2.4-expect1
29897991811,4cyclictest10981-21grep1
29897991810,4cyclictest23034-21aten2.4-expect1
29893991814,2cyclictest5095-21/usr/sbin/munin0
29893991814,2cyclictest15968-21/usr/sbin/munin0
29893991813,3cyclictest9138-21ntpq0
29893991813,3cyclictest665-21runrttasks0
29893991813,3cyclictest665-21runrttasks0
29893991813,3cyclictest6183-21expr0
29893991813,3cyclictest3476-21cat0
29893991813,3cyclictest31835-21/usr/sbin/munin0
29893991813,3cyclictest31835-21/usr/sbin/munin0
29893991813,3cyclictest29154-21cpuspeed_turbos0
29893991813,3cyclictest27530-21awk0
29893991813,3cyclictest23408-21cat0
29893991813,3cyclictest22825-21wc0
29893991813,3cyclictest22154-21cut0
29893991813,3cyclictest21685-21ntp_states0
29893991813,3cyclictest20960-21/usr/sbin/munin0
29893991813,3cyclictest2082-21systemd-journal0
29893991813,3cyclictest19378-21latency_hist0
29893991813,3cyclictest18309-21expr0
29893991813,3cyclictest11013-21cat0
29893991812,4cyclictest7521-21expr0
29893991812,4cyclictest30243-21df_inode0
29893991812,4cyclictest18975-21cut0
29893991812,4cyclictest16897-21find0
29893991812,4cyclictest16897-21find0
29893991812,4cyclictest11833-21grep0
29893991812,3cyclictest2695-21sh0
29893991812,3cyclictest2695-21sh0
29907991714,2cyclictest0-21swapper/33
29907991712,3cyclictest665-21runrttasks3
29907991712,3cyclictest23022-21aten2_r9power_c3
29907991712,3cyclictest18201-21unixbench_multi3
29907991712,3cyclictest18201-21unixbench_multi3
29907991712,3cyclictest17849-21ls3
29907991712,3cyclictest13872-21seq3
29907991712,3cyclictest13872-21seq3
29907991712,3cyclictest13425-21cut3
29907991712,3cyclictest12614-21users3
29907991712,3cyclictest10140-21if_enp3s03
29907991711,4cyclictest31308-21expr3
2990799170,2cyclictest26151-21switchtime3
2989999173,8cyclictest3089-21apt-get2
2989999172,8cyclictest24858-21apt-get2
29899991712,3cyclictest29279-21cat2
29899991711,4cyclictest32654-21cut2
29899991711,4cyclictest30024-21idleruntime-cro2
2989999170,13cyclictest4689-21grep2
2989799173,8cyclictest27091-21apt-get1
29897991713,2cyclictest21661-21/usr/sbin/munin1
29897991712,3cyclictest5226-21cut1
29893991714,2cyclictest0-21swapper/00
29893991713,2cyclictest6243-21/usr/sbin/munin0
29893991713,2cyclictest1132-21aten2_r9power_v0
29893991712,3cyclictest9343-21sh0
29893991712,3cyclictest665-21runrttasks0
29893991712,3cyclictest4325-21aten2_r9power_c0
29893991712,3cyclictest24303-21if_enp3s00
29893991712,3cyclictest16413-21/usr/sbin/munin0
29893991712,3cyclictest10888-21if_enp2s00
29893991711,4cyclictest1280-21cat0
29893991710,4cyclictest9852-21grep0
157632170,2sleep20-21swapper/22
29907991612,2cyclictest665-21runrttasks3
29907991611,3cyclictest17067-21uname3
29897991612,2cyclictest665-21runrttasks1
29897991612,2cyclictest6319-21/usr/sbin/munin1
29897991611,3cyclictest28920-21/usr/sbin/munin1
29893991611,3cyclictest2156-21seq0
29893991611,3cyclictest19027-21if_enp3s00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional