You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-27 - 18:58
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Nov 27, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
63762301264,25sleep10-21swapper/11
683999284277,5cyclictest6557-21awk1
66912246177,39sleep20-21swapper/22
65512245176,24sleep30-21swapper/33
64102238173,52sleep00-21swapper/00
683699165157,4cyclictest6550-21perf0
684699164158,4cyclictest6532-21munin-run2
1370921430,2sleep2684699cyclictest2
685099114109,3cyclictest0-21swapper/33
258442460,1sleep10-21swapper/11
120152430,1sleep00-21swapper/00
684699282,6cyclictest15787-21apt-get2
66622280,1sleep20-21swapper/22
685099273,6cyclictest0-21swapper/33
684699272,22cyclictest0-21swapper/22
685099262,14cyclictest5575-21timerandwakeup3
685099253,9cyclictest2364-21aten2_r9power_e3
6846992514,10cyclictest0-21swapper/22
684699251,20cyclictest22025-21munin-run2
685099243,7cyclictest23863-21ntp_states3
685099242,9cyclictest23772-21aten2_r9power_c3
685099242,9cyclictest23772-21aten2_r9power_c3
685099242,8cyclictest26765-21diskstats3
685099241,9cyclictest8482-21cat3
684699245,3cyclictest0-21swapper/22
684699243,7cyclictest31656-21apt-get2
684699242,16cyclictest27037-21apt-get2
684699241,19cyclictest20678-21munin-run2
685099234,5cyclictest32093-21taskset3
685099233,6cyclictest1487-21taskset3
685099232,18cyclictest28353-21grep3
685099231,9cyclictest28559-21missed_timers3
685099231,9cyclictest16955-21aten2.4-expect3
684699233,17cyclictest7735-21sed2
684699233,17cyclictest4601-21sendmail-mta2
684699233,17cyclictest4091-21latency_hist2
684699232,4cyclictest3104-21apt-get2
684699232,19cyclictest0-21swapper/22
6846992317,3cyclictest10915-21sh2
6846992316,4cyclictest24053-21munin-run2
684699231,4cyclictest30855-21munin-run2
684699231,19cyclictest505-21dbus-daemon2
684699231,19cyclictest17672-21apt-get2
684699231,18cyclictest25187-21sendmail-mta2
6846992310,3cyclictest22137-21timerandwakeup2
6839992318,3cyclictest21-21ksoftirqd/11
6839992318,3cyclictest21-21ksoftirqd/11
6836992315,5cyclictest13760-21idleruntime-cro0
685099223,6cyclictest11318-21taskset3
685099222,7cyclictest22393-21taskset3
685099222,6cyclictest35-21ksoftirqd/33
685099222,6cyclictest15363-21taskset3
685099222,5cyclictest0-21swapper/33
6850992215,5cyclictest32056-21if_enp2s03
684699225,3cyclictest29645-21latency_hist2
6846992215,5cyclictest8316-21diskstats2
6846992214,5cyclictest4375-21apt-get2
684699221,18cyclictest27556-21cron2
684699221,18cyclictest11491-21sendmail-msp2
6839992217,3cyclictest21-21ksoftirqd/11
685099212,6cyclictest14454-21runrttasks3
685099211,6cyclictest7948-21rs:main3
685099211,6cyclictest19522-21taskset3
6850992115,4cyclictest14177-21ntp_states3
6850992114,5cyclictest7431-21cpuspeed_turbos3
6850992114,5cyclictest6204-21expr3
6850992114,5cyclictest13601-21expr3
6850992110,7cyclictest32194-21apt-get3
684699212,17cyclictest28109-21latency_hist2
6846992116,3cyclictest5141-21/usr/sbin/munin2
6846992114,4cyclictest18221-21grep2
684699211,18cyclictest13024-21munin-run2
6839992117,2cyclictest14602-21turbostat.cron1
6839992116,3cyclictest2696-21acpi1
6839992116,3cyclictest21-21ksoftirqd/11
6839992115,4cyclictest29258-21ntpq1
6839992115,4cyclictest18576-21pluginstate1
6839992114,4cyclictest1119-21diskstats1
683999211,17cyclictest8581-21apt-get1
6836992118,2cyclictest0-21swapper/00
6836992116,3cyclictest11709-21/usr/sbin/munin0
6836992115,4cyclictest6516-21cut0
6836992115,4cyclictest26849-21cups-browsed0
6836992114,4cyclictest24066-21turbostat.cron0
685099202,6cyclictest35-21ksoftirqd/33
685099202,6cyclictest24012-21runrttasks3
685099201,7cyclictest10626-21taskset3
685099201,6cyclictest35-21ksoftirqd/33
6850992014,4cyclictest6778-21expr3
6850992014,4cyclictest17147-21cat3
6850992014,4cyclictest12012-21ntp_kernel_pll_3
6850992014,4cyclictest11701-21fw_packets3
6850992013,4cyclictest26112-21cat3
684699207,10cyclictest6892-21aten2_r9power_p2
684699202,6cyclictest11727-21apt-get2
6846992017,2cyclictest0-21swapper/22
6846992016,2cyclictest1492-21df2
6846992015,3cyclictest11596-21diskstats2
6846992014,4cyclictest32002-21open_inodes2
6846992014,4cyclictest32002-21open_inodes2
6846992014,4cyclictest23014-21telnet2
684699201,3cyclictest30157-21munin-run2
6846992013,4cyclictest7430-21expr2
6846992013,4cyclictest21079-21sh2
6846992013,4cyclictest13713-21expr2
6846992011,5cyclictest13744-21apt-get2
6846992011,4cyclictest3807-21apt-get2
684699200,3cyclictest26033-1kworker/2:0H2
684699200,18cyclictest17287-21cat2
684699200,18cyclictest10547-21apt-config2
683999208,3cyclictest21-21ksoftirqd/11
6839992016,2cyclictest30394-21/usr/sbin/munin1
6839992015,3cyclictest8965-21munin-node1
6839992015,3cyclictest4731-21ls1
6839992015,3cyclictest25774-21/usr/sbin/munin1
6839992015,3cyclictest22963-21/usr/sbin/munin1
6839992015,3cyclictest13725-21/usr/sbin/munin1
6839992015,3cyclictest13539-21sed1
6839992015,3cyclictest13202-21/usr/sbin/munin1
6839992015,3cyclictest10759-21/usr/sbin/munin1
6839992014,4cyclictest908-21cat1
6839992014,4cyclictest8404-21sed1
6839992014,4cyclictest23194-21seq1
6839992012,5cyclictest15468-21tr1
6836992015,3cyclictest8481-21seq0
6836992015,3cyclictest30917-21sed0
6836992015,3cyclictest29194-21munin-plugin-st0
6836992015,3cyclictest25680-21latency0
6836992014,4cyclictest7511-21sed0
6836992014,4cyclictest27018-21/usr/sbin/munin0
6836992014,4cyclictest20448-21seq0
6836992013,4cyclictest14624-21basename0
6836992012,5cyclictest22041-21sh0
35232200,4sleep10-21swapper/11
685099192,5cyclictest0-21swapper/33
6850991914,3cyclictest905-21cpuspeed3
6850991914,3cyclictest8437-21vmstat3
6850991914,3cyclictest31944-21ntp_kernel_err3
6850991914,3cyclictest31944-21ntp_kernel_err3
6850991914,3cyclictest23353-21/usr/sbin/munin3
6850991914,3cyclictest19917-21ls3
6850991914,3cyclictest19770-21head3
6850991914,3cyclictest10293-21interrupts3
6850991914,3cyclictest10087-21seq3
6850991914,3cyclictest10087-21seq3
6850991914,2cyclictest3978-21sh3
6850991913,4cyclictest4148-21expr3
6850991913,4cyclictest15768-21/usr/sbin/munin3
6850991913,4cyclictest12417-21expr3
6850991912,4cyclictest1077-21apt3
685099190,6cyclictest21963-21runrttasks3
685099190,5cyclictest0-21swapper/33
684699193,9cyclictest29478-21apt-get2
684699192,14cyclictest15905-21kernelversion2
6846991914,3cyclictest32686-21sed2
6846991914,3cyclictest23255-21date2
6846991914,3cyclictest17960-21swap2
6846991914,3cyclictest14564-21unixbench_singl2
6846991914,3cyclictest11871-21sed2
684699190,17cyclictest0-21swapper/22
683999198,6cyclictest17282-21apt-get1
683999193,14cyclictest25141-21sh1
6839991915,2cyclictest6376-21/usr/sbin/munin1
6839991915,2cyclictest29849-21/usr/sbin/munin1
6839991915,2cyclictest24301-21/usr/sbin/munin1
6839991915,2cyclictest18092-21/usr/sbin/munin1
6839991914,3cyclictest4179-21expr1
6839991914,3cyclictest2969-21sed1
6839991914,3cyclictest27454-21sh1
6839991914,3cyclictest21943-21cat1
6839991914,3cyclictest21-21ksoftirqd/11
6839991914,3cyclictest16867-21seq1
6839991914,3cyclictest13786-21expr1
6839991914,3cyclictest11595-21expr1
6839991913,4cyclictest8855-21seq1
6839991913,4cyclictest6441-21cat1
6839991913,4cyclictest20476-21wc1
6836991915,2cyclictest32420-21/usr/sbin/munin0
6836991914,3cyclictest7173-21/usr/sbin/munin0
6836991914,3cyclictest665-21runrttasks0
6836991914,3cyclictest30724-21seq0
6836991914,3cyclictest15768-21/usr/sbin/munin0
6836991913,4cyclictest25628-21cut0
6836991913,4cyclictest25628-21cut0
6836991913,4cyclictest19541-21ls0
6836991913,4cyclictest1948-21sh0
6836991913,4cyclictest11687-21cat0
6836991912,5cyclictest505-21dbus-daemon0
685099187,6cyclictest28387-21apt-get3
685099183,12cyclictest13108-21/usr/sbin/munin3
6850991816,1cyclictest0-21swapper/33
6850991814,2cyclictest30042-21cpu3
6850991813,3cyclictest3645-21pmu-power3
6850991813,3cyclictest28282-21ntp_kernel_pll_3
6850991813,3cyclictest26155-21timerandwakeup3
6850991813,3cyclictest16604-21sed3
6850991813,3cyclictest15638-21grep3
6850991811,5cyclictest26645-21/usr/sbin/munin3
685099180,7cyclictest35-21ksoftirqd/33
6846991816,1cyclictest0-21swapper/22
6846991816,1cyclictest0-21swapper/22
6846991813,3cyclictest665-21runrttasks2
6846991813,3cyclictest24476-21sed2
6846991813,3cyclictest24476-21sed2
684699181,15cyclictest26815-21sort2
684699180,3cyclictest665-21runrttasks2
684699180,16cyclictest31656-21apt-get2
683999183,9cyclictest9139-21apt-get1
683999183,9cyclictest7038-21apt-get1
6839991816,1cyclictest0-21swapper/11
6839991816,1cyclictest0-21swapper/11
6839991814,2cyclictest9206-21/usr/sbin/munin1
6839991814,2cyclictest9206-21/usr/sbin/munin1
6839991814,2cyclictest15791-21aten2_r9power_c1
6839991814,2cyclictest15314-21/usr/sbin/munin1
6839991813,3cyclictest28109-21latency_hist1
6839991813,3cyclictest2146-21expr1
6839991813,3cyclictest20534-21expr1
6839991813,3cyclictest20153-21ls1
6839991813,3cyclictest10778-21switchtime1
6839991812,4cyclictest30676-21cat1
6839991812,4cyclictest29389-21cut1
6839991812,4cyclictest25582-21cat1
6839991812,3cyclictest9912-21acpi1
683999181,16cyclictest0-21swapper/11
683999180,16cyclictest0-21swapper/11
683999180,15cyclictest5461-21grep1
6836991814,2cyclictest2388-21aten2_r9power_p0
6836991814,2cyclictest20940-21/usr/sbin/munin0
6836991813,3cyclictest9483-21expr0
6836991813,3cyclictest7151-21cut0
6836991813,3cyclictest673-21/usr/sbin/munin0
6836991813,3cyclictest665-21runrttasks0
6836991813,3cyclictest665-21runrttasks0
6836991813,3cyclictest4988-21date0
6836991813,3cyclictest4956-21if_enp3s00
6836991813,3cyclictest31089-21/usr/sbin/munin0
6836991813,3cyclictest31089-21/usr/sbin/munin0
6836991813,3cyclictest30107-21ls0
6836991813,3cyclictest27486-21xargs0
6836991813,3cyclictest25774-21/usr/sbin/munin0
6836991813,3cyclictest24301-21/usr/sbin/munin0
6836991813,3cyclictest24099-21cat0
6836991813,3cyclictest17262-21/usr/sbin/munin0
6836991813,3cyclictest15258-21seq0
6836991813,3cyclictest1524-21latency_hist0
6836991813,3cyclictest15166-21sed0
6836991813,3cyclictest12388-21sed0
6836991813,3cyclictest11069-21wc0
6836991813,3cyclictest11069-21wc0
6836991812,4cyclictest9506-21seq0
6836991812,4cyclictest5532-21expr0
6836991812,4cyclictest20010-21sleep0
6836991812,4cyclictest11227-21grep0
683699181,16cyclictest0-21swapper/00
683699180,16cyclictest9805-21kworker/0:20
6850991715,1cyclictest0-21swapper/33
6850991712,3cyclictest30213-21memory3
6850991712,3cyclictest10006-21cut3
6846991711,4cyclictest10998-21latency_hist2
6846991711,4cyclictest10998-21latency_hist2
684699171,12cyclictest24338-21aten2_r9power_c2
684699170,16cyclictest0-21swapper/22
6839991713,2cyclictest8965-21munin-node1
6839991712,3cyclictest24129-21expr1
6839991712,3cyclictest24129-21expr1
6839991712,3cyclictest24105-21date1
683999171,1cyclictest0-21swapper/11
683699174,11cyclictest17031-21dump-pmu-power0
683699173,8cyclictest16895-21apt-get0
6836991713,2cyclictest9078-21irqstats0
6836991712,3cyclictest995-21latency_hist0
6836991712,3cyclictest665-21runrttasks0
6836991712,3cyclictest28153-21cstates0
6836991711,4cyclictest4552-21expr0
6836991711,4cyclictest16335-21seq0
6836991711,4cyclictest12268-21cat0
6836991614,1cyclictest0-21swapper/00
6836991611,3cyclictest14126-21grep0
6836991510,3cyclictest9-21ksoftirqd/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional