You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-27 - 15:28
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Sat Apr 27, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
41532312276,24sleep20-21swapper/22
41022311274,25sleep10-21swapper/11
40062285248,24sleep30-21swapper/33
431199271255,12cyclictest8832-21munin-run2
39622263202,47sleep00-21swapper/00
430199260251,5cyclictest8881-21sendmail-msp0
430699250242,6cyclictest8855-21perf1
431699195183,9cyclictest8882-21awk3
159762530,2sleep10-21swapper/11
54252380,1sleep00-21swapper/00
4316992822,3cyclictest2399-21/usr/sbin/munin3
4316992822,3cyclictest2399-21/usr/sbin/munin3
431199277,18cyclictest27815-21turbostat2
431199269,15cyclictest5408-21sendmail-mta2
4311992411,10cyclictest15726-21latency_hist2
430699240,5cyclictest1-21systemd1
431199233,18cyclictest13706-21cat2
4311992316,4cyclictest9392-21sh2
431199231,4cyclictest10333-21gdbus2
431199231,19cyclictest13715-21munin-run2
431199231,19cyclictest11360-21munin-run2
4316992216,4cyclictest30465-21tail3
431699221,19cyclictest3883-21cut3
431199223,17cyclictest15535-21cat2
4311992216,4cyclictest9275-21sendmail2
4311992216,4cyclictest7242-21seq2
431199221,5cyclictest21829-21sendmail-mta2
4311992214,5cyclictest505-21dbus-daemon2
431199221,3cyclictest2082-21systemd-journal2
431199221,3cyclictest15171-1kworker/2:1H2
431199221,19cyclictest29452-21http2
4311992210,11cyclictest28-21ksoftirqd/22
431199220,5cyclictest23755-21idleruntime-cro2
430699222,17cyclictest1257-21awk1
4301992216,3cyclictest2082-21systemd-journal0
4316992116,3cyclictest22381-21seq3
4316992115,4cyclictest341-21ntp_states3
4316992115,4cyclictest27638-21apt3
4316992115,4cyclictest16302-21diskstats3
4316992115,4cyclictest15994-21http3
4316992115,4cyclictest1345-21munin-run3
4316992115,3cyclictest2680-21swap3
4316992114,5cyclictest31969-21date3
431699210,20cyclictest12886-21kworker/3:13
4311992116,3cyclictest9614-21dpkg2
4311992116,3cyclictest4543-21aten2_r9power_e2
4311992116,3cyclictest18323-21cut2
4311992116,3cyclictest11424-21apt2
4311992116,2cyclictest16657-21if_err_enp3s02
4311992115,4cyclictest5283-21sendmail2
4311992115,4cyclictest19276-21seq2
431199211,4cyclictest10333-21gdbus2
431199211,3cyclictest7330-21munin-run2
431199211,3cyclictest13747-1kworker/2:0H2
4311992113,5cyclictest505-21dbus-daemon2
431199211,18cyclictest28006-21apt-get2
431199211,18cyclictest0-21swapper/22
431199211,17cyclictest23631-21munin-run2
431199210,4cyclictest21621-21cron2
430699215,3cyclictest111rcu_preempt1
4306992116,3cyclictest4581-21switchtime1
4306992115,4cyclictest6943-21seq1
4306992115,4cyclictest20033-21/usr/sbin/munin1
4306992115,3cyclictest32504-21if_enp3s01
4306992114,4cyclictest17142-21seq1
4306992114,4cyclictest15442-21seq1
430199219,9cyclictest0-21swapper/00
4301992116,3cyclictest6414-21ntp_states0
4301992116,3cyclictest30803-21ntpq0
4301992115,4cyclictest505-21dbus-daemon0
216392210,4sleep021622-21cron0
4316992015,3cyclictest8522-21ntp_states3
4316992015,3cyclictest6238-21turbostat.cron3
4316992015,3cyclictest5693-21cpuspeed3
4316992015,3cyclictest5627-21find3
4316992015,3cyclictest35-21ksoftirqd/33
4316992015,3cyclictest27103-21swap3
4316992015,3cyclictest23994-21apt-get3
4316992015,3cyclictest22820-21timerwakeupswit3
4316992015,3cyclictest18982-21switchtime3
4316992015,3cyclictest16973-21pmu-power3
4316992014,4cyclictest8327-21cat3
4316992014,4cyclictest22690-21needreboot3
4316992014,4cyclictest12877-21grep3
4316992014,4cyclictest12671-21cat3
4316992013,4cyclictest20659-21wc3
4311992016,3cyclictest17664-21sendmail-msp2
4311992016,2cyclictest30248-21cpuspeed_turbos2
4311992016,2cyclictest23378-21munin-run2
4311992015,3cyclictest5259-21sh2
4311992015,3cyclictest2603-21switchtime2
4311992015,3cyclictest19675-21aten2_r9power_e2
4311992015,3cyclictest14988-21users2
4311992015,3cyclictest0-21swapper/22
4311992014,4cyclictest31571-21seq2
4311992014,4cyclictest24500-21ntpq2
4311992014,4cyclictest24500-21ntpq2
4311992014,3cyclictest7270-21idleruntime-cro2
4311992014,3cyclictest2131-21sed2
431199201,3cyclictest15171-1kworker/2:1H2
4311992013,4cyclictest18294-21sort2
431199201,2cyclictest0-21swapper/22
431199200,3cyclictest13747-1kworker/2:0H2
431199200,17cyclictest3240-21cron2
431199200,17cyclictest3240-21cron2
4306992016,2cyclictest18779-21missed_timers1
4306992015,3cyclictest3605-21/usr/sbin/munin1
4306992015,3cyclictest26930-21ntp_offset1
4306992015,3cyclictest24032-21/usr/sbin/munin1
4306992015,3cyclictest18133-21sh1
4306992015,3cyclictest13600-21/usr/sbin/munin1
4306992014,4cyclictest31170-21find1
4306992014,4cyclictest25289-21seq1
4306992014,4cyclictest25289-21seq1
4306992014,4cyclictest19205-21seq1
4306992014,4cyclictest14852-21ntp_states1
4306992011,5cyclictest11870-21apt-get1
4306992010,6cyclictest17902-21apt-get1
430199203,14cyclictest5448-21wc0
4301992016,2cyclictest7929-21df0
4301992015,3cyclictest9847-21/usr/sbin/munin0
4301992015,3cyclictest7262-21cron0
4301992015,3cyclictest28695-21snmpd0
4301992015,3cyclictest11852-21/usr/sbin/munin0
4301992014,4cyclictest24600-21cat0
4301992014,4cyclictest1607-21/usr/sbin/munin0
4301992013,4cyclictest6407-21sed0
4301992010,7cyclictest5395-21perf0
4316991914,3cyclictest7760-21cpu3
4316991914,3cyclictest5672-21aten2_r9power_p3
4316991914,3cyclictest27139-21timerandwakeup3
4316991914,3cyclictest27139-21timerandwakeup3
4316991914,3cyclictest21860-21latency_hist3
4316991914,3cyclictest21227-21sed3
4316991914,3cyclictest14715-21load3
4316991914,3cyclictest10493-21if_err_enp3s03
4316991913,4cyclictest5482-21cat3
4316991913,4cyclictest31942-21apt3
4316991913,4cyclictest24382-21cat3
4316991913,4cyclictest21543-21cut3
4316991913,3cyclictest5737-21cat3
4316991912,4cyclictest9893-21cat3
4316991912,4cyclictest28243-21cat3
4311991917,1cyclictest0-21swapper/22
4311991915,2cyclictest5324-21latency_hist2
4311991914,3cyclictest9661-21awk2
4311991913,4cyclictest15805-21date2
431199191,16cyclictest292-21jbd2/mmcblk0p2-2
431199191,16cyclictest17734-21sh2
4311991910,6cyclictest505-21dbus-daemon2
431199190,3cyclictest13747-1kworker/2:0H2
431199190,17cyclictest3318-21latency_hist2
431199190,17cyclictest18320-21df_inode2
4306991915,2cyclictest9884-21aten2_r9power_c1
4306991915,2cyclictest21985-21/usr/sbin/munin1
4306991914,3cyclictest9965-21cat1
4306991914,3cyclictest8030-21cat1
4306991914,3cyclictest7565-21/usr/sbin/munin1
4306991914,3cyclictest7507-21/usr/sbin/munin1
4306991914,3cyclictest5618-21/usr/sbin/munin1
4306991914,3cyclictest28651-21sed1
4306991914,3cyclictest28037-21/usr/sbin/munin1
4306991914,3cyclictest27622-21/usr/sbin/munin1
4306991914,3cyclictest26002-21/usr/sbin/munin1
4306991914,3cyclictest26002-21/usr/sbin/munin1
4306991914,3cyclictest23482-21seq1
4306991914,3cyclictest23181-21seq1
4306991914,3cyclictest21870-21/usr/sbin/munin1
4306991914,3cyclictest2135-21if_err_enp3s01
4306991914,3cyclictest2135-21if_err_enp3s01
4306991914,3cyclictest1607-21/usr/sbin/munin1
4306991914,3cyclictest1563-21/usr/sbin/munin1
4306991914,3cyclictest13713-21/usr/sbin/munin1
4306991914,3cyclictest12987-21users1
4306991914,3cyclictest12904-21seq1
4306991913,4cyclictest31339-21seq1
4306991913,4cyclictest29709-21seq1
4306991913,4cyclictest21234-21cat1
4306991913,4cyclictest13845-21date1
4306991912,4cyclictest5800-21grep1
4306991912,4cyclictest30337-21cat1
4306991910,5cyclictest3576-21apt-get1
4301991915,2cyclictest9823-21cpuspeed0
4301991915,2cyclictest13961-21/usr/sbin/munin0
4301991915,2cyclictest13713-21/usr/sbin/munin0
4301991914,3cyclictest665-21runrttasks0
4301991914,3cyclictest32177-21sh0
4301991914,3cyclictest28695-21snmpd0
4301991914,3cyclictest21807-21turbostat.cron0
4301991914,3cyclictest19952-21sed0
4301991914,3cyclictest17793-21sh0
4301991914,3cyclictest15857-21/usr/sbin/munin0
4301991913,4cyclictest6294-21cat0
4301991913,4cyclictest587-21sed0
4301991913,4cyclictest25217-21seq0
4301991913,4cyclictest25217-21seq0
4301991913,4cyclictest12301-21cat0
430199191,16cyclictest10865-21apt0
4301991910,5cyclictest26020-21apt-get0
4301991910,5cyclictest26020-21apt-get0
431699188,6cyclictest27934-21apt-get3
431699183,9cyclictest32004-21apt-get3
4316991816,1cyclictest0-21swapper/33
4316991813,3cyclictest30292-21ls3
4316991813,3cyclictest26509-21ntp_kernel_pll_3
4316991813,3cyclictest25768-21cat3
4316991813,3cyclictest17990-21/usr/sbin/munin3
4316991813,3cyclictest14049-21cpuspeed3
4316991813,3cyclictest12008-21if_enp3s03
4316991812,4cyclictest28422-21cat3
4316991812,4cyclictest17393-21idleruntime-cro3
4316991812,3cyclictest4560-21swap3
4316991811,4cyclictest18074-21diskstats3
431199189,7cyclictest25775-21cron2
4311991813,3cyclictest0-21swapper/22
4311991813,3cyclictest0-21swapper/22
4311991812,4cyclictest26687-21rt-features2
4311991812,3cyclictest31789-21latency_hist2
4306991815,2cyclictest0-21swapper/11
4306991814,2cyclictest15487-21apt-get1
4306991813,3cyclictest9646-21/usr/sbin/munin1
4306991813,3cyclictest665-21runrttasks1
4306991813,3cyclictest2082-21systemd-journal1
4306991813,3cyclictest20796-21pluginstate1
4306991813,3cyclictest20023-21cat1
4306991813,3cyclictest16077-21hostname1
4306991812,4cyclictest8605-21cat1
4306991812,4cyclictest3865-21cat1
4306991812,4cyclictest1949-21diskstats1
4306991812,4cyclictest1029-21seq1
4301991814,2cyclictest25636-21/usr/sbin/munin0
4301991814,2cyclictest1493-21/usr/sbin/munin0
4301991814,2cyclictest1493-21/usr/sbin/munin0
4301991813,3cyclictest7613-21aten2.4-expect0
4301991813,3cyclictest7507-21/usr/sbin/munin0
4301991813,3cyclictest32140-21ls0
4301991813,3cyclictest30808-21ntp_states0
4301991813,3cyclictest26337-21grep0
4301991813,3cyclictest22573-21sed0
4301991813,3cyclictest18063-21df0
4301991812,4cyclictest4658-21sed0
4301991812,4cyclictest29801-21dump-pmu-power0
4301991812,4cyclictest23208-21seq0
4301991812,3cyclictest32035-21aten2.4-expect0
4301991812,3cyclictest28513-21gltestperf0
4301991812,3cyclictest18607-21wc0
4301991812,3cyclictest11713-21aten2.4-expect0
4301991811,4cyclictest22355-21grep0
4301991811,4cyclictest14190-21cstates0
430199180,16cyclictest0-21swapper/00
4316991713,2cyclictest29914-21/usr/sbin/munin3
4316991712,3cyclictest665-21runrttasks3
4316991712,3cyclictest665-21runrttasks3
4316991712,3cyclictest665-21runrttasks3
4316991712,3cyclictest14537-21uname3
4316991711,3cyclictest22392-21cat3
4316991711,3cyclictest10468-21ntp_kernel_pll_3
431699170,16cyclictest0-21swapper/33
4311991712,3cyclictest665-21runrttasks2
4306991713,2cyclictest665-21runrttasks1
4306991712,3cyclictest32339-21cstates1
4306991711,4cyclictest4689-21cat1
430199178,7cyclictest0-21swapper/00
4301991713,3cyclictest24769-21ntp_states0
4301991713,2cyclictest11708-21gpgv0
4301991712,3cyclictest665-21runrttasks0
4301991712,3cyclictest665-21runrttasks0
4301991712,3cyclictest665-21runrttasks0
4301991712,3cyclictest27662-21cut0
4301991712,3cyclictest16266-21tr0
4301991711,4cyclictest2812-21sed0
4316991612,2cyclictest665-21runrttasks3
4316991611,3cyclictest8138-21interrupts3
4316991611,3cyclictest1763-21cpuspeed3
4316991611,3cyclictest13983-21cat3
4306991612,2cyclictest665-21runrttasks1
430199169,4cyclictest26023-21aten2_r9power_p0
430199164,7cyclictest7638-21apt-get0
4301991611,3cyclictest28153-21cpuspeed_turbos0
4301991611,3cyclictest2640-21grep0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional