You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-05-09 - 10:45
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri May 09, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
33502348268,26sleep10-21swapper/11
364699283277,4cyclictest8156-21perf0
34442252184,55sleep20-21swapper/22
32722244173,24sleep30-21swapper/33
33292228190,25sleep00-21swapper/00
365999220214,3cyclictest8136-21munin-run3
365199206198,5cyclictest8177-21idleruntime-cro1
365499187182,3cyclictest8178-21sendmail2
247492500,1sleep10-21swapper/11
220852460,4sleep00-21swapper/00
92222440,1sleep30-21swapper/33
223782420,1sleep30-21swapper/33
12002410,3sleep00-21swapper/00
249122340,2sleep30-21swapper/33
3646993229,2cyclictest101rcuc/00
365999280,26cyclictest24612-21kworker/3:03
364699271,14cyclictest4324-21expr0
3654992612,11cyclictest9834-21seq2
3651992620,4cyclictest16219-21apt-config1
364699261,10cyclictest10705-21expr0
305652260,1sleep20-21swapper/22
364699243,8cyclictest3763-21seq0
364699242,6cyclictest5863-21seq0
3646992418,4cyclictest18196-21apt0
364699240,8cyclictest9-21ksoftirqd/00
260952240,3sleep126098-21unixbench_multi1
365499235,16cyclictest12189-21cat2
365499230,20cyclictest24503-40mandb2
364699232,7cyclictest1999-21taskset0
364699231,8cyclictest18498-21appstreamcli0
364699231,6cyclictest9-21ksoftirqd/00
364699231,6cyclictest31710-21seq0
3646992316,5cyclictest505-21dbus-daemon0
3646992315,5cyclictest15877-21sendmail0
364699230,9cyclictest9-21ksoftirqd/00
364699230,9cyclictest9-21ksoftirqd/00
364699230,6cyclictest9-21ksoftirqd/00
364699230,6cyclictest9-21ksoftirqd/00
364699230,6cyclictest9-21ksoftirqd/00
3659992217,3cyclictest35-21ksoftirqd/33
3659992216,3cyclictest6934-21ntpq3
3659992215,4cyclictest20280-21latency_hist3
3654992217,3cyclictest20477-21munin-run2
3651992218,2cyclictest304592sleep11
3651992215,5cyclictest11266-21awk1
3651992215,4cyclictest4527-21diskstats1
3651992214,5cyclictest15962-21sh1
3651992213,6cyclictest9027-21cat1
364699225,9cyclictest9-21ksoftirqd/00
364699225,9cyclictest9-21ksoftirqd/00
364699225,9cyclictest9-21ksoftirqd/00
364699222,6cyclictest17916-21seq0
364699222,5cyclictest9-21ksoftirqd/00
364699221,6cyclictest30218-21seq0
364699221,6cyclictest26406-21runrttasks0
364699221,6cyclictest18032-21seq0
3646992216,3cyclictest23172-21kernelversion0
364699220,8cyclictest9-21ksoftirqd/00
364699220,8cyclictest9-21ksoftirqd/00
364699220,8cyclictest9-21ksoftirqd/00
364699220,8cyclictest9-21ksoftirqd/00
364699220,8cyclictest9-21ksoftirqd/00
364699220,7cyclictest9-21ksoftirqd/00
364699220,6cyclictest9-21ksoftirqd/00
364699220,6cyclictest9-21ksoftirqd/00
364699220,6cyclictest9-21ksoftirqd/00
364699220,6cyclictest9-21ksoftirqd/00
364699220,11cyclictest9-21ksoftirqd/00
3659992114,5cyclictest8057-21cron3
3659992114,4cyclictest22475-21cron3
3659992114,4cyclictest14163-21idleruntime-cro3
3659992113,5cyclictest1634-21sh3
365499213,16cyclictest20214-21cat2
365499213,16cyclictest17971-21latency_hist2
365499212,17cyclictest22461-21cat2
3654992116,3cyclictest32246-21cron2
3654992116,3cyclictest27165-21diskstats2
3654992116,3cyclictest26528-21acpi2
3654992116,3cyclictest19430-21open_files2
3654992115,4cyclictest724-21diskstats2
3654992115,4cyclictest2082-21systemd-journal2
3654992114,4cyclictest304-21basename2
365199211,5cyclictest0-21swapper/11
3651992115,4cyclictest1845-21seq1
3651992115,4cyclictest15935-21seq1
3651992114,4cyclictest9643-21seq1
3651992114,4cyclictest30059-21seq1
3651992114,4cyclictest24010-21seq1
3651992114,4cyclictest22839-21expr1
3651992114,4cyclictest20179-21seq1
364699212,6cyclictest9-21ksoftirqd/00
3646992118,2cyclictest101rcuc/00
364699211,7cyclictest9-21ksoftirqd/00
364699211,7cyclictest9-21ksoftirqd/00
364699211,6cyclictest28195-21runrttasks0
364699211,6cyclictest26021-21seq0
364699211,6cyclictest1331-21seq0
3646992116,3cyclictest5192-21grep0
364699210,6cyclictest9-21ksoftirqd/00
364699210,6cyclictest9-21ksoftirqd/00
364699210,6cyclictest9-21ksoftirqd/00
365999208,9cyclictest26515-21cron3
365999203,9cyclictest16344-21apt-get3
3659992017,2cyclictest0-21swapper/33
3659992015,3cyclictest30996-21cpuspeed_turbos3
3659992014,4cyclictest8658-21fw_packets3
3659992014,4cyclictest22463-21wc3
3659992013,4cyclictest9855-21idleruntime-cro3
3659992013,4cyclictest9855-21idleruntime-cro3
3659992013,4cyclictest18172-21cron3
365499202,17cyclictest28-21ksoftirqd/22
3654992017,2cyclictest0-21swapper/22
3654992016,2cyclictest16766-21cstates2
3654992015,3cyclictest9345-21rt-features2
3654992015,3cyclictest8972-21ntp_kernel_pll_2
3654992015,3cyclictest8972-21ntp_kernel_pll_2
3654992015,3cyclictest6370-21cpu2
3654992015,3cyclictest4945-21if_err_enp2s02
3654992015,3cyclictest4065-21cron2
3654992015,3cyclictest21445-21sed2
3654992015,3cyclictest19173-21memory2
3654992015,3cyclictest15060-21ntp_kernel_pll_2
3654992014,4cyclictest9097-21ls2
3654992014,4cyclictest8067-21sh2
3654992014,4cyclictest30080-21grep2
3654992014,4cyclictest22876-21basename2
3654992014,4cyclictest17759-21seq2
3654992014,4cyclictest15347-21unixbench-2d2
3654992014,4cyclictest13087-21uname2
3654992013,5cyclictest22946-21df2
3654992013,4cyclictest13331-21timerwakeupswit2
365499201,2cyclictest0-21swapper/22
365499201,17cyclictest31601-21ntp_states2
365499201,17cyclictest26543-21latency_hist2
365499200,17cyclictest6080-21basename2
3651992015,3cyclictest5252-21pmu-power1
3651992015,3cyclictest3789-21/usr/sbin/munin1
3651992015,3cyclictest30306-21/usr/sbin/munin1
3651992015,3cyclictest14295-21cut1
3651992015,3cyclictest11519-21ntpd1
3651992014,4cyclictest524-21fw_packets1
3651992014,4cyclictest3539-21seq1
3651992014,4cyclictest32622-21cut1
3651992014,4cyclictest30504-21/usr/sbin/munin1
3651992014,4cyclictest23072-21ls1
3651992014,4cyclictest21928-21seq1
3651992014,4cyclictest20320-21/usr/sbin/munin1
3651992014,4cyclictest12085-21seq1
3651992013,5cyclictest314-21awk1
364699202,6cyclictest9-21ksoftirqd/00
364699202,6cyclictest9-21ksoftirqd/00
364699202,6cyclictest9-21ksoftirqd/00
364699202,6cyclictest9-21ksoftirqd/00
364699202,5cyclictest9-21ksoftirqd/00
364699201,7cyclictest9-21ksoftirqd/00
364699201,6cyclictest9-21ksoftirqd/00
364699201,6cyclictest9-21ksoftirqd/00
364699201,6cyclictest2271-21seq0
3646992015,3cyclictest24771-21/usr/sbin/munin0
364699200,6cyclictest9-21ksoftirqd/00
364699200,6cyclictest9-21ksoftirqd/00
364699200,6cyclictest13845-21taskset0
364699200,5cyclictest0-21swapper/00
365999199,1cyclictest35-21ksoftirqd/33
365999192,11cyclictest4341-21apt-get3
3659991916,1cyclictest0-21swapper/33
3659991915,2cyclictest32540-21apt-get3
3659991914,3cyclictest35-21ksoftirqd/33
3659991914,3cyclictest29327-21cat3
3659991914,3cyclictest26767-21diskstats3
3659991914,3cyclictest26767-21diskstats3
3659991914,3cyclictest19620-21ntp_states3
3659991914,3cyclictest19480-21sed3
3659991914,3cyclictest14693-21gltestperf3
3659991913,4cyclictest8123-21sed3
3659991913,4cyclictest4448-21cat3
3659991913,4cyclictest16327-21cut3
3659991912,4cyclictest31021-21sed3
365999190,8cyclictest28279-21cron3
3654991915,2cyclictest15282-21ntp_offset2
3654991914,3cyclictest30280-21perf2
3654991914,3cyclictest28076-21sh2
3654991914,3cyclictest28076-21sh2
3654991914,3cyclictest26277-21sh2
3654991914,3cyclictest25187-21ntp_kernel_err2
3654991914,3cyclictest25157-21expr2
3654991914,3cyclictest21646-21pmu-power2
3654991914,3cyclictest15165-21ntpq2
3654991914,3cyclictest12417-21aten2_r9power_v2
3654991913,4cyclictest22271-21sh2
3654991913,4cyclictest2179-21cat2
3654991913,4cyclictest11925-21date2
365499191,2cyclictest28532-21perf2
365499190,3cyclictest1428-1kworker/2:0H2
365499190,3cyclictest13302-21ntp_states2
365199193,9cyclictest20737-21apt-get1
3651991915,2cyclictest8101-21/usr/sbin/munin1
3651991915,2cyclictest8101-21/usr/sbin/munin1
3651991915,2cyclictest10291-21/usr/sbin/munin1
3651991914,3cyclictest26925-21if_enp3s01
3651991914,3cyclictest26925-21if_enp3s01
3651991914,3cyclictest26741-21apt-get1
3651991914,3cyclictest2311-21/usr/sbin/munin1
3651991914,3cyclictest19652-21ls1
3651991914,3cyclictest16741-21cat1
3651991914,3cyclictest11179-21expr1
3651991913,4cyclictest7507-21cat1
3651991913,4cyclictest30102-21grep1
3651991913,4cyclictest24316-21seq1
3651991913,4cyclictest20721-21/usr/sbin/munin1
3651991913,4cyclictest19179-21seq1
3651991913,4cyclictest17914-21seq1
3651991913,4cyclictest13736-21seq1
3651991913,3cyclictest2328-21sh1
3651991912,4cyclictest16278-21cut1
364699190,6cyclictest9-21ksoftirqd/00
364699190,6cyclictest19799-21taskset0
365999182,9cyclictest2089-21apt-get3
3659991816,1cyclictest0-21swapper/33
365999181,5cyclictest0-21swapper/33
3659991813,3cyclictest25429-21ntp_states3
3659991813,3cyclictest23814-21grep3
3659991813,3cyclictest14640-21sed3
3659991812,4cyclictest2145-21sh3
3659991812,4cyclictest1445-21cat3
3659991812,3cyclictest21063-21cstates3
3659991812,3cyclictest2082-21systemd-journal3
3659991812,3cyclictest12326-21aten2_r9power_v3
3659991812,3cyclictest11710-21sed3
365999181,15cyclictest32564-21sort3
3659991810,4cyclictest13137-21needreboot3
365999180,16cyclictest0-21swapper/33
365499183,13cyclictest4040-21latency_hist2
3654991814,2cyclictest4454-21kernelversion2
3654991813,3cyclictest978-21open_files2
3654991813,3cyclictest29176-21cat2
3654991812,4cyclictest31301-21basename2
365499180,16cyclictest30324-21apt-get2
3651991814,2cyclictest5481-21timerwakeupswit1
3651991814,2cyclictest32726-21/usr/sbin/munin1
3651991814,2cyclictest26274-21cron1
3651991813,3cyclictest6995-21needreboot1
3651991813,3cyclictest30159-21date1
3651991812,4cyclictest7655-21seq1
3651991812,4cyclictest6151-21date1
3651991812,4cyclictest31255-21expr1
3651991812,4cyclictest28410-21seq1
3651991812,4cyclictest27977-21seq1
3651991812,4cyclictest13987-21cat1
3651991812,3cyclictest8997-21if_enp3s01
3651991812,3cyclictest14806-21cat1
3659991715,1cyclictest0-21swapper/33
3659991715,1cyclictest0-21swapper/33
3659991715,1cyclictest0-21swapper/33
3659991715,1cyclictest0-21swapper/33
3659991712,3cyclictest665-21runrttasks3
3659991712,3cyclictest5175-21cat3
3659991712,3cyclictest31284-21cat3
3659991710,4cyclictest27228-21grep3
3659991710,4cyclictest22062-21cron3
3659991710,4cyclictest10333-21gdbus3
3654991713,2cyclictest519-21irqstats2
3654991713,2cyclictest4978-21ntp_states2
3654991712,3cyclictest2103-21aten2_r9power_c2
365499170,16cyclictest0-21swapper/22
3651991713,2cyclictest7342-21switchtime1
3651991713,2cyclictest24732-21/usr/sbin/munin1
3651991711,4cyclictest19157-21df_inode1
3651991711,4cyclictest12080-21seq1
365999162,8cyclictest2329-21apt-get3
365999160,1cyclictest0-21swapper/33
365999160,15cyclictest0-21swapper/33
365999160,15cyclictest0-21swapper/33
365499161,13cyclictest5494-21unixbench_multi2
3659991510,3cyclictest29320-21processes3
3659991510,3cyclictest10894-21latency3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional