You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-29 - 07:58
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Sat Nov 29, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
112952278242,24sleep00-21swapper/00
112952278242,24sleep00-21swapper/00
113582277195,67sleep30-21swapper/33
113582277195,67sleep30-21swapper/33
112222232196,24sleep20-21swapper/22
112222232196,24sleep20-21swapper/22
113712230192,25sleep10-21swapper/11
113712230192,25sleep10-21swapper/11
1164799163157,4cyclictest12258-21apt-get0
1166099157152,3cyclictest12247-21perf2
1165599125117,5cyclictest12256-21awk1
1166299119113,4cyclictest12239-21sendmail3
213252520,1sleep30-21swapper/33
273652340,1sleep20-21swapper/22
1165599340,32cyclictest17063-21kworker/1:11
132692250,2sleep00-21swapper/00
187452240,3sleep1201rcuc/11
11662992417,4cyclictest4459-21cut3
11660992416,5cyclictest17706-21sh2
1166099241,4cyclictest31925-21idleruntime-cro2
1166099234,17cyclictest20341-21cat2
1166099234,17cyclictest0-21swapper/22
1166099231,4cyclictest11244-1kworker/2:1H2
1166099231,20cyclictest12051-21perf2
1166099231,19cyclictest16999-21sendmail2
1165599238,3cyclictest72262grep1
11647992311,10cyclictest10971-21avahi-daemon0
87012220,2sleep10-21swapper/11
11662992217,3cyclictest20482-21/usr/sbin/munin3
1166099228,12cyclictest22300-21cron2
1166099223,17cyclictest26916-21cat2
1166099221,4cyclictest1804-21latency_hist2
1166099221,4cyclictest11244-1kworker/2:1H2
1166099221,4cyclictest11244-1kworker/2:1H2
1166099221,3cyclictest24748-21idleruntime-cro2
11660992213,5cyclictest26100-21apt-get2
1166099221,18cyclictest3884-21munin-run2
1166099220,5cyclictest8565-21perf2
11655992215,4cyclictest25187-21seq1
11655992215,4cyclictest15733-21seq1
11655992214,5cyclictest17453-21cat1
11647992216,4cyclictest18317-21seq0
11647992215,4cyclictest2082-21systemd-journal0
11662992116,3cyclictest25155-21switchtime3
11662992116,3cyclictest16619-21grep3
11662992114,4cyclictest372-21cron3
11662992114,4cyclictest19497-21cat3
11662992111,6cyclictest11806-21apt-get3
1166099213,10cyclictest14830-21taskset2
1166099212,17cyclictest3319-21cat2
1166099212,17cyclictest18320-21cat2
1166099212,16cyclictest18867-21cat2
11660992116,3cyclictest22889-21sed2
11660992115,4cyclictest666-21find2
11660992115,4cyclictest4096-21perf2
11660992114,4cyclictest11302-21grep2
1166099211,3cyclictest29948-21runrttasks2
1166099211,18cyclictest8186-21sendmail-msp2
1166099211,18cyclictest505-21dbus-daemon2
1166099211,18cyclictest23790-21latency_hist2
1166099211,18cyclictest20695-21munin-run2
1166099211,17cyclictest0-21swapper/22
1166099210,3cyclictest7965-1kworker/2:3H2
1166099210,3cyclictest5904-21munin-run2
11655992115,4cyclictest4557-21df_inode1
11655992115,4cyclictest1804-21latency_hist1
11655992115,4cyclictest15463-21seq1
11655992115,3cyclictest14855-21aten2.4-expect1
1165599211,19cyclictest0-21swapper/11
11655992111,6cyclictest4341-21apt-get1
1164799212,17cyclictest21745-21sed0
11647992116,3cyclictest5497-21grep0
11647992115,4cyclictest23488-21cat0
11647992115,3cyclictest32470-21idleruntime-cro0
11647992114,5cyclictest12828-21cut0
11647992114,4cyclictest16240-21awk0
11662992015,3cyclictest7100-21missed_timers3
11662992015,3cyclictest31910-21timerwakeupswit3
11662992015,3cyclictest28691-21proc_pri3
11662992015,3cyclictest26316-21cpuspeed_turbos3
11662992015,3cyclictest25446-21fw_packets3
11662992015,3cyclictest21615-21acpi3
11662992015,3cyclictest11720-21ntp_offset3
11662992014,4cyclictest20448-21ntp_kernel_pll_3
11662992014,4cyclictest18237-21cat3
11662992014,4cyclictest16962-21sendmail_mailst3
11662992014,4cyclictest12773-21seq3
11662992014,4cyclictest10293-21cat3
11662992014,3cyclictest5174-21cron3
11662992013,5cyclictest18851-21sh3
11662992013,4cyclictest505-21dbus-daemon3
11662992013,4cyclictest14924-21cat3
11662992013,4cyclictest1326-21date3
11662992011,5cyclictest4737-21apt-get3
1166299200,19cyclictest0-21swapper/33
11660992015,3cyclictest15599-21sed2
11660992014,4cyclictest4493-21awk2
11660992014,4cyclictest27097-21users2
11660992014,4cyclictest11236-21expr2
11660992014,3cyclictest9975-21sh2
11660992014,3cyclictest2082-21systemd-journal2
11660992013,4cyclictest9252-21sendmail2
11660992013,4cyclictest13566-21expr2
11660992012,5cyclictest10333-21gdbus2
1166099201,17cyclictest8018-1kworker/2:1H2
11660992011,7cyclictest665-21runrttasks2
1166099200,3cyclictest10399-1kworker/2:2H2
1166099200,18cyclictest14563-21cron2
1166099200,18cyclictest1143-21awk2
1166099200,17cyclictest19338-21cron2
1165599202,15cyclictest21021-21cut1
11655992015,3cyclictest8532-21aten2_r9power_v1
11655992015,3cyclictest32565-21sed1
11655992015,3cyclictest31919-21ntp_kernel_pll_1
11655992015,3cyclictest28762-21aten2_r9power_v1
11655992015,3cyclictest20861-21date1
11655992015,3cyclictest19948-21seq1
11655992015,3cyclictest16028-21seq1
11655992014,4cyclictest7499-21cat1
11655992014,4cyclictest27616-21seq1
11655992014,4cyclictest27116-21hostname1
11655992014,4cyclictest2558-21date1
11655992014,4cyclictest16903-21df1
11655992014,4cyclictest15053-21cat1
11655992014,4cyclictest13716-21seq1
11655992013,4cyclictest26366-21cron1
11655992013,4cyclictest26366-21cron1
11655992013,4cyclictest2082-21systemd-journal1
1165599200,17cyclictest11763-21cmp1
1164799202,11cyclictest2113-21taskset0
11647992015,3cyclictest29683-21cut0
11647992015,3cyclictest26272-21grep0
11647992015,3cyclictest18491-21/usr/sbin/munin0
11647992015,3cyclictest14809-21/usr/sbin/munin0
11647992014,4cyclictest6442-21cut0
11647992014,4cyclictest21944-21seq0
11647992014,3cyclictest24322-21cron0
11647992013,4cyclictest24751-21readlink0
11647992013,4cyclictest20290-21sed0
11647992012,5cyclictest2357-21cut0
1164799200,19cyclictest0-21swapper/00
11662991915,2cyclictest9553-21load3
11662991914,3cyclictest8766-21cat3
11662991914,3cyclictest7870-21sh3
11662991914,3cyclictest425-21sh3
11662991914,3cyclictest3192-21switchtime3
11662991914,3cyclictest29640-21processes3
11662991914,3cyclictest23439-21uname3
11662991914,3cyclictest22347-21cstates3
11662991914,3cyclictest18461-21open_files3
11662991914,3cyclictest17310-21diskstats3
11662991914,3cyclictest13059-21dpkg3
11662991913,4cyclictest9365-21awk3
11662991913,4cyclictest24958-21expr3
11662991913,4cyclictest24958-21expr3
11662991913,4cyclictest2157-21sed3
11662991913,4cyclictest11857-21cat3
11662991913,3cyclictest3206-21sed3
11662991913,3cyclictest2855-21cat3
11662991912,4cyclictest6993-21cat3
11662991912,4cyclictest15487-21grep3
11660991915,2cyclictest29158-21sed2
11660991914,3cyclictest9492-21/usr/sbin/munin2
11660991914,3cyclictest13587-21perf2
11660991913,4cyclictest24037-21expr2
11660991911,5cyclictest505-21dbus-daemon2
1166099191,15cyclictest32744-21aten2_r9power_c2
1166099190,3cyclictest5867-1kworker/2:0H2
1166099190,17cyclictest5306-21cat2
1166099190,17cyclictest14079-21perf2
1166099190,17cyclictest0-21swapper/22
1165599194,3cyclictest289952ntp_states1
11655991915,2cyclictest5415-21/usr/sbin/munin1
11655991915,2cyclictest30660-21/usr/sbin/munin1
11655991914,3cyclictest9499-21acpi1
11655991914,3cyclictest7848-21ls1
11655991914,3cyclictest26598-21seq1
11655991914,3cyclictest25531-21seq1
11655991914,3cyclictest22723-21latency1
11655991914,3cyclictest20640-21aten2_r9power_v1
11655991914,3cyclictest15907-21/usr/sbin/munin1
11655991914,3cyclictest1448-21aten2_r9power_p1
11655991914,3cyclictest10831-21acpi1
11655991914,3cyclictest10603-21expr1
11655991913,4cyclictest5132-21expr1
11655991913,4cyclictest27343-21seq1
11655991913,4cyclictest24919-21date1
11655991913,4cyclictest23723-21cat1
11655991913,4cyclictest1789-21seq1
11655991913,4cyclictest16330-21/usr/sbin/munin1
1164799193,13cyclictest7754-21tr0
1164799192,14cyclictest27291-21tr0
11647991915,2cyclictest2468-21perf0
11647991914,3cyclictest741-21seq0
11647991914,3cyclictest28802-21sed0
11647991914,3cyclictest26273-21seq0
11647991914,3cyclictest26273-21seq0
11647991914,3cyclictest25457-21idleruntime-cro0
11647991914,3cyclictest24033-21/usr/sbin/munin0
11647991914,3cyclictest21635-21seq0
11647991914,3cyclictest14205-21sed0
11647991913,4cyclictest29935-21ls0
11647991913,4cyclictest17371-21seq0
11647991913,3cyclictest3519-21cat0
11647991913,3cyclictest11902-21sh0
11647991912,3cyclictest17702-21aten2.4-expect0
1164799191,16cyclictest23242-21sort0
11647991911,4cyclictest734-21head0
1166299183,8cyclictest28120-21apt-get3
11662991813,3cyclictest5489-21hostname3
11662991813,3cyclictest27861-21nfs4_client3
11662991813,3cyclictest27586-21proc_pri3
11662991813,3cyclictest23634-21/usr/sbin/munin3
11662991813,3cyclictest19415-21pmu-power3
11662991813,3cyclictest15799-21cat3
11662991813,3cyclictest14441-21cat3
11662991812,4cyclictest4338-21awk3
11662991812,4cyclictest3216-21date3
11662991812,4cyclictest30128-21/usr/sbin/munin3
11662991812,4cyclictest11581-21sed3
1166099189,5cyclictest1-21systemd2
11660991813,3cyclictest30511-21sed2
11660991812,4cyclictest12667-21grep2
1165599187,9cyclictest29485-21cron1
11655991816,1cyclictest0-21swapper/11
11655991814,2cyclictest24987-21/usr/sbin/munin1
11655991814,2cyclictest2292-21/usr/sbin/munin1
11655991813,3cyclictest9258-21grep1
11655991813,3cyclictest3950-21ls1
11655991813,3cyclictest30840-21perf1
11655991813,3cyclictest2082-21systemd-journal1
11655991813,3cyclictest15536-21expr1
11655991812,4cyclictest9536-21cat1
11655991812,4cyclictest20891-21grep1
11655991812,4cyclictest19451-21seq1
11655991812,4cyclictest12034-21cat1
1164799183,9cyclictest32476-21apt-get0
1164799183,8cyclictest1381-21apt-get0
11647991816,1cyclictest0-21swapper/00
11647991816,1cyclictest0-21swapper/00
11647991816,1cyclictest0-21swapper/00
11647991816,1cyclictest0-21swapper/00
11647991816,1cyclictest0-21swapper/00
11647991814,2cyclictest27706-21/usr/sbin/munin0
11647991814,2cyclictest13761-21munin-node0
11647991814,2cyclictest0-21swapper/00
11647991813,3cyclictest665-21runrttasks0
11647991813,3cyclictest5415-21/usr/sbin/munin0
11647991813,3cyclictest20676-21idleruntime-cro0
11647991813,3cyclictest11303-21expr0
11647991812,4cyclictest32611-21seq0
11647991812,3cyclictest28409-21idleruntime-cro0
1164799180,16cyclictest0-21swapper/00
11662991715,1cyclictest0-21swapper/33
11662991712,3cyclictest27572-21cut3
11662991712,3cyclictest1741-21grep3
11662991711,4cyclictest7234-21mailstats3
11662991711,4cyclictest23283-21cat3
11662991711,4cyclictest17250-21cat3
11662991711,3cyclictest29146-21aten2.4-expect3
11660991713,2cyclictest29625-21if_enp2s02
11660991713,2cyclictest22545-21acpi2
11660991712,3cyclictest17234-21open_files2
1166099170,1cyclictest0-21swapper/22
11655991713,2cyclictest21614-21/usr/sbin/munin1
11655991712,3cyclictest665-21runrttasks1
1164799177,7cyclictest0-21swapper/00
11647991714,2cyclictest0-21swapper/00
11647991713,2cyclictest665-21runrttasks0
11647991712,3cyclictest665-21runrttasks0
11647991712,3cyclictest665-21runrttasks0
11647991712,3cyclictest30530-21cat0
11647991712,3cyclictest17961-21/usr/sbin/munin0
11660991612,2cyclictest6303-21ntp_states2
1164799168,5cyclictest5747-21awk0
11647991611,3cyclictest6499-21cstates0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional