You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-28 - 14:34
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Oct 28, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
90762323286,25sleep10-21swapper/11
91812310271,25sleep00-21swapper/00
90832308269,25sleep30-21swapper/33
92732303266,24sleep20-21swapper/22
949899260254,4cyclictest20798-21munin-run3
251021400,3sleep2949399cyclictest2
949399122116,4cyclictest20821-21awk2
948899121115,3cyclictest20817-21perf1
948499112107,3cyclictest20814-21apt-get0
82902530,2sleep00-21swapper/00
145392460,2sleep30-21swapper/33
90312420,1sleep30-21swapper/33
949399340,32cyclictest29735-21kworker/2:12
182402300,2sleep3949899cyclictest3
949399277,18cyclictest0-21swapper/22
9488992716,6cyclictest5649-21apt-get1
949399262,5cyclictest32747-21apt-get2
9493992617,4cyclictest29314-21sh2
949399255,18cyclictest17733-21cat2
949399255,18cyclictest17733-21cat2
949399255,18cyclictest0-21swapper/22
9493992512,10cyclictest15348-21/usr/sbin/munin2
9498992418,3cyclictest24343-21head3
949399244,18cyclictest32127-21latency_hist2
949399243,19cyclictest25262-21munin-run2
9493992417,3cyclictest5308-21sh2
949399241,20cyclictest11289-21apt-get2
267952240,1sleep30-21swapper/33
105612240,2sleep20-21swapper/22
949399239,11cyclictest0-21swapper/22
9493992316,4cyclictest9466-21cron2
949399231,4cyclictest4901-21munin-run2
949399231,4cyclictest31776-21lockfile-create2
949399231,19cyclictest3391-21grep2
949399231,18cyclictest16301-21munin-run2
948899233,5cyclictest31975-21cups-browsed1
9488992318,3cyclictest21589-21dump-pmu-power1
9488992317,4cyclictest19952-21sh1
9498992214,5cyclictest23390-21wc3
9498992212,7cyclictest7549-21sed3
949399223,16cyclictest25651-21latency_hist2
949399223,16cyclictest15465-21latency_hist2
949399222,18cyclictest0-21swapper/22
9493992216,4cyclictest14403-21systemctl2
949399221,4cyclictest24418-21cpu2
9493992214,5cyclictest31295-21lockfile-remove2
9493992214,4cyclictest23622-21sh2
949399221,18cyclictest18470-1kworker/2:2H2
9488992217,3cyclictest3269-21wc1
9488992217,3cyclictest3269-21wc1
9488992213,5cyclictest505-21dbus-daemon1
948899220,19cyclictest15743-21sed1
324972220,4sleep3949899cyclictest3
9498992116,3cyclictest1529-21diskstats3
9498992116,3cyclictest14442-21memory3
9498992115,4cyclictest32445-21diskstats3
9498992115,4cyclictest11875-21users3
949399213,17cyclictest0-21swapper/22
949399212,17cyclictest21192-21latency_hist2
9493992116,3cyclictest2080-21gltestperf2
9493992116,3cyclictest14023-21chrt2
9493992115,4cyclictest15661-21sed2
9493992115,4cyclictest11687-21date2
9493992115,4cyclictest11018-21cron2
949399211,18cyclictest30102-21latency_hist2
949399211,18cyclictest24000-21munin-run2
949399211,18cyclictest11440-21perf2
9493992111,6cyclictest4359-21apt-get2
949399210,19cyclictest15588-21perf2
9488992116,3cyclictest31234-21cron1
9488992116,3cyclictest13671-21sed1
9488992115,4cyclictest31490-21sed1
9488992114,4cyclictest953-21sed1
9488992114,4cyclictest5146-21cat1
948899211,17cyclictest0-21swapper/11
9484992116,3cyclictest15591-21sendmail0
9498992015,3cyclictest8729-21rt-features3
9498992015,3cyclictest3620-21head3
9498992015,3cyclictest32294-21apt-config3
9498992014,4cyclictest8780-21expr3
9498992014,4cyclictest3948-21expr3
9498992014,4cyclictest12261-21cat3
9498992013,4cyclictest6068-21head3
9498992013,4cyclictest10410-21cat3
949899201,16cyclictest20450-21irqstats3
949399207,3cyclictest28159-21grep2
9493992016,2cyclictest0-21swapper/22
9493992015,3cyclictest864-21awk2
9493992015,3cyclictest13506-21date2
949399201,3cyclictest9527-1kworker/2:2H2
9493992013,4cyclictest26236-21cat2
9493992012,5cyclictest15087-21munin-run2
949399201,17cyclictest0-21swapper/22
9488992015,3cyclictest27196-21sh1
9488992015,3cyclictest18665-21sh1
948899201,4cyclictest0-21swapper/11
9488992014,4cyclictest13863-21grep1
9488992014,4cyclictest13645-21sed1
9488992014,3cyclictest11054-21basename1
9488992013,4cyclictest26886-21proc_pri1
9488992013,4cyclictest17909-21sed1
9488992011,6cyclictest505-21dbus-daemon1
9488992010,6cyclictest665-21runrttasks1
948499204,6cyclictest9-21ksoftirqd/00
9484992015,3cyclictest4579-21sendmail_mailst0
9484992015,3cyclictest31731-21sh0
9484992015,3cyclictest29934-21seq0
9484992015,3cyclictest23631-21cpu0
9484992015,3cyclictest12658-21aten2_r9power_e0
9484992015,3cyclictest11669-21/usr/sbin/munin0
9484992014,4cyclictest6787-21find0
9484992014,4cyclictest2633-21seq0
9484992014,4cyclictest23831-21seq0
9484992014,4cyclictest23113-21cron0
9484992014,4cyclictest21458-21seq0
9484992014,4cyclictest18198-21df0
9484992014,4cyclictest13551-21sh0
9484992014,4cyclictest1176-21ntpq0
9484992012,5cyclictest25216-21sed0
948499200,17cyclictest0-21swapper/00
9498991916,2cyclictest0-21swapper/33
9498991915,2cyclictest3610-21aten2_r9power_p3
9498991915,2cyclictest3004-21idleruntime-cro3
9498991915,2cyclictest3004-21idleruntime-cro3
9498991915,2cyclictest29551-21/usr/sbin/munin3
9498991915,2cyclictest13949-21irqstats3
9498991914,3cyclictest32729-21/usr/sbin/munin3
9498991914,3cyclictest31964-21forks3
9498991914,3cyclictest3107-21cat3
9498991914,3cyclictest30829-21ntp_offset3
9498991914,3cyclictest30274-21cat3
9498991914,3cyclictest27774-21cut3
9498991914,3cyclictest21840-21gltestperf3
9498991914,3cyclictest16434-21latency3
9498991914,3cyclictest14534-21memory3
9498991913,4cyclictest27867-21df3
9498991913,4cyclictest26543-21cat3
949399198,10cyclictest28-21ksoftirqd/22
9493991916,2cyclictest0-21swapper/22
9493991916,2cyclictest0-21swapper/22
9493991914,3cyclictest27945-21apt-get2
9493991912,4cyclictest5978-21df_inode2
949399191,16cyclictest8152-21munin-run2
949399191,15cyclictest25636-1kworker/2:1H2
949399190,17cyclictest28244-21procmail2
9488991914,3cyclictest32153-21gltestperf1
9488991914,3cyclictest3119-21/usr/sbin/munin1
9488991914,3cyclictest28135-21cat1
9488991914,3cyclictest2439-21awk1
9488991914,3cyclictest17178-21sed1
9488991914,3cyclictest10935-21grep1
9488991914,3cyclictest10472-21find1
9488991913,4cyclictest22674-21awk1
9488991913,4cyclictest20327-21cut1
9488991913,4cyclictest14859-21sort1
9488991912,4cyclictest13064-21turbostat.cron1
9488991911,5cyclictest505-21dbus-daemon1
9488991910,6cyclictest28335-21apt-get1
948899190,3cyclictest10675-21sed1
948499198,7cyclictest2082-21systemd-journal0
948499195,5cyclictest9-21ksoftirqd/00
9484991915,2cyclictest6360-21/usr/sbin/munin0
9484991914,3cyclictest9717-21/usr/sbin/munin0
9484991914,3cyclictest8591-21open_files0
9484991914,3cyclictest58150irq/130-enp2s00
9484991914,3cyclictest3487-21ls0
9484991914,3cyclictest32000-21/usr/sbin/munin0
9484991914,3cyclictest29787-21ls0
9484991914,3cyclictest28335-21ls0
9484991914,3cyclictest23085-21seq0
9484991914,3cyclictest18144-21sh0
9484991914,3cyclictest15433-21open_inodes0
9484991914,3cyclictest12247-21sh0
9484991913,4cyclictest8844-21expr0
9484991913,4cyclictest665-21runrttasks0
9484991913,4cyclictest31861-21expr0
9484991913,4cyclictest26978-21seq0
9484991913,4cyclictest17637-21sh0
9484991913,4cyclictest17637-21sh0
9484991913,4cyclictest15276-21cat0
9484991913,4cyclictest10333-21gdbus0
9484991913,4cyclictest1027-21cut0
9484991912,4cyclictest3981-21expr0
948499190,17cyclictest14768-21mailstats0
9498991816,1cyclictest0-21swapper/33
9498991816,1cyclictest0-21swapper/33
9498991816,1cyclictest0-21swapper/33
9498991813,3cyclictest8016-21expr3
9498991813,3cyclictest6820-21timerandwakeup3
9498991813,3cyclictest5813-21cut3
9498991813,3cyclictest24149-21sed3
9498991813,3cyclictest2082-21systemd-journal3
9498991813,3cyclictest20496-21expr3
9498991813,3cyclictest20302-21sh3
9498991813,3cyclictest18530-21expr3
9498991813,3cyclictest17797-21expr3
9498991813,3cyclictest17532-21tail3
9498991813,3cyclictest14577-21cut3
9498991812,4cyclictest3425-21sendmail-mta3
9498991812,4cyclictest11757-21grep3
9498991812,3cyclictest30775-21grep3
9498991812,3cyclictest13584-21swap3
9493991816,1cyclictest0-21swapper/22
9493991816,1cyclictest0-21swapper/22
9493991814,2cyclictest18864-21cat2
9493991814,2cyclictest13712-21cat2
9493991813,3cyclictest22066-21sed2
9493991812,4cyclictest10572-21cut2
9493991812,3cyclictest17482-21aten2.4-expect2
949399181,16cyclictest0-21swapper/22
9493991811,5cyclictest8971-21cron2
9493991811,4cyclictest7887-21grep2
948899184,4cyclictest665-21runrttasks1
948899182,13cyclictest15509-21proc_pri1
9488991814,2cyclictest4340-21/usr/sbin/munin1
9488991814,2cyclictest23482-21/usr/sbin/munin1
9488991814,2cyclictest13497-21ntp_states1
9488991813,3cyclictest8756-21grep1
9488991813,3cyclictest3611-21/usr/sbin/munin1
9488991813,3cyclictest29947-21/usr/sbin/munin1
9488991813,3cyclictest21-21ksoftirqd/11
948899181,2cyclictest0-21swapper/11
9488991812,4cyclictest24563-21wc1
9488991812,4cyclictest23490-21cut1
9488991812,4cyclictest22014-21cut1
9488991812,4cyclictest20224-21needreboot1
9488991812,3cyclictest22755-21gltestperf1
9488991811,4cyclictest1781-21sort1
948899180,4cyclictest0-21swapper/11
948899180,3cyclictest111rcu_preempt1
9484991814,2cyclictest665-21runrttasks0
9484991814,2cyclictest665-21runrttasks0
9484991814,2cyclictest27580-21aten2.4-expect0
9484991813,3cyclictest4485-21sh0
9484991813,3cyclictest30275-21needreboot0
9484991813,3cyclictest26700-21cat0
9484991813,3cyclictest24511-21sed0
9484991813,3cyclictest2313-21basename0
9484991813,3cyclictest15348-21/usr/sbin/munin0
9484991812,4cyclictest5945-21cat0
9484991812,4cyclictest23281-21seq0
9484991812,4cyclictest18987-21cut0
9484991812,4cyclictest11214-21cut0
9484991812,4cyclictest10219-21cat0
949899172,9cyclictest9238-21chrt3
9498991715,1cyclictest0-21swapper/33
9498991713,2cyclictest16889-21sshd3
9498991712,3cyclictest4696-21ls3
9498991712,3cyclictest28495-21basename3
9498991712,3cyclictest22705-21ntp_offset3
9498991712,3cyclictest12509-21load3
9498991712,3cyclictest10533-21sh3
9498991711,4cyclictest15818-21ntpq3
9498991710,4cyclictest23398-21find3
948899173,9cyclictest6379-21apt-get1
948899172,12cyclictest10140-21grep1
9488991713,2cyclictest29018-21swap1
9488991712,3cyclictest15844-21/usr/sbin/munin1
9488991712,3cyclictest15844-21/usr/sbin/munin1
9488991711,3cyclictest864-21grep1
9488991710,5cyclictest13499-21sort1
9484991713,2cyclictest27185-21ntp_states0
9484991713,2cyclictest25409-21/usr/sbin/munin0
9484991712,3cyclictest6297-21find0
9484991712,3cyclictest3486-21expr0
9484991712,3cyclictest21641-21seq0
9484991712,3cyclictest18360-21which0
9484991712,3cyclictest12684-21cpu0
9484991712,3cyclictest11466-21sh0
9484991711,4cyclictest28165-21cat0
9498991611,3cyclictest24466-21proc_pri3
949399161,14cyclictest0-21swapper/22
948899163,8cyclictest27458-21apt-get1
9488991614,1cyclictest0-21swapper/11
9488991612,2cyclictest665-21runrttasks1
9488991611,3cyclictest7531-21cstates1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional