You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-26 - 04:56
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Wed Nov 26, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
46642311273,25sleep20-21swapper/22
46252255188,54sleep30-21swapper/33
44912254179,18sleep00-21swapper/00
45172232194,25sleep10-21swapper/11
487299202196,4cyclictest25683-21munin-run2
487799172166,4cyclictest0-21swapper/33
486799127120,4cyclictest505-21dbus-daemon1
486299115109,4cyclictest25715-21tr0
94012510,4sleep228-21ksoftirqd/22
70202360,5sleep10-21swapper/11
111372360,4sleep121-21ksoftirqd/11
486799300,28cyclictest27829-21kworker/1:11
487299253,18cyclictest24664-21ls2
4867992516,4cyclictest27097-21sendmail1
4867992515,6cyclictest3827-21apt-get1
486299255,18cyclictest0-21swapper/00
487799240,2cyclictest111rcu_preempt3
487299242,6cyclictest271rcuc/22
487299242,6cyclictest271rcuc/22
487299242,6cyclictest1396-21needreboot2
121152240,1sleep00-21swapper/00
66472230,1sleep10-21swapper/11
487799230,2cyclictest111rcu_preempt3
487299230,8cyclictest18306-21diskstats2
487299230,5cyclictest271rcuc/22
4867992313,5cyclictest505-21dbus-daemon1
486299232,18cyclictest19394-21grep0
4877992215,5cyclictest18623-21seq3
487799221,18cyclictest30318-21dpkg3
487299226,8cyclictest0-21swapper/22
487299222,7cyclictest31020-21aten2_r9power_c2
487299222,17cyclictest10121-21sendmail2
487299221,6cyclictest0-21swapper/22
487299221,5cyclictest27806-21perf2
4872992215,4cyclictest11476-21munin-plugin-st2
487299221,4cyclictest10529-21apt2
4872992213,6cyclictest2082-21systemd-journal2
487299221,18cyclictest5786-21idleruntime-cro2
487299220,8cyclictest16715-21latency_hist2
4862992217,3cyclictest9441-21perf0
4862992215,4cyclictest665-21runrttasks0
487799214,8cyclictest35-21ksoftirqd/33
4877992116,3cyclictest7188-21ntp_offset3
4877992116,3cyclictest10112-21cron3
4877992115,4cyclictest8432-21ls3
4877992114,4cyclictest22031-21aten2_r9power_p3
487799210,19cyclictest0-21swapper/33
487299218,2cyclictest111rcu_preempt2
487299214,15cyclictest15612-21sendmail2
487299213,15cyclictest16122-21tr2
487299213,15cyclictest14768-21tr2
487299212,6cyclictest271rcuc/22
487299212,5cyclictest22317-21diskstats2
487299212,17cyclictest27152-1kworker/2:1H2
4872992116,3cyclictest505-21dbus-daemon2
4872992115,4cyclictest19748-21sed2
4872992115,3cyclictest7557-21ntpq2
487299211,3cyclictest9214-1kworker/2:0H2
487299211,3cyclictest27152-1kworker/2:1H2
487299211,18cyclictest18738-21cut2
487299211,17cyclictest27152-1kworker/2:1H2
4872992110,10cyclictest1567-21cat2
486799212,16cyclictest24504-21gltestperf1
4867992114,4cyclictest6610-21cat1
4867992114,4cyclictest15919-21aten2.4-expect1
4867992114,4cyclictest15919-21aten2.4-expect1
4867992111,6cyclictest13822-21apt-get1
4862992115,4cyclictest20503-21cat0
4862992115,4cyclictest20222-21seq0
4862992115,3cyclictest30659-21processes0
4877992016,2cyclictest35-21ksoftirqd/33
4877992016,2cyclictest35-21ksoftirqd/33
4877992015,3cyclictest6111-21diskstats3
4877992015,3cyclictest4141-21needreboot3
4877992015,3cyclictest28780-21needreboot3
4877992015,3cyclictest28780-21needreboot3
4877992015,3cyclictest27837-21ntp_states3
4877992015,3cyclictest26503-21ls3
4877992015,3cyclictest22628-21memory3
4877992015,3cyclictest13063-21cpuspeed_turbos3
4877992014,4cyclictest6046-21rt-features3
4877992014,4cyclictest4561-21cat3
4877992014,4cyclictest2082-21systemd-journal3
4877992014,4cyclictest10948-21ls3
4877992014,4cyclictest10575-21expr3
4877992014,4cyclictest10575-21expr3
4877992013,4cyclictest32755-21diskstats3
4877992013,4cyclictest3161-21users3
487299203,6cyclictest28-21ksoftirqd/22
487299201,7cyclictest28-21ksoftirqd/22
4872992017,2cyclictest271rcuc/22
4872992017,2cyclictest271rcuc/22
487299201,6cyclictest28-21ksoftirqd/22
4872992016,3cyclictest271rcuc/22
4872992016,3cyclictest271rcuc/22
4872992015,3cyclictest3786-21sed2
4872992015,3cyclictest25330-21awk2
4872992015,3cyclictest12496-21sed2
4872992014,3cyclictest24971-21aten2.4-expect2
4872992013,4cyclictest12781-21cat2
4872992013,4cyclictest12781-21cat2
487299201,17cyclictest28729-21latency_hist2
487299201,16cyclictest21669-21df_inode2
487299200,6cyclictest11450-21seq2
487299200,5cyclictest28-21ksoftirqd/22
487299200,3cyclictest5827-1kworker/2:3H2
487299200,17cyclictest12669-21grep2
486799202,16cyclictest3640-21wc1
4867992016,2cyclictest19846-21/usr/sbin/munin1
4867992015,3cyclictest8721-21/usr/sbin/munin1
4867992015,3cyclictest7867-21/usr/sbin/munin1
4867992015,3cyclictest28966-21/usr/sbin/munin1
4867992015,3cyclictest25989-21/usr/sbin/munin1
4867992015,3cyclictest23156-21sensible-mda1
4867992015,3cyclictest20689-21sed1
4867992015,3cyclictest18521-21/usr/sbin/munin1
4867992014,4cyclictest9616-21cat1
4867992014,4cyclictest15596-21memory1
4867992014,4cyclictest13861-21which1
4867992014,3cyclictest13508-21wc1
4867992014,3cyclictest13508-21wc1
4867992013,4cyclictest7450-21sh1
4867992013,4cyclictest27938-21proc_pri1
4867992012,5cyclictest5902-21latency_hist1
4867992011,6cyclictest32190-21apt-get1
4862992015,3cyclictest9475-21seq0
4862992015,3cyclictest4654-21/usr/sbin/munin0
4862992015,3cyclictest12493-21sh0
4862992015,3cyclictest12493-21sh0
4862992014,4cyclictest9326-21cat0
4862992014,4cyclictest4940-21which0
4862992014,4cyclictest31039-21hostname0
4862992014,4cyclictest2388-21cat0
4862992014,4cyclictest14524-21seq0
4862992014,4cyclictest14514-21cat0
4862992013,4cyclictest505-21dbus-daemon0
486299200,17cyclictest16760-21cut0
487799197,2cyclictest111rcu_preempt3
487799196,2cyclictest111rcu_preempt3
4877991915,2cyclictest9882-21cpuspeed3
4877991915,2cyclictest18649-21aten2_r9power_v3
4877991915,2cyclictest14236-21df3
4877991914,3cyclictest7940-21cat3
4877991914,3cyclictest6460-21if_err_enp2s03
4877991914,3cyclictest32550-21ntp_kernel_pll_3
4877991914,3cyclictest29358-21unixbench-2d3
4877991914,3cyclictest28985-21apt-get3
4877991914,3cyclictest28750-21uptime3
4877991914,3cyclictest24281-21users3
4877991914,3cyclictest16131-21ls3
4877991914,3cyclictest16131-21ls3
4877991914,3cyclictest11814-21aten2_r9power_p3
4877991914,3cyclictest11220-21df_inode3
4877991913,4cyclictest5536-21seq3
4877991913,4cyclictest31951-21idleruntime-cro3
4877991913,4cyclictest25100-21cat3
4877991913,4cyclictest2249-21expr3
4877991913,4cyclictest2008-21sed3
4877991913,4cyclictest17867-21hostname3
487299194,5cyclictest20872-21pmu-power2
487299193,5cyclictest28-21ksoftirqd/22
487299192,6cyclictest28-21ksoftirqd/22
487299192,6cyclictest28-21ksoftirqd/22
4872991917,1cyclictest0-21swapper/22
487299191,6cyclictest28-21ksoftirqd/22
4872991916,2cyclictest271rcuc/22
4872991914,3cyclictest31309-21expr2
4872991914,3cyclictest2298-21ls2
4872991914,3cyclictest18778-21cpuspeed_turbos2
4872991913,4cyclictest7529-21grep2
4872991913,4cyclictest26896-21ls2
4872991913,3cyclictest31177-21ntpq2
4872991912,4cyclictest11741-21pmu-power2
487299190,7cyclictest28-21ksoftirqd/22
487299190,6cyclictest28-21ksoftirqd/22
4867991914,3cyclictest32208-21sed1
4867991914,3cyclictest29770-21idleruntime-cro1
4867991914,3cyclictest29770-21idleruntime-cro1
4867991914,3cyclictest25943-21/usr/sbin/munin1
4867991914,3cyclictest18916-21/usr/sbin/munin1
4867991914,3cyclictest14439-21/usr/sbin/munin1
4867991914,3cyclictest12990-21sed1
4867991913,4cyclictest31679-21seq1
4867991913,4cyclictest29118-21latency_hist1
4867991913,4cyclictest17703-21sort1
4867991912,4cyclictest10333-21gdbus1
4867991912,4cyclictest10333-21gdbus1
4867991911,5cyclictest3097-21tr1
4867991910,5cyclictest505-21dbus-daemon1
4862991915,2cyclictest30142-21/usr/sbin/munin0
4862991915,2cyclictest24122-21timerwakeupswit0
4862991915,2cyclictest20184-21cstates0
4862991915,2cyclictest1920-21/usr/sbin/munin0
4862991915,2cyclictest16862-21/usr/sbin/munin0
4862991914,3cyclictest6894-21cat0
4862991914,3cyclictest5163-21awk0
4862991914,3cyclictest3560-21ls0
4862991914,3cyclictest3174-21expr0
4862991914,3cyclictest30349-21sh0
4862991914,3cyclictest25783-21expr0
4862991914,3cyclictest25531-21cat0
4862991914,3cyclictest19800-21ls0
4862991914,3cyclictest16275-21sh0
4862991914,3cyclictest12406-21seq0
4862991914,3cyclictest1159-21if_enp2s00
4862991914,3cyclictest11472-21grep0
4862991914,3cyclictest10572-21expr0
4862991914,3cyclictest10572-21expr0
4862991913,4cyclictest964-21cat0
4862991913,4cyclictest6446-21cat0
4862991913,4cyclictest505-21dbus-daemon0
4862991913,4cyclictest28632-21basename0
4862991913,4cyclictest27659-21cat0
4862991913,4cyclictest24595-21cat0
4862991913,4cyclictest23675-21expr0
4862991913,4cyclictest15254-21seq0
106962190,3sleep2487299cyclictest2
106962190,3sleep2487299cyclictest2
487799188,2cyclictest111rcu_preempt3
4877991814,3cyclictest35-21ksoftirqd/33
4877991814,2cyclictest1673-21switchtime3
4877991813,3cyclictest9539-21needreboot3
4877991813,3cyclictest7265-21cpu3
4877991813,3cyclictest25293-21cat3
4877991813,3cyclictest23495-21ls3
4877991813,3cyclictest21353-21aten2_r9power_v3
4877991813,3cyclictest17751-21cat3
4877991813,3cyclictest17149-21grep3
4877991812,3cyclictest13871-21aten2_r9power_v3
487799180,9cyclictest10333-21gdbus3
487799180,16cyclictest19571-21irqstats3
486799183,9cyclictest9740-21apt-get1
486799183,10cyclictest1938-21apt-get1
4867991816,1cyclictest0-21swapper/11
4867991816,1cyclictest0-21swapper/11
4867991816,1cyclictest0-21swapper/11
4867991813,3cyclictest9770-21aten2_r9power_p1
4867991813,3cyclictest6697-21/usr/sbin/munin1
4867991813,3cyclictest665-21runrttasks1
4867991813,3cyclictest665-21runrttasks1
4867991813,3cyclictest17864-21/usr/sbin/munin1
4867991813,3cyclictest15534-21latency_hist1
4867991812,4cyclictest8485-21wc1
4867991812,4cyclictest24265-21cut1
4867991812,3cyclictest814-21cpuspeed_turbos1
4867991811,5cyclictest21-21ksoftirqd/11
4867991811,4cyclictest18259-21df_inode1
4867991810,5cyclictest21048-21sed1
4862991814,2cyclictest15183-21cat0
4862991813,3cyclictest8134-21sh0
4862991813,3cyclictest7870-21ls0
4862991813,3cyclictest6086-21mailstats0
4862991813,3cyclictest3220-21cut0
4862991813,3cyclictest29706-21cat0
4862991813,3cyclictest23028-21cat0
4862991813,3cyclictest22644-21cut0
4862991813,3cyclictest22349-21cat0
4862991813,3cyclictest18418-21basename0
4862991813,3cyclictest11540-21cut0
4862991812,4cyclictest17335-21seq0
4862991812,4cyclictest17335-21seq0
230292180,2sleep10-21swapper/11
229712180,1sleep10-21swapper/11
4877991715,1cyclictest0-21swapper/33
4877991712,3cyclictest5416-21load3
4877991712,3cyclictest21076-21sed3
4877991712,3cyclictest20295-21entropy3
4877991712,3cyclictest15351-21open_inodes3
4867991712,3cyclictest665-21runrttasks1
4867991712,3cyclictest2632-21/usr/sbin/munin1
4867991711,3cyclictest10964-21missed_timers1
4867991711,3cyclictest10964-21missed_timers1
4867991710,4cyclictest30250-21aten2.4-expect1
4862991713,2cyclictest11716-21/usr/sbin/munin0
4862991712,3cyclictest5869-21ls0
4862991712,3cyclictest27003-21which0
4862991712,3cyclictest22820-21ntp_states0
4862991712,3cyclictest10109-21cat0
4862991711,4cyclictest28536-21cat0
4862991711,4cyclictest28536-21cat0
4862991711,4cyclictest27634-21grep0
4862991711,4cyclictest26405-21cat0
4877991611,3cyclictest29696-21aten2_r9power_c3
486799162,11cyclictest16944-21grep1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional