You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-09 - 23:56
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Tue Dec 09, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
159492311274,24sleep30-21swapper/33
160082302264,25sleep00-21swapper/00
160342297260,24sleep10-21swapper/11
159482279190,74sleep20-21swapper/22
1616599258247,8cyclictest0-21swapper/00
1617399256249,6cyclictest0-21swapper/22
1616999188178,7cyclictest13395-21apt-get1
580021680,4sleep21617399cyclictest2
1618199157152,3cyclictest0-21swapper/33
195862640,2sleep10-21swapper/11
227792550,2sleep20-21swapper/22
319652530,1sleep30-21swapper/33
173282470,1sleep30-21swapper/33
10072420,2sleep01013-21cpuspeed_turbos0
240672400,1sleep223607-21/usr/sbin/munin2
1616599331,5cyclictest101rcuc/00
188032320,10sleep121-21ksoftirqd/11
25322290,4sleep1201rcuc/11
258782280,3sleep30-21swapper/33
1617399282,6cyclictest28-21ksoftirqd/22
1616599281,18cyclictest9-21ksoftirqd/00
1616599270,5cyclictest9-21ksoftirqd/00
1617399262,6cyclictest6713-21munin-plugin-st2
1617399262,6cyclictest6713-21munin-plugin-st2
1617399261,9cyclictest21777-21cat2
1616599263,6cyclictest9-21ksoftirqd/00
1616599263,12cyclictest9-21ksoftirqd/00
16165992622,3cyclictest101rcuc/00
16165992610,7cyclictest665-21runrttasks0
1617399253,7cyclictest27038-21/usr/sbin/munin2
1617399250,6cyclictest9713-21latency_hist2
16165992522,2cyclictest101rcuc/00
16165992522,2cyclictest101rcuc/00
16165992510,7cyclictest111rcu_preempt0
1617399242,7cyclictest32354-21mailstats2
1617399242,5cyclictest28-21ksoftirqd/22
1617399241,6cyclictest11906-21if_enp2s02
1616599248,8cyclictest111rcu_preempt0
1616599246,9cyclictest9-21ksoftirqd/00
1616599246,9cyclictest111rcu_preempt0
16165992421,2cyclictest101rcuc/00
1618199234,17cyclictest12255-21sed3
1618199232,19cyclictest28816-21cron3
16181992316,4cyclictest24855-21dump-pmu-power3
1617399236,6cyclictest28-21ksoftirqd/22
1617399236,6cyclictest28-21ksoftirqd/22
1617399233,18cyclictest20750-21cat2
1617399231,4cyclictest19941-1kworker/2:1H2
16173992314,6cyclictest0-21swapper/22
1617399231,19cyclictest13958-21munin-run2
1616599236,9cyclictest9-21ksoftirqd/00
1616599236,8cyclictest9-21ksoftirqd/00
1616599235,9cyclictest9-21ksoftirqd/00
1616599235,9cyclictest9-21ksoftirqd/00
1616599234,10cyclictest9-21ksoftirqd/00
1616599232,6cyclictest9-21ksoftirqd/00
1616599232,11cyclictest9-21ksoftirqd/00
1616599231,12cyclictest3641-21/usr/sbin/munin0
1616599231,12cyclictest3641-21/usr/sbin/munin0
16181992216,4cyclictest1288-21df_inode3
1617399229,2cyclictest1884-21timerandwakeup2
1617399229,2cyclictest111rcu_preempt2
1617399229,2cyclictest111rcu_preempt2
1617399228,3cyclictest111rcu_preempt2
1617399228,3cyclictest111rcu_preempt2
1617399228,3cyclictest111rcu_preempt2
1617399227,3cyclictest111rcu_preempt2
1617399223,17cyclictest8778-21sendmail-mta2
1617399222,7cyclictest30845-21latency_hist2
1617399222,7cyclictest271rcuc/22
1617399222,18cyclictest28-21ksoftirqd/22
1617399221,18cyclictest20803-21perf2
16173992210,10cyclictest20950irq/39-mmc02
1616599228,3cyclictest111rcu_preempt0
1616599228,3cyclictest111rcu_preempt0
1616599227,3cyclictest111rcu_preempt0
1616599226,9cyclictest9-21ksoftirqd/00
1616599226,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599225,9cyclictest9-21ksoftirqd/00
1616599224,9cyclictest9-21ksoftirqd/00
1616599224,7cyclictest9-21ksoftirqd/00
1616599223,6cyclictest9-21ksoftirqd/00
1616599222,6cyclictest0-21swapper/00
1616599222,11cyclictest9-21ksoftirqd/00
16165992219,2cyclictest101rcuc/00
1616599221,7cyclictest9-21ksoftirqd/00
1616599221,7cyclictest9-21ksoftirqd/00
1616599221,7cyclictest9-21ksoftirqd/00
1616599221,10cyclictest9-21ksoftirqd/00
1616599220,8cyclictest9-21ksoftirqd/00
1616599220,11cyclictest32006-21ntp_states0
16181992116,3cyclictest10236-21aten2_r9power_p3
16181992115,4cyclictest25276-21proc_pri3
1617399219,2cyclictest111rcu_preempt2
1617399219,2cyclictest111rcu_preempt2
1617399219,2cyclictest111rcu_preempt2
1617399218,3cyclictest111rcu_preempt2
1617399218,2cyclictest111rcu_preempt2
1617399218,2cyclictest111rcu_preempt2
1617399217,4cyclictest29761-21cut2
1617399217,3cyclictest111rcu_preempt2
1617399216,7cyclictest28-21ksoftirqd/22
1617399213,6cyclictest28-21ksoftirqd/22
1617399213,6cyclictest28-21ksoftirqd/22
1617399212,5cyclictest0-21swapper/22
1617399212,5cyclictest0-21swapper/22
16173992117,3cyclictest271rcuc/22
1617399211,6cyclictest1403-21dpkg2
16173992115,4cyclictest16435-21cut2
16173992112,7cyclictest505-21dbus-daemon2
16169992115,4cyclictest24700-21seq1
16169992115,4cyclictest12880-21seq1
16169992110,7cyclictest4063-21apt-get1
1616599219,3cyclictest111rcu_preempt0
1616599214,9cyclictest9-21ksoftirqd/00
1616599214,9cyclictest9-21ksoftirqd/00
1616599214,9cyclictest9-21ksoftirqd/00
1616599214,9cyclictest9-21ksoftirqd/00
1616599214,9cyclictest9-21ksoftirqd/00
1616599211,10cyclictest0-21swapper/00
1616599210,7cyclictest9-21ksoftirqd/00
1616599210,6cyclictest9-21ksoftirqd/00
1616599210,11cyclictest9-21ksoftirqd/00
1618199203,15cyclictest10189-21sed3
16181992015,3cyclictest9527-21uptime3
16181992015,3cyclictest6699-21processes3
16181992015,3cyclictest5728-21which3
16181992015,3cyclictest31865-21missed_timers3
16181992015,3cyclictest2656-21ps3
16181992015,3cyclictest25940-21ntpq3
16181992015,3cyclictest24420-21sed3
16181992015,3cyclictest21126-21cpu3
16181992015,3cyclictest20381-21seq3
16181992015,3cyclictest13564-21latency_hist3
16181992014,4cyclictest2082-21systemd-journal3
16181992014,4cyclictest18871-21vmstat3
1617399208,3cyclictest111rcu_preempt2
1617399208,3cyclictest111rcu_preempt2
1617399208,2cyclictest111rcu_preempt2
1617399208,2cyclictest111rcu_preempt2
1617399208,2cyclictest111rcu_preempt2
1617399208,2cyclictest111rcu_preempt2
1617399207,3cyclictest111rcu_preempt2
1617399207,3cyclictest111rcu_preempt2
1617399207,2cyclictest111rcu_preempt2
1617399207,2cyclictest111rcu_preempt2
1617399202,6cyclictest28-21ksoftirqd/22
1617399202,6cyclictest28-21ksoftirqd/22
1617399202,6cyclictest28-21ksoftirqd/22
1617399202,5cyclictest28-21ksoftirqd/22
1617399201,6cyclictest28-21ksoftirqd/22
1617399201,6cyclictest0-21swapper/22
16173992016,3cyclictest271rcuc/22
16173992015,3cyclictest23961-21open_files2
16173992015,3cyclictest16728-21cpu2
16173992015,3cyclictest16728-21cpu2
1616999202,15cyclictest17725-21cpuspeed_turbos1
16169992016,2cyclictest17231-21irqstats1
16169992016,2cyclictest17231-21irqstats1
16169992015,3cyclictest32482-21cat1
16169992015,3cyclictest22734-21dump-pmu-power1
16169992014,4cyclictest8247-21grep1
16169992014,4cyclictest24709-21expr1
16169992014,4cyclictest22603-21cat1
16169992014,4cyclictest19301-21ls1
16169992014,4cyclictest19003-21seq1
16169992014,4cyclictest13431-21seq1
16169992014,4cyclictest12600-21seq1
16169992014,3cyclictest9871-21which1
16169992014,3cyclictest16310-21sh1
1616999201,17cyclictest4521-21taskset1
1616999200,17cyclictest8252-21tail1
1616599209,3cyclictest111rcu_preempt0
1616599205,8cyclictest9-21ksoftirqd/00
1616599205,8cyclictest9-21ksoftirqd/00
1616599203,9cyclictest9-21ksoftirqd/00
1616599202,7cyclictest9-21ksoftirqd/00
1616599202,6cyclictest9-21ksoftirqd/00
1616599202,6cyclictest9-21ksoftirqd/00
1616599200,7cyclictest12055-21timerandwakeup0
1616599200,6cyclictest9-21ksoftirqd/00
1618199197,3cyclictest111rcu_preempt3
16181991916,2cyclictest0-21swapper/33
16181991916,2cyclictest0-21swapper/33
16181991914,3cyclictest6870-21sh3
16181991914,3cyclictest4698-21kernelversion3
16181991914,3cyclictest3438-21idleruntime3
16181991914,3cyclictest28693-21cstates3
16181991914,3cyclictest24193-21cat3
16181991914,3cyclictest21923-21sed3
16181991914,3cyclictest17218-21interrupts3
16181991914,3cyclictest17218-21interrupts3
16181991914,3cyclictest13270-21sed3
16181991914,3cyclictest10662-21awk3
16181991913,4cyclictest9258-21grep3
16181991913,4cyclictest8110-21expr3
16181991913,4cyclictest22392-21expr3
16181991913,4cyclictest14519-21seq3
16173991916,2cyclictest271rcuc/22
1617399190,6cyclictest20472-21runrttasks2
1616999197,10cyclictest21318-21munin-run1
1616999191,5cyclictest0-21swapper/11
16169991915,2cyclictest29703-21/usr/sbin/munin1
16169991914,3cyclictest4512-21basename1
16169991914,3cyclictest30964-21basename1
16169991914,3cyclictest28775-21expr1
16169991914,3cyclictest27038-21/usr/sbin/munin1
16169991914,3cyclictest23387-21idleruntime-cro1
16169991914,3cyclictest23387-21idleruntime-cro1
16169991914,3cyclictest1961-21cat1
16169991914,3cyclictest14929-21/usr/sbin/munin1
16169991914,3cyclictest11396-21seq1
16169991914,3cyclictest11282-21sed1
16169991913,4cyclictest7584-21date1
16169991913,4cyclictest505-21dbus-daemon1
16169991913,4cyclictest22780-21seq1
16169991913,3cyclictest4958-21grep1
16169991913,3cyclictest4958-21grep1
16169991913,3cyclictest14240-21cat1
16169991912,4cyclictest27691-21cat1
16169991912,4cyclictest21440-21seq1
16169991912,4cyclictest1934-21cut1
16169991912,4cyclictest14883-21cat1
16169991911,5cyclictest23537-21grep1
1616599193,8cyclictest9-21ksoftirqd/00
16181991816,1cyclictest0-21swapper/33
16181991814,2cyclictest7418-21gltestperf3
16181991814,2cyclictest19535-21sed3
16181991814,2cyclictest16342-21open_inodes3
16181991813,3cyclictest5597-21kernelversion3
16181991813,3cyclictest5597-21kernelversion3
16181991813,3cyclictest331-21expr3
16181991813,3cyclictest31619-21cat3
16181991813,3cyclictest31478-21cron3
16181991813,3cyclictest30010-21memory3
16181991813,3cyclictest27862-21wc3
16181991813,3cyclictest22664-21grep3
16181991813,3cyclictest22664-21grep3
16181991813,3cyclictest2027-21apt3
16181991813,3cyclictest18722-21cat3
16181991813,3cyclictest17302-21expr3
16181991813,3cyclictest17302-21expr3
16181991813,3cyclictest16745-21idleruntime-cro3
16181991813,3cyclictest16402-21expr3
16181991813,3cyclictest16378-21cat3
16181991812,4cyclictest25398-21expr3
1616999187,9cyclictest18152-21dump-pmu-power1
1616999183,8cyclictest31743-21apt-get1
16169991816,1cyclictest0-21swapper/11
16169991816,1cyclictest0-21swapper/11
16169991816,1cyclictest0-21swapper/11
16169991814,2cyclictest9132-21aten2.4-expect1
16169991814,2cyclictest1178-21gltestperf1
16169991813,3cyclictest665-21runrttasks1
16169991813,3cyclictest5999-21run-parts1
16169991813,3cyclictest5999-21run-parts1
16169991813,3cyclictest28263-21cat1
16169991813,3cyclictest25919-21grep1
16169991813,3cyclictest25008-21/usr/sbin/munin1
16169991813,3cyclictest17859-21ntp_offset1
16169991813,3cyclictest17859-21ntp_offset1
16169991813,3cyclictest13235-21which1
16169991812,4cyclictest31504-21ls1
16169991812,4cyclictest25794-21wc1
16169991811,4cyclictest21438-21expr1
1618199173,9cyclictest2736-21apt-get3
16181991715,1cyclictest0-21swapper/33
16181991713,2cyclictest31033-21latency_hist3
16181991712,3cyclictest6117-21cut3
16181991712,3cyclictest27854-21cpuspeed3
16181991712,3cyclictest20332-21nfs4_client3
16181991712,3cyclictest14261-21grep3
1618199171,14cyclictest5443-21sh3
1618199171,14cyclictest5443-21sh3
16181991711,3cyclictest21170-21aten2.4-expect3
16169991713,2cyclictest16457-21if_enp2s01
16169991712,3cyclictest8415-21grep1
16169991712,3cyclictest12920-21hostname1
16169991712,3cyclictest1276-21expr1
16169991711,4cyclictest21-21ksoftirqd/11
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional