You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-04 - 22:32
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Thu Dec 04, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
202532316199,101sleep20-21swapper/22
202922280242,26sleep00-21swapper/00
203582252184,17sleep10-21swapper/11
202342240170,22sleep30-21swapper/33
2071699201197,2cyclictest0-21swapper/11
2072299194191,2cyclictest0-21swapper/22
2071099184179,3cyclictest12567-21strings0
2600621480,3sleep02071099cyclictest0
736121290,3sleep20-21swapper/22
2072699121117,2cyclictest0-21swapper/33
320912480,3sleep00-21swapper/00
230822430,2sleep30-21swapper/33
2071099431,15cyclictest0-21swapper/00
2071099429,18cyclictest8441-21expr0
2071099420,22cyclictest14901-21date0
2072299412,36cyclictest17486-21grep2
2072299412,36cyclictest17486-21grep2
2072299400,36cyclictest16368-21sleep2
2071099400,20cyclictest28616-21cat0
2072299391,35cyclictest2187-21cron2
2072299371,34cyclictest12026-21cat2
2071099378,16cyclictest2082-21systemd-journal0
2071099371,21cyclictest31226-21ntpq0
2071099370,21cyclictest24826-21grep0
2072299361,3cyclictest26052-21perf2
2071099360,24cyclictest24491-21memory0
2071099360,21cyclictest12715-21awk0
2071099360,20cyclictest24050-21ntpq0
20722993513,4cyclictest31360-21expr2
2072299350,3cyclictest15728-21cat2
2071099351,18cyclictest8442-21/usr/sbin/munin0
2071099351,16cyclictest7400-21latency_hist0
20722993415,17cyclictest0-21swapper/22
2072299341,3cyclictest26061-1kworker/2:2H2
2071099340,19cyclictest4344-21cat0
2071099340,18cyclictest19524-21ntp_states0
20722993313,3cyclictest26204-21expr2
2071699334,13cyclictest6837-21tr1
2071099330,18cyclictest26690-21ntpq0
20722993213,2cyclictest20532-21latency_hist2
20722993213,2cyclictest16793-21latency_hist2
20722993210,4cyclictest505-21dbus-daemon2
20710993216,14cyclictest5849-21ls0
2071099320,16cyclictest0-21swapper/00
20722993113,3cyclictest28307-21/usr/sbin/munin2
2072299311,13cyclictest14756-21latency_hist2
2072299310,1cyclictest0-21swapper/22
2072299310,1cyclictest0-21swapper/22
20716993111,4cyclictest10333-21gdbus1
20710993115,13cyclictest25674-21cut0
2071099310,17cyclictest0-21swapper/00
2071099310,17cyclictest0-21swapper/00
2071099310,17cyclictest0-21swapper/00
2071099310,17cyclictest0-21swapper/00
2072299302,6cyclictest16112-21apt-get2
2071699302,7cyclictest22454-21munin-run1
20716993014,4cyclictest14158-21/usr/sbin/munin1
20716993014,3cyclictest31759-21sed1
2071699292,7cyclictest8054-21apt-get1
20716992911,4cyclictest18629-21cut1
2071699291,11cyclictest5778-21sendmail1
20710992913,13cyclictest6360-21cat0
20710992912,14cyclictest29893-21wc0
20710992912,14cyclictest2405-21entropy0
20710992911,15cyclictest10503-21expr0
2071099290,16cyclictest0-21swapper/00
2071099290,16cyclictest0-21swapper/00
2071099290,16cyclictest0-21swapper/00
2071099290,16cyclictest0-21swapper/00
2072299286,4cyclictest0-21swapper/22
2072299285,4cyclictest0-21swapper/22
2071699283,7cyclictest10115-21apt-get1
2071699282,7cyclictest32375-21apt-get1
20716992815,2cyclictest5619-21/usr/sbin/munin1
20716992813,3cyclictest8442-21/usr/sbin/munin1
20716992813,3cyclictest22214-21/usr/sbin/munin1
20716992813,2cyclictest12520-21/usr/sbin/munin1
2071699281,2cyclictest16211-21apt-get1
2071699281,2cyclictest16211-21apt-get1
20710992815,11cyclictest32746-21/usr/sbin/munin0
2071099281,24cyclictest11011-21head0
2072299272,6cyclictest24648-21apt-get2
2072299270,16cyclictest0-21swapper/22
2071699271,9cyclictest18647-21apt-get1
20716992714,3cyclictest19087-21/usr/sbin/munin1
20716992712,3cyclictest665-21runrttasks1
20716992712,2cyclictest32746-21/usr/sbin/munin1
20716992710,4cyclictest5037-21kernelversion1
2071099279,15cyclictest31462-21cat0
2071099279,14cyclictest27553-21cat0
20710992713,12cyclictest28807-21ps0
2071099271,23cyclictest17875-21cron0
20710992712,12cyclictest28883-21if_enp2s00
2071099271,13cyclictest665-21runrttasks0
20710992711,13cyclictest20090-21date0
2071099270,17cyclictest22616-21cat0
2072299263,4cyclictest0-21swapper/22
2071699263,7cyclictest10920-21apt-get1
2071699263,6cyclictest14565-21apt-get1
2071699262,9cyclictest4804-21apt-get1
20716992613,2cyclictest17035-21/usr/sbin/munin1
2071099269,14cyclictest14175-21expr0
2071099268,15cyclictest3259-21sh0
2071099261,22cyclictest22360-21munin-run0
20710992610,13cyclictest30434-21if_enp3s00
2071699252,7cyclictest26695-21apt-get1
2071099259,14cyclictest16063-21gzip0
2071099259,13cyclictest7125-21cpuspeed_turbos0
2071099259,13cyclictest6651-21cpuspeed_turbos0
2071099258,14cyclictest30653-21date0
2071099252,18cyclictest0-21swapper/00
2071099251,21cyclictest18362-21munin-run0
2071099251,21cyclictest10634-21munin-run0
2071099251,20cyclictest22718-21apt-get0
2071099251,19cyclictest32375-21apt-get0
2071099250,22cyclictest21138-21gltestperf0
20722992414,1cyclictest0-21swapper/22
2071699243,6cyclictest2477-21apt-get1
20716992416,4cyclictest3758-21sh1
2071099248,13cyclictest6069-21unixbench-2d0
2071099241,20cyclictest4525-21aten2_r9power_v0
2071099241,20cyclictest3892-21grep0
2071099241,20cyclictest20243-21aten2.4-expect0
2071099241,20cyclictest13905-21cron0
2071099241,20cyclictest1291-21cron0
2072299233,18cyclictest9517-21cat2
20722992316,6cyclictest0-21swapper/22
20722992316,6cyclictest0-21swapper/22
20722992315,1cyclictest0-21swapper/22
2071699231,18cyclictest2373-21wc1
2071099232,17cyclictest0-21swapper/00
2071099231,19cyclictest14238-21aten2_r9power_e0
20710992310,11cyclictest665-21runrttasks0
20726992216,3cyclictest19942-21ls3
2072299223,17cyclictest4127-21cat2
20722992215,5cyclictest665-21runrttasks2
20716992215,4cyclictest9794-21pmu-power1
20716992215,4cyclictest505-21dbus-daemon1
2071699220,7cyclictest14750-21cron1
2071099220,13cyclictest0-21swapper/00
20726992118,1cyclictest351ksoftirqd/33
20726992115,4cyclictest5656-21ntp_kernel_pll_3
20726992114,5cyclictest10959-21wc3
2072299212,17cyclictest28734-21cat2
20722992115,4cyclictest32714-21cut2
20722992114,4cyclictest28461-21sh2
2072299211,3cyclictest2160-1kworker/2:0H2
2071699216,3cyclictest111rcu_preempt1
2071699212,16cyclictest26880-21basename1
20716992116,3cyclictest21114-21/usr/sbin/munin1
20716992115,4cyclictest30321-21seq1
20716992115,4cyclictest21123-21/usr/sbin/munin1
20716992113,5cyclictest9424-21cron1
20716992112,5cyclictest25584-21cat1
20726992015,3cyclictest8486-21entropy3
20726992015,3cyclictest2509-21idleruntime3
20726992014,4cyclictest28610-21date3
20726992014,4cyclictest23587-21expr3
20726992014,4cyclictest21480-21cat3
20726992014,4cyclictest20890-21sh3
20726992014,4cyclictest20563-21sed3
20726992014,4cyclictest13261-21ls3
20726992014,4cyclictest12883-21cat3
20726992010,6cyclictest14176-21apt-get3
2072299206,4cyclictest0-21swapper/22
2072299202,16cyclictest13915-21latency_hist2
2072299202,16cyclictest10067-21cat2
2072299201,6cyclictest505-21dbus-daemon2
20722992015,3cyclictest22577-21sendmail-mta2
20722992014,4cyclictest29530-21cat2
20722992014,4cyclictest10397-21sed2
2072299201,3cyclictest26957-21cron2
2072299201,3cyclictest2160-1kworker/2:0H2
2072299201,18cyclictest24966-21awk2
2072299200,5cyclictest1790-21latency_hist2
2072299200,3cyclictest26061-1kworker/2:2H2
2072299200,18cyclictest0-21swapper/22
2072299200,17cyclictest0-21swapper/22
2071699202,15cyclictest28592-21tr1
20716992015,3cyclictest18148-21/usr/sbin/munin1
20716992014,4cyclictest4347-21wc1
20716992014,4cyclictest23309-21if_err_enp2s01
20716992014,3cyclictest23647-21cut1
20716992013,4cyclictest20567-21/usr/sbin/munin1
20716992013,4cyclictest1513-21wc1
20716992012,5cyclictest25205-21cut1
2071699201,16cyclictest28650-21grep1
2072699192,16cyclictest0-21swapper/33
20726991917,1cyclictest0-21swapper/33
20726991915,2cyclictest7766-21aten2_r9power_v3
20726991915,2cyclictest6605-21if_enp3s03
20726991915,2cyclictest30490-21irqstats3
20726991914,3cyclictest5262-21ntpq3
20726991914,3cyclictest4442-21diskstats3
20726991914,3cyclictest3607-21apt3
20726991914,3cyclictest35-21ksoftirqd/33
20726991914,3cyclictest28856-21ls3
20726991914,3cyclictest25608-21df3
20726991914,3cyclictest24049-21sh3
20726991914,3cyclictest23074-21ntp_kernel_pll_3
20726991914,3cyclictest22569-21cat3
20726991914,3cyclictest16813-21cat3
20726991914,3cyclictest16813-21cat3
20726991914,3cyclictest13986-21ls3
20726991914,3cyclictest11370-21ntp_kernel_pll_3
20726991913,4cyclictest28943-21ls3
20726991913,4cyclictest24800-21basename3
20726991913,3cyclictest6416-21acpi3
20726991912,4cyclictest23088-21expr3
2072299198,9cyclictest23050-21cstates2
2072299192,14cyclictest12737-21latency_hist2
20722991916,2cyclictest0-21swapper/22
20722991915,2cyclictest22915-21latency_hist2
20722991914,3cyclictest27399-21sed2
20722991914,3cyclictest10760-21sendmail_mailst2
20722991914,3cyclictest10549-21sh2
20722991913,4cyclictest32202-21cat2
20722991913,4cyclictest24541-21cat2
20722991913,3cyclictest20877-21cron2
20722991913,3cyclictest1-21systemd2
2072299191,16cyclictest3348-21latency_hist2
2071699193,9cyclictest30845-21apt-get1
20716991914,3cyclictest24888-21cpuspeed_turbos1
20716991914,3cyclictest16885-21sed1
20716991914,3cyclictest16093-21/usr/sbin/munin1
20716991913,4cyclictest8305-21cut1
20716991913,4cyclictest31448-21sed1
20716991913,4cyclictest31274-21sed1
20716991913,4cyclictest1917-21ls1
20726991816,1cyclictest0-21swapper/33
20726991816,1cyclictest0-21swapper/33
20726991816,1cyclictest0-21swapper/33
20726991814,2cyclictest28914-21aten2_r9power_v3
20726991813,3cyclictest7700-21ntp_states3
20726991813,3cyclictest32756-21open_files3
20726991813,3cyclictest31973-21sed3
20726991813,3cyclictest3099-21interrupts3
20726991813,3cyclictest30694-21expr3
20726991813,3cyclictest22336-21timerwakeupswit3
20726991813,3cyclictest21680-21basename3
20726991813,3cyclictest2006-21diskstats3
20726991813,3cyclictest19107-21basename3
20726991813,3cyclictest1539-21cat3
20726991813,3cyclictest13341-21expr3
20726991813,3cyclictest10305-21cut3
20726991812,4cyclictest26777-21expr3
20726991812,4cyclictest26644-21ntp_kernel_err3
20726991812,4cyclictest17825-21cat3
20726991812,4cyclictest16134-21hostname3
20726991812,3cyclictest15457-21forks3
20722991814,2cyclictest7792-21latency_hist2
20722991813,3cyclictest24057-21cat2
20722991813,3cyclictest18325-21grep2
2071699183,8cyclictest24252-21apt-get1
2071699182,9cyclictest13774-21apt-get1
20716991814,2cyclictest6813-21/usr/sbin/munin1
20716991813,3cyclictest20489-21cut1
20716991813,3cyclictest11111-21uptime1
20716991813,2cyclictest24843-21aten2_r9power_v1
20716991811,4cyclictest26407-21cut1
20716991811,3cyclictest28814-21aten2.4-expect1
20726991715,1cyclictest0-21swapper/33
20726991715,1cyclictest0-21swapper/33
20726991712,3cyclictest665-21runrttasks3
20726991712,3cyclictest29585-21cron3
20726991712,3cyclictest11351-21entropy3
20726991711,4cyclictest10250-21cpu3
20726991711,3cyclictest18266-21timerwakeupswit3
2072699170,16cyclictest0-21swapper/33
2071699179,5cyclictest0-21swapper/11
20716991712,3cyclictest17401-21needreboot1
20722991610,4cyclictest19010-21head2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional