You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-30 - 10:58
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Sun Nov 30, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
144762273181,16sleep00-21swapper/00
159572256218,25sleep10-21swapper/11
162462246176,25sleep20-21swapper/22
160342245177,36sleep30-21swapper/33
1645299165161,2cyclictest0-21swapper/22
989921640,2sleep21645299cyclictest2
1644899161155,3cyclictest0-21swapper/11
86821590,3sleep21645299cyclictest2
1645699142137,3cyclictest0-21swapper/33
1644499134127,4cyclictest24505-21strings0
166332590,2sleep10-21swapper/11
138212550,3sleep0101rcuc/00
16456993316,3cyclictest22170-21sh3
16444993313,17cyclictest30255-21cat0
1644499329,20cyclictest14916-21cat0
16444993213,16cyclictest5423-21seq0
16444993212,17cyclictest24778-21cat0
16444993212,17cyclictest18405-21cat0
16444993211,18cyclictest25677-21date0
16444993211,18cyclictest10776-21basename0
16444993210,19cyclictest8991-21expr0
16444993210,19cyclictest32385-21cat0
16444993210,19cyclictest32385-21cat0
16444993112,17cyclictest12967-21grep0
16444993112,17cyclictest12967-21grep0
16444993112,16cyclictest17801-21seq0
16444993111,17cyclictest665-21runrttasks0
16444993111,17cyclictest19587-21expr0
16444993110,18cyclictest7981-21head0
16444993110,18cyclictest25011-21seq0
16444993110,18cyclictest18576-21cpuspeed_turbos0
16444993110,18cyclictest11057-21sed0
16452993016,11cyclictest22076-21cron2
1644499309,18cyclictest31251-21seq0
1644499307,21cyclictest28263-21cron0
16444993010,17cyclictest6498-21cat0
16444993010,17cyclictest20832-21gltestperf0
1644499299,17cyclictest6403-21ls0
1644499299,17cyclictest23265-21seq0
1644499298,3cyclictest32728-21cat0
1644499298,18cyclictest32416-21date0
1644499296,20cyclictest22950-21basename0
16444992911,15cyclictest7566-21latency_hist0
16444992910,16cyclictest9564-21latency_hist0
16444992910,16cyclictest4671-21cpu0
1645299287,19cyclictest0-21swapper/22
1644499289,16cyclictest22303-21latency_hist0
1644499288,3cyclictest13349-21sed0
1644499288,17cyclictest5152-21mailstats0
1644499281,6cyclictest32596-21apt-get0
16444992812,14cyclictest9-21ksoftirqd/00
16444992812,13cyclictest23571-21/usr/sbin/munin0
270482270,2sleep20-21swapper/22
1644499279,3cyclictest21291-21seq0
1644499279,15cyclictest3540-21cpuspeed_turbos0
1644499278,3cyclictest3227-21find0
1644499278,3cyclictest3227-21find0
1644499278,3cyclictest27152-21expr0
1644499271,4cyclictest13626-21munin-run0
16444992711,14cyclictest27815-21aten2_r9power_p0
1644499270,4cyclictest7396-21apt-get0
1644499270,4cyclictest7396-21apt-get0
80972260,1sleep30-21swapper/33
1645699260,24cyclictest0-21swapper/33
1644499267,3cyclictest2656-21which0
1644499267,3cyclictest17377-21cat0
1644499267,3cyclictest11653-21processes0
1644499265,4cyclictest4358-21cut0
1644499260,9cyclictest2686-21awk0
175902250,3sleep20-21swapper/22
1644499259,13cyclictest665-21runrttasks0
1644499259,13cyclictest665-21runrttasks0
1644499258,2cyclictest23114-21sed0
1644499253,4cyclictest20156-21ls0
1644499252,4cyclictest19125-21apt-get0
21002240,3sleep10-21swapper/11
1645299244,17cyclictest6558-21cat2
1645299244,17cyclictest21376-21latency_hist2
1645299242,6cyclictest505-21dbus-daemon2
1645299241,20cyclictest13650-21perf2
16448992413,6cyclictest665-21runrttasks1
1644499245,3cyclictest11930-21gltestperf0
1644499243,18cyclictest18021-21munin-run0
1644499242,4cyclictest17097-21apt-get0
1645299231,4cyclictest7537-21munin-run2
1645299231,4cyclictest24121-21munin-run2
16452992312,7cyclictest3321-21apt-get2
1645299231,19cyclictest505-21dbus-daemon2
1645299231,19cyclictest3481-21dump-pmu-power2
16448992318,3cyclictest21207-21cmp1
1644899230,20cyclictest6545-40gzip1
1644499236,2cyclictest868-21taskset0
1644499236,2cyclictest23418-21proc_pri0
1644499235,2cyclictest0-21swapper/00
1644499232,5cyclictest28524-21apt-get0
1644499232,4cyclictest32109-21apt-get0
1644499232,4cyclictest14747-21apt-get0
1644499231,5cyclictest27649-21taskset0
1644499231,4cyclictest9429-21apt-get0
16456992215,4cyclictest2082-21systemd-journal3
1645699221,18cyclictest14501-21/usr/sbin/munin3
1645699220,21cyclictest18258-21kworker/3:03
1645699220,21cyclictest18258-21kworker/3:03
1645299224,17cyclictest4277-21awk2
1645299223,17cyclictest9977-21awk2
16452992215,4cyclictest9179-21sh2
16452992215,4cyclictest9179-21sh2
16452992215,4cyclictest2082-21systemd-journal2
1645299221,4cyclictest9030-1kworker/2:0H2
1645299221,4cyclictest10333-21gdbus2
16452992214,5cyclictest505-21dbus-daemon2
16452992214,5cyclictest505-21dbus-daemon2
16452992213,5cyclictest505-21dbus-daemon2
1645299221,18cyclictest29397-21cron2
16452992210,3cyclictest81012tr2
1645299220,12cyclictest166342awk2
16448992215,4cyclictest2082-21systemd-journal1
1644499220,6cyclictest14151-21cpuspeed_turbos0
157972220,2sleep20-21swapper/22
121822220,1sleep1201rcuc/11
16456992116,3cyclictest28506-21/usr/sbin/munin3
16456992116,3cyclictest24592-21ls3
16456992115,4cyclictest6310-21cat3
16456992115,3cyclictest11877-21sh3
1645699210,4cyclictest0-21swapper/33
1645299212,17cyclictest23328-21latency_hist2
1645299212,17cyclictest18857-21latency_hist2
1645299212,16cyclictest0-21swapper/22
1645299212,16cyclictest0-21swapper/22
1645299212,13cyclictest0-21swapper/22
16452992112,5cyclictest31422-21awk2
16452992112,5cyclictest31422-21awk2
16448992116,3cyclictest17126-21ntp_states1
16448992115,3cyclictest3475-21sh1
16448992115,3cyclictest28648-21aten2.4-expect1
16448992114,5cyclictest7384-21basename1
16448992114,5cyclictest7384-21basename1
16448992114,5cyclictest28614-21sort1
16448992114,4cyclictest2082-21systemd-journal1
16448992113,5cyclictest26232-21cron1
16448992112,5cyclictest25334-21proc_pri1
16456992015,3cyclictest9067-21ntp_states3
16456992015,3cyclictest30903-21diskstats3
16456992015,3cyclictest30615-21nfs4_client3
16456992015,3cyclictest26710-21ls3
16456992015,3cyclictest25693-21/usr/sbin/munin3
16456992015,3cyclictest22802-21threads3
16456992015,3cyclictest22631-21cpuspeed3
16456992015,3cyclictest16945-21uptime3
16456992015,3cyclictest10759-21ls3
16456992014,4cyclictest28688-21readlink3
16456992014,4cyclictest26222-21seq3
16456992013,4cyclictest25991-21expr3
1645299202,16cyclictest7943-21awk2
16452992017,2cyclictest0-21swapper/22
16452992016,2cyclictest0-21swapper/22
16452992015,2cyclictest0-21swapper/22
16452992014,4cyclictest27561-21date2
1645299201,3cyclictest5660-21chrt2
16452992013,4cyclictest505-21dbus-daemon2
16452992013,4cyclictest27498-21basename2
16452992013,4cyclictest19147-21ntp_offset2
16452992012,5cyclictest505-21dbus-daemon2
16452992012,5cyclictest2082-21systemd-journal2
1645299201,17cyclictest7227-21cat2
1645299201,17cyclictest3854-21latency_hist2
1645299201,17cyclictest3854-21latency_hist2
1645299201,17cyclictest32237-21latency_hist2
1645299200,18cyclictest20907-21perf2
1645299200,18cyclictest13319-21cut2
1645299200,18cyclictest10333-21gdbus2
16448992015,3cyclictest9508-21aten2_r9power_p1
16448992015,3cyclictest8253-21sh1
16448992015,3cyclictest22087-21seq1
16448992015,3cyclictest13755-21sed1
16448992015,3cyclictest12231-21/usr/sbin/munin1
16448992014,4cyclictest9370-21seq1
16448992014,4cyclictest32512-21sed1
16448992014,4cyclictest32512-21sed1
16448992014,3cyclictest3239-21date1
16448992014,3cyclictest2470-21/usr/sbin/munin1
16448992014,3cyclictest20898-21sed1
16448992013,4cyclictest518-21ntp_states1
16448992013,4cyclictest20422-21sed1
16448992013,4cyclictest1038-21idleruntime-cro1
16448992012,5cyclictest13810-21cpuspeed_turbos1
16456991915,2cyclictest7025-21df3
16456991915,2cyclictest3497-21cpu3
16456991915,2cyclictest32334-21latency_hist3
16456991915,2cyclictest32334-21latency_hist3
16456991915,2cyclictest32130-21df_inode3
16456991915,2cyclictest26844-21forks3
16456991914,3cyclictest4607-21awk3
16456991914,3cyclictest32707-21if_err_enp2s03
16456991914,3cyclictest2563-21unixbench-2d3
16456991914,3cyclictest23417-21cat3
16456991914,3cyclictest23191-21ntp_kernel_err3
16456991914,3cyclictest20088-21cat3
16456991914,3cyclictest13999-21gltestperf3
16456991914,3cyclictest12676-21acpi3
16456991914,3cyclictest12676-21acpi3
16456991914,3cyclictest12352-21sed3
16456991913,4cyclictest7450-21hostname3
16456991913,4cyclictest7450-21hostname3
16456991913,4cyclictest4991-21uname3
16456991913,4cyclictest17414-21cut3
16456991912,4cyclictest6276-21head3
16456991912,4cyclictest28826-21expr3
16456991911,6cyclictest32553-21aten2_r9power_e3
16456991911,5cyclictest17515-21df_inode3
1645299197,10cyclictest32550-21gltestperf2
1645299193,9cyclictest8636-21apt-get2
16452991916,2cyclictest0-21swapper/22
16452991915,2cyclictest21126-21/usr/sbin/munin2
16452991914,3cyclictest30340-21sed2
1645299191,16cyclictest18109-21latency_hist2
1645299191,15cyclictest14047-21awk2
1645299190,17cyclictest0-21swapper/22
1644899194,8cyclictest17066-21apt-get1
16448991915,2cyclictest16318-21/usr/sbin/munin1
16448991914,3cyclictest4010-21sed1
16448991914,3cyclictest30087-21grep1
16448991914,3cyclictest26857-21ls1
16448991914,3cyclictest18349-21sed1
16448991914,3cyclictest11442-21/usr/sbin/munin1
16448991913,4cyclictest3827-21seq1
16448991913,4cyclictest3827-21seq1
16448991913,4cyclictest23642-21sed1
16448991913,3cyclictest23525-21cat1
16448991912,4cyclictest6322-21plymouth1
16448991912,4cyclictest505-21dbus-daemon1
16448991912,4cyclictest505-21dbus-daemon1
16448991912,4cyclictest29438-21tr1
101322190,3sleep110067-21cpuspeed_turbos1
16456991814,2cyclictest2350-21apt-config3
16456991814,2cyclictest19246-21ntp_states3
16456991813,3cyclictest9779-21timerandwakeup3
16456991813,3cyclictest9417-21basename3
16456991813,3cyclictest6413-21sendmail_mailst3
16456991813,3cyclictest6343-21cpuspeed3
16456991813,3cyclictest19724-21expr3
16456991813,3cyclictest14858-21aten2_r9power_v3
16456991812,4cyclictest28470-21memory3
16456991812,4cyclictest11292-21cat3
16456991812,3cyclictest16197-21gdbus3
16456991812,3cyclictest12254-21aten2_r9power_c3
16452991816,1cyclictest0-21swapper/22
16452991816,1cyclictest0-21swapper/22
16452991813,3cyclictest11411-21missed_timers2
1645299181,15cyclictest16073-21munin-run2
1645299180,16cyclictest0-21swapper/22
16448991814,2cyclictest18267-21/usr/sbin/munin1
16448991813,3cyclictest9210-21if_enp3s01
16448991813,3cyclictest6994-21sed1
16448991813,3cyclictest665-21runrttasks1
16448991813,3cyclictest665-21runrttasks1
16448991813,3cyclictest25603-21/usr/sbin/munin1
16448991813,3cyclictest21753-21sort1
16448991813,3cyclictest19269-21open_inodes1
16448991812,4cyclictest5392-21grep1
16448991812,3cyclictest23571-21/usr/sbin/munin1
16448991812,3cyclictest2082-21systemd-journal1
16448991810,5cyclictest20793-21gltestperf1
16456991713,2cyclictest0-21swapper/33
16456991712,3cyclictest30563-21sh3
16456991712,3cyclictest20307-21apt-get3
16456991712,3cyclictest16237-21cat3
16456991711,4cyclictest24317-21load3
16456991711,4cyclictest16689-21expr3
16456991711,4cyclictest1495-21unixbench_singl3
1645299171,14cyclictest30938-21sort2
16452991711,3cyclictest319-21switchtime2
16448991713,2cyclictest5359-21/usr/sbin/munin1
16448991713,2cyclictest14281-21/usr/sbin/munin1
16448991712,3cyclictest665-21runrttasks1
16448991712,3cyclictest30460-21/usr/sbin/munin1
16448991712,3cyclictest27853-21seq1
16448991712,3cyclictest22933-21sendmail1
1644899171,1cyclictest0-21swapper/11
16448991711,4cyclictest29713-21cut1
16448991710,4cyclictest28035-21expr1
16456991612,2cyclictest18178-21if_err_enp2s03
16456991611,3cyclictest1811-21hostname3
16448991612,2cyclictest6146-21/usr/sbin/munin1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional