You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-23 - 10:42
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Sun Nov 23, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
118492279213,56sleep20-21swapper/22
1269599277269,5cyclictest505-21dbus-daemon3
116032253209,16sleep00-21swapper/00
122812251185,24sleep30-21swapper/33
123292250182,23sleep10-21swapper/11
1269099229221,5cyclictest18203-21munin-run2
1268899214208,3cyclictest18231-21perf1
1268299199192,4cyclictest18235-21sendmail0
2899021630,2sleep31269599cyclictest3
33442770,4sleep10-21swapper/11
90552580,4sleep11268899cyclictest1
270682580,2sleep335-21ksoftirqd/33
142532510,2sleep10-21swapper/11
102852510,1sleep00-21swapper/00
300102400,1sleep10-21swapper/11
247122330,3sleep124710-21perf1
12690992621,3cyclictest26263-21systemctl2
12688992616,6cyclictest23944-21grep1
12695992316,4cyclictest7281-21sh3
12690992316,5cyclictest23342-21df_inode2
12690992316,4cyclictest7417-21swap2
1269099231,19cyclictest1914-21munin-run2
12695992217,3cyclictest28772-21perf3
12695992214,5cyclictest31089-21sh3
1269599220,19cyclictest21148-21wc3
1269099223,17cyclictest4100-21cat2
12690992216,3cyclictest2146-21timerwakeupswit2
1269099221,4cyclictest12498-21munin-run2
1269099221,19cyclictest19466-1kworker/2:0H2
1269099221,18cyclictest5248-21munin-run2
1269099220,4cyclictest17552-21grep2
12688992215,4cyclictest32353-21idleruntime-cro1
12688992214,5cyclictest505-21dbus-daemon1
12688992212,6cyclictest505-21dbus-daemon1
12682992215,4cyclictest5081-21missed_timers0
288462210,2sleep10-21swapper/11
12695992116,3cyclictest22445-21cut3
12695992115,3cyclictest10076-21head3
1269599210,20cyclictest0-21swapper/33
1269599210,19cyclictest32723-21sed3
1269599210,19cyclictest32723-21sed3
12690992116,3cyclictest505-21dbus-daemon2
12690992115,4cyclictest32495-21threads2
12690992115,4cyclictest32495-21threads2
12690992115,4cyclictest29537-21cpuspeed2
1269099211,4cyclictest560-21gmain2
1269099211,3cyclictest23390-21gpgv2
1269099211,17cyclictest0-21swapper/22
1269099210,18cyclictest29534-21sh2
1269099210,18cyclictest15041-21uptime2
1269099210,18cyclictest10867-21perf2
12688992116,3cyclictest21-21ksoftirqd/11
12688992115,4cyclictest26517-21acpi1
12688992114,4cyclictest3170-21sendmail1
12688992114,4cyclictest3115-21aten2.4-expect1
12688992114,4cyclictest13692-21seq1
12682992115,4cyclictest1360-21diskstats0
249062200,2sleep20-21swapper/22
219442200,4sleep2271rcuc/22
1269599207,7cyclictest28546-21apt-get3
1269599202,2cyclictest0-21swapper/33
12695992018,1cyclictest0-21swapper/33
12695992017,2cyclictest0-21swapper/33
12695992015,3cyclictest8846-21ls3
12695992015,3cyclictest2835-21irqstats3
12695992015,3cyclictest22500-21sed3
12695992015,3cyclictest15541-21sed3
12695992015,3cyclictest15541-21sed3
12695992015,3cyclictest12581-21sed3
12695992014,4cyclictest10203-21threads3
12695992014,3cyclictest18919-21sed3
12695992013,4cyclictest23707-21aten2.4-expect3
12695992013,4cyclictest16520-21grep3
1269099209,9cyclictest15690-21gltestperf2
12690992015,3cyclictest30355-21sendmail-mta2
12690992015,3cyclictest29602-21proc_pri2
12690992015,3cyclictest28390-21perf2
12690992015,3cyclictest27475-21munin-run2
12690992015,3cyclictest2222-21nfs4_client2
12690992015,3cyclictest13846-21switchtime2
12690992014,4cyclictest7512-21seq2
12690992014,4cyclictest505-21dbus-daemon2
12690992014,4cyclictest4406-21cpuspeed2
12690992014,4cyclictest31588-21pmu-power2
12690992014,4cyclictest31588-21pmu-power2
12690992014,4cyclictest26081-21cat2
12690992014,4cyclictest19291-21df2
12690992014,4cyclictest19190-21cat2
12690992014,4cyclictest14308-21sed2
12690992014,4cyclictest10204-21cut2
1269099201,3cyclictest1997-21cron2
1269099201,3cyclictest18992-21munin-run2
1269099201,17cyclictest32504-21cat2
1269099201,16cyclictest9151-21ntp_states2
1269099201,16cyclictest4316-21apt-get2
1269099200,3cyclictest7274-21munin-run2
1269099200,3cyclictest30942-1kworker/2:0H2
1269099200,17cyclictest4041-1kworker/2:2H2
1269099200,17cyclictest20532-21df2
1268899204,10cyclictest15696-21apt-get1
1268899203,10cyclictest20117-21apt-get1
12688992015,3cyclictest4992-21/usr/sbin/munin1
12688992015,3cyclictest15172-21/usr/sbin/munin1
12688992015,3cyclictest13853-21latency1
12688992015,3cyclictest11400-21latency1
12688992015,3cyclictest11104-21/usr/sbin/munin1
12688992010,7cyclictest21-21ksoftirqd/11
12682992015,3cyclictest9329-21awk0
12682992015,3cyclictest32307-21seq0
12682992015,3cyclictest32307-21seq0
12682992015,3cyclictest31420-21ntpq0
12682992015,3cyclictest29309-21/usr/sbin/munin0
12682992015,3cyclictest28535-21acpi0
12682992015,3cyclictest23349-21diskstats0
12682992015,3cyclictest14733-21swap0
12682992015,3cyclictest10317-21/usr/sbin/munin0
12682992014,4cyclictest8971-21date0
12682992014,4cyclictest6587-21seq0
12682992014,4cyclictest4597-21cat0
12682992014,4cyclictest32022-21ls0
12682992014,4cyclictest3166-40mandb0
12682992014,4cyclictest24124-21cut0
12682992014,4cyclictest23085-21seq0
12682992013,4cyclictest11526-21expr0
1268299201,17cyclictest1479-21sed0
1269599196,3cyclictest35-21ksoftirqd/33
12695991917,1cyclictest0-21swapper/33
12695991916,1cyclictest351ksoftirqd/33
12695991914,3cyclictest7684-21unixbench_singl3
12695991914,3cyclictest25791-21timerwakeupswit3
12695991913,4cyclictest467-21sed3
12695991913,4cyclictest31042-21expr3
12695991913,4cyclictest31042-21expr3
12695991913,4cyclictest29325-21sed3
12695991913,4cyclictest10333-21gdbus3
12695991913,3cyclictest2723-21idleruntime-cro3
12695991913,3cyclictest15848-21mailstats3
12695991912,4cyclictest5988-21cron3
1269599191,12cyclictest10342-21chrt3
12690991914,3cyclictest7023-21/usr/sbin/munin2
12690991914,3cyclictest30410-21irqstats2
12690991914,3cyclictest14901-21grep2
12690991914,3cyclictest14901-21grep2
12690991914,3cyclictest1137-21idleruntime-cro2
12690991914,3cyclictest10897-21if_enp2s02
1269099191,3cyclictest22268-21cron2
12690991913,4cyclictest6038-21rt-features2
12690991913,4cyclictest22913-21expr2
12690991913,3cyclictest19156-21latency2
12690991912,5cyclictest28898-21sed2
1269099191,17cyclictest13382-21cat2
1269099191,16cyclictest0-21swapper/22
1268899193,9cyclictest4229-21apt-get1
1268899193,10cyclictest30660-21apt-get1
1268899193,10cyclictest30660-21apt-get1
12688991915,2cyclictest8356-21/usr/sbin/munin1
12688991915,2cyclictest20880-21/usr/sbin/munin1
12688991914,3cyclictest4098-21sed1
12688991914,3cyclictest23660-21/usr/sbin/munin1
12688991914,3cyclictest20580-21sshd1
12688991914,3cyclictest10317-21/usr/sbin/munin1
12688991913,4cyclictest7411-21cat1
12688991913,4cyclictest4689-21expr1
12688991913,4cyclictest18175-21sed1
12688991913,4cyclictest16401-21sed1
12688991912,5cyclictest27252-21sort1
12688991912,4cyclictest14812-21aten2_r9power_c1
12688991911,5cyclictest505-21dbus-daemon1
12682991915,2cyclictest32663-21/usr/sbin/munin0
12682991915,2cyclictest19255-21/usr/sbin/munin0
12682991915,2cyclictest17204-21/usr/sbin/munin0
12682991914,3cyclictest4147-21cut0
12682991914,3cyclictest3473-21acpi0
12682991914,3cyclictest31251-21seq0
12682991914,3cyclictest28635-21sh0
12682991914,3cyclictest26872-21expr0
12682991914,3cyclictest26580-21ntp_states0
12682991914,3cyclictest25820-21sh0
12682991914,3cyclictest20436-21date0
12682991914,3cyclictest20310-21seq0
12682991914,3cyclictest18733-21ls0
12682991914,3cyclictest16409-21seq0
12682991914,3cyclictest15718-21/usr/sbin/munin0
12682991914,3cyclictest12020-21grep0
12682991914,3cyclictest11560-21ls0
12682991913,4cyclictest28601-21date0
12682991913,4cyclictest18965-21ntpq0
12682991913,4cyclictest16635-21seq0
12682991913,4cyclictest13554-21cat0
12682991912,4cyclictest2082-21systemd-journal0
213102180,1sleep30-21swapper/33
1269599182,11cyclictest0-21swapper/33
1269599182,10cyclictest2293-21apt-get3
12695991816,1cyclictest0-21swapper/33
12695991816,1cyclictest0-21swapper/33
12695991814,2cyclictest665-21runrttasks3
12695991813,3cyclictest31014-21grep3
12695991813,3cyclictest19785-21pluginstate3
12695991813,3cyclictest17331-21cut3
12695991813,3cyclictest14075-21proc_pri3
12695991813,3cyclictest13862-21ls3
12695991812,4cyclictest3847-21expr3
12695991812,4cyclictest22634-21unixbench_singl3
12695991812,4cyclictest1766-21cat3
12695991812,4cyclictest10333-21gdbus3
1269599180,16cyclictest0-21swapper/33
12690991814,2cyclictest6673-21df_inode2
12690991813,3cyclictest4380-21uptime2
12690991813,3cyclictest20250-21ps2
1269099180,2cyclictest111rcu_preempt2
1269099180,17cyclictest23937-21awk2
1268899182,9cyclictest17222-21apt-get1
12688991814,2cyclictest7023-21/usr/sbin/munin1
12688991814,2cyclictest22519-21/usr/sbin/munin1
12688991813,3cyclictest8120-21idleruntime-cro1
12688991813,3cyclictest505-21dbus-daemon1
12688991813,3cyclictest31584-21cat1
12688991813,3cyclictest31584-21cat1
12688991813,3cyclictest29758-21/usr/sbin/munin1
12688991813,3cyclictest24255-21apt-config1
12688991813,3cyclictest16371-21awk1
12688991813,3cyclictest11685-21cut1
12688991812,4cyclictest505-21dbus-daemon1
12688991812,4cyclictest21-21ksoftirqd/11
12688991812,4cyclictest20439-21sed1
1268899181,1cyclictest0-21swapper/11
1268899181,16cyclictest0-21swapper/11
12688991811,4cyclictest29473-21grep1
12688991811,4cyclictest2082-21systemd-journal1
12688991811,4cyclictest18756-21tr1
12688991810,4cyclictest505-21dbus-daemon1
12682991814,2cyclictest3103-21aten2_r9power_v0
12682991814,2cyclictest23660-21/usr/sbin/munin0
12682991813,3cyclictest8105-21cut0
12682991813,3cyclictest665-21runrttasks0
12682991813,3cyclictest665-21runrttasks0
12682991813,3cyclictest5484-21/usr/sbin/munin0
12682991813,3cyclictest3554-21sed0
12682991813,3cyclictest31891-21basename0
12682991813,3cyclictest31891-21basename0
12682991813,3cyclictest21224-21cat0
12682991813,3cyclictest13163-21cat0
12682991813,3cyclictest10490-21seq0
12682991812,4cyclictest6459-21hostname0
12682991812,4cyclictest27412-21expr0
12682991812,4cyclictest23616-21wc0
12682991812,4cyclictest20732-21cat0
12682991812,4cyclictest15096-21cat0
12682991812,4cyclictest15096-21cat0
12682991812,4cyclictest12034-21expr0
1268299180,15cyclictest15696-21apt-get0
1269599173,4cyclictest25001-21head3
1269599171,5cyclictest505-21dbus-daemon3
12695991715,1cyclictest0-21swapper/33
12695991715,1cyclictest0-21swapper/33
12695991715,1cyclictest0-21swapper/33
12695991712,3cyclictest665-21runrttasks3
12695991712,3cyclictest665-21runrttasks3
12695991712,3cyclictest21095-21processes3
12695991712,3cyclictest13752-21sh3
12695991712,3cyclictest12006-21cat3
1269599170,16cyclictest0-21swapper/33
12690991711,4cyclictest27372-21ntp_kernel_pll_2
12688991713,2cyclictest8263-21/usr/sbin/munin1
12688991713,2cyclictest5484-21/usr/sbin/munin1
12688991713,2cyclictest21279-21/usr/sbin/munin1
12688991713,2cyclictest14385-21/usr/sbin/munin1
12688991713,2cyclictest12746-21/usr/sbin/munin1
12688991712,3cyclictest9672-21aten2_r9power_v1
12688991712,3cyclictest27772-21cut1
12688991711,4cyclictest32716-21aten2_r9power_v1
12682991713,2cyclictest12891-21apt-config0
12682991712,3cyclictest665-21runrttasks0
12682991712,3cyclictest665-21runrttasks0
12682991710,4cyclictest25170-21cat0
12695991610,4cyclictest22903-21expr3
12690991610,3cyclictest2082-21systemd-journal2
1268899168,4cyclictest3723-21/usr/sbin/munin1
12682991612,2cyclictest24528-21aten2_r9power_e0
12695991511,2cyclictest28429-21cat3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional