You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-26 - 23:43
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Wed Nov 26, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
66792305270,22sleep30-21swapper/33
702899281273,6cyclictest27946-21cups-browsed1
702899281273,6cyclictest27946-21cups-browsed1
66812274245,17sleep00-21swapper/00
703699261254,5cyclictest20916-21awk3
703699261254,5cyclictest20916-21awk3
66512258196,49sleep10-21swapper/11
68312248194,41sleep20-21swapper/22
703299174168,4cyclictest10333-21gdbus2
703299174168,4cyclictest10333-21gdbus2
1745721570,4sleep0702499cyclictest0
299442510,3sleep20-21swapper/22
54542500,1sleep10-21swapper/11
12852460,1sleep00-21swapper/00
11592440,4sleep20-21swapper/22
105542440,1sleep30-21swapper/33
312382400,2sleep10-21swapper/11
702899359,12cyclictest27871-21seq1
702899338,7cyclictest21-21ksoftirqd/11
7028993311,4cyclictest21-21ksoftirqd/11
7024993111,5cyclictest9-21ksoftirqd/00
7028993017,3cyclictest21-21ksoftirqd/11
702899300,2cyclictest111rcu_preempt1
7024992915,6cyclictest111rcu_preempt0
702899280,6cyclictest17680-21apt1
702499287,11cyclictest9-21ksoftirqd/00
280062280,3sleep3703699cyclictest3
703299270,25cyclictest31832-21kworker/2:12
702499274,2cyclictest111rcu_preempt0
702499273,7cyclictest9-21ksoftirqd/00
702899261,4cyclictest6030-21munin-run1
702899260,7cyclictest21-21ksoftirqd/11
702499269,2cyclictest111rcu_preempt0
702499261,2cyclictest9-21ksoftirqd/00
702899259,3cyclictest21-21ksoftirqd/11
702899255,10cyclictest31328-21seq1
7028992514,3cyclictest21-21ksoftirqd/11
702899250,7cyclictest21-21ksoftirqd/11
702499252,9cyclictest9-21ksoftirqd/00
702499252,9cyclictest9-21ksoftirqd/00
124502250,3sleep30-21swapper/33
702499246,2cyclictest111rcu_preempt0
702499243,10cyclictest9-21ksoftirqd/00
7024992413,3cyclictest9-21ksoftirqd/00
703299238,12cyclictest13970-21latency_hist2
703299231,4cyclictest5510-21cron2
702899239,3cyclictest21-21ksoftirqd/11
702899235,3cyclictest21-21ksoftirqd/11
702899234,3cyclictest12768-21seq1
702899232,7cyclictest111rcu_preempt1
7028992316,5cyclictest16381-21awk1
7028992316,4cyclictest23908-21seq1
7028992314,3cyclictest21-21ksoftirqd/11
702899231,3cyclictest21-21ksoftirqd/11
7028992313,3cyclictest21-21ksoftirqd/11
702499239,3cyclictest9-21ksoftirqd/00
7024992319,2cyclictest101rcuc/00
7024992318,3cyclictest101rcuc/00
7024992312,3cyclictest9-21ksoftirqd/00
702499230,5cyclictest7880-21cron0
7036992214,5cyclictest505-21dbus-daemon3
703299227,3cyclictest28047-21idleruntime-cro2
703299223,17cyclictest26961-21latency_hist2
703299223,17cyclictest22052-21cat2
703299222,17cyclictest3981-21latency_hist2
703299220,20cyclictest27348-21cron2
702899221,7cyclictest0-21swapper/11
7028992212,3cyclictest21-21ksoftirqd/11
702499222,7cyclictest9-21ksoftirqd/00
7024992214,5cyclictest58150irq/130-enp2s00
7024992214,4cyclictest28166-21latency_hist0
702499221,11cyclictest9-21ksoftirqd/00
702499220,8cyclictest20950-21cron0
703699214,15cyclictest9043-21cat3
7036992115,3cyclictest8577-21awk3
7036992114,4cyclictest20974-21apt-get3
703299212,17cyclictest32278-21cat2
703299212,17cyclictest21727-21apt2
7032992115,4cyclictest505-21dbus-daemon2
7032992115,4cyclictest17849-21swap2
7032992115,4cyclictest16382-21fw_packets2
703299211,3cyclictest0-21swapper/22
703299210,4cyclictest8789-1kworker/2:2H2
702899219,3cyclictest21-21ksoftirqd/11
702899219,3cyclictest21-21ksoftirqd/11
702899214,11cyclictest16380-21ls1
7028992116,3cyclictest10065-21seq1
7028992115,4cyclictest9006-21/usr/sbin/munin1
7028992115,4cyclictest617-21sh1
7028992115,4cyclictest3166-21seq1
7028992115,4cyclictest14329-21seq1
7028992112,2cyclictest21-21ksoftirqd/11
702499219,9cyclictest27946-21cups-browsed0
702499219,2cyclictest111rcu_preempt0
702499218,3cyclictest111rcu_preempt0
702499218,2cyclictest111rcu_preempt0
702499218,2cyclictest111rcu_preempt0
702499217,4cyclictest9-21ksoftirqd/00
702499217,3cyclictest9-21ksoftirqd/00
702499215,6cyclictest2082-21systemd-journal0
702499213,9cyclictest9-21ksoftirqd/00
702499213,11cyclictest15945-21chrt0
7024992118,2cyclictest9-21ksoftirqd/00
702499211,5cyclictest0-21swapper/00
7024992115,3cyclictest13024-21threads0
7024992114,4cyclictest9-21ksoftirqd/00
7024992113,5cyclictest505-21dbus-daemon0
7024992113,5cyclictest29843-21sendmail0
702499211,17cyclictest26045-21sort0
7024992111,3cyclictest9-21ksoftirqd/00
702499210,6cyclictest9-21ksoftirqd/00
703699208,6cyclictest111rcu_preempt3
7036992015,3cyclictest9516-21kernelversion3
7036992015,3cyclictest5608-21kernelversion3
7036992015,3cyclictest14728-21ntpq3
7036992015,3cyclictest11857-21cut3
7036992014,4cyclictest9245-21ls3
7036992014,4cyclictest5998-21expr3
7036992014,4cyclictest5126-21http3
7036992014,4cyclictest29881-21/usr/sbin/munin3
7036992014,4cyclictest26956-21grep3
7036992014,4cyclictest26134-21sed3
7036992014,4cyclictest23302-21cat3
7036992014,4cyclictest20102-21sed3
703699200,1cyclictest111rcu_preempt3
703299205,13cyclictest0-21swapper/22
703299202,17cyclictest29433-21awk2
703299202,16cyclictest1453-21latency_hist2
703299202,16cyclictest0-21swapper/22
703299202,16cyclictest0-21swapper/22
7032992015,3cyclictest9013-21sed2
7032992015,3cyclictest24113-21aten2_r9power_v2
7032992015,3cyclictest23249-21switchtime2
7032992015,3cyclictest16031-21open_files2
7032992015,3cyclictest12441-21pluginstate2
7032992014,4cyclictest9598-21cat2
7032992014,4cyclictest7746-21seq2
703299201,3cyclictest21252-21cat2
703299201,2cyclictest2082-21systemd-journal2
703299201,17cyclictest8789-1kworker/2:2H2
703299201,17cyclictest8365-21cron2
703299201,17cyclictest3489-21latency_hist2
703299200,5cyclictest23297-21cron2
703299200,18cyclictest5788-21/usr/sbin/munin2
7028992015,3cyclictest9804-21/usr/sbin/munin1
7028992015,3cyclictest8225-21rt-features1
7028992015,3cyclictest10602-21diskstats1
7028992015,2cyclictest23608-21aten2_r9power_e1
7028992014,4cyclictest483-21interrupts1
7028992014,4cyclictest3257-21cat1
7028992014,4cyclictest21393-21seq1
7028992014,4cyclictest16346-21seq1
7028992014,4cyclictest13749-21cut1
7028992014,4cyclictest13410-21seq1
7028992014,4cyclictest11211-21ls1
7028992013,4cyclictest28990-21grep1
7028992013,4cyclictest10133-21cut1
7028992011,2cyclictest21-21ksoftirqd/11
702899200,7cyclictest21-21ksoftirqd/11
702499208,3cyclictest9-21ksoftirqd/00
702499208,2cyclictest111rcu_preempt0
702499208,2cyclictest111rcu_preempt0
702499208,2cyclictest111rcu_preempt0
702499207,3cyclictest111rcu_preempt0
702499204,3cyclictest111rcu_preempt0
702499201,6cyclictest0-21swapper/00
7024992016,2cyclictest25182-21/usr/sbin/munin0
7024992016,2cyclictest22154-21/usr/sbin/munin0
702499201,5cyclictest0-21swapper/00
7024992015,3cyclictest14723-21/usr/sbin/munin0
7024992015,3cyclictest101rcuc/00
7024992013,4cyclictest665-21runrttasks0
7024992013,4cyclictest665-21runrttasks0
7024992013,4cyclictest13289-21cat0
7024992013,2cyclictest111rcu_preempt0
7024992012,2cyclictest111rcu_preempt0
702499200,1cyclictest111rcu_preempt0
702499200,11cyclictest9-21ksoftirqd/00
7036991915,2cyclictest24426-21df3
7036991914,3cyclictest31829-21idleruntime3
7036991914,3cyclictest30162-21aten2_r9power_e3
7036991914,3cyclictest2762-21which3
7036991914,3cyclictest23294-21cron3
7036991914,3cyclictest20137-21find3
7036991914,3cyclictest18345-21expr3
7036991914,3cyclictest16906-21cpu3
7036991913,4cyclictest8586-21cut3
7036991913,4cyclictest4152-21expr3
7036991913,4cyclictest16326-21expr3
7036991913,4cyclictest1085-21users3
7036991912,4cyclictest12615-21df3
7036991910,7cyclictest29825-21cron3
7032991916,2cyclictest0-21swapper/22
7032991916,2cyclictest0-21swapper/22
7032991914,3cyclictest2650-21munin-run2
7032991914,3cyclictest17724-21date2
7032991913,4cyclictest10504-21seq2
703299191,16cyclictest31575-21cat2
703299191,16cyclictest31041-21latency_hist2
703299191,16cyclictest10412-21latency_hist2
703299190,3cyclictest8786-21basename2
703299190,3cyclictest16532-21dump-pmu-power2
702899198,3cyclictest21-21ksoftirqd/11
702899192,4cyclictest21-21ksoftirqd/11
7028991915,2cyclictest7670-21/usr/sbin/munin1
7028991915,2cyclictest28049-21/usr/sbin/munin1
7028991914,3cyclictest3721-21df1
7028991914,3cyclictest2889-21/usr/sbin/munin1
7028991913,4cyclictest30343-21cat1
7028991913,4cyclictest2632-21seq1
7028991913,4cyclictest26151-21grep1
7028991913,4cyclictest20133-21seq1
702899191,10cyclictest0-21swapper/11
702899190,7cyclictest21-21ksoftirqd/11
702499196,2cyclictest111rcu_preempt0
702499191,5cyclictest0-21swapper/00
7024991914,3cyclictest9-21ksoftirqd/00
7024991914,3cyclictest4050-21expr0
702499190,10cyclictest9-21ksoftirqd/00
703699183,7cyclictest17166-21apt-get3
703699181,5cyclictest0-21swapper/33
7036991814,2cyclictest30284-21/usr/sbin/munin3
7036991813,3cyclictest8621-21/usr/sbin/munin3
7036991813,3cyclictest6632-21expr3
7036991813,3cyclictest27059-21processes3
7036991813,3cyclictest24933-21latency_hist3
7036991813,3cyclictest23998-21forks3
7036991813,3cyclictest21983-21ntp_kernel_err3
7036991813,3cyclictest21975-21/usr/sbin/munin3
7036991813,3cyclictest20386-21fw_packets3
7036991813,3cyclictest16994-21cat3
7036991813,3cyclictest1660-21apt-get3
7036991813,3cyclictest15959-21sh3
7036991813,3cyclictest11424-21expr3
7036991812,4cyclictest1858-21cat3
7036991812,4cyclictest14727-21sort3
7036991812,4cyclictest13869-21date3
7036991812,4cyclictest12249-21expr3
703299187,9cyclictest0-21swapper/22
703299186,10cyclictest14481-21cron2
7032991816,1cyclictest0-21swapper/22
7032991814,2cyclictest9048-21munin-node2
7032991813,3cyclictest22313-21cstates2
7032991813,3cyclictest18790-21ntp_states2
7032991813,3cyclictest12286-21expr2
7032991813,3cyclictest12025-21proc_pri2
703299181,2cyclictest0-21swapper/22
703299181,2cyclictest0-21swapper/22
7032991812,4cyclictest14956-21date2
7032991812,4cyclictest10128-21date2
7028991813,3cyclictest6398-21seq1
7028991812,4cyclictest22398-21cat1
7028991812,3cyclictest31725-21aten2_r9power_e1
702899180,11cyclictest111rcu_preempt1
702499188,2cyclictest111rcu_preempt0
703699173,8cyclictest7688-21apt-get3
7036991713,2cyclictest27947-21cstates3
7036991712,3cyclictest18891-21ps3
7036991712,3cyclictest10577-21ntp_kernel_pll_3
7036991711,4cyclictest8510-21seq3
7036991711,4cyclictest653-21cat3
703299176,2cyclictest31622cpuspeed_turbos2
7032991715,1cyclictest0-21swapper/22
703299170,3cyclictest11978-21aten2.4-expect2
7028991712,3cyclictest23552-21cat1
703699162,8cyclictest2908-21apt-get3
7036991614,1cyclictest0-21swapper/33
7036991611,3cyclictest4629-21expr3
7036991610,4cyclictest35-21ksoftirqd/33
703699160,15cyclictest0-21swapper/33
7032991611,3cyclictest665-21runrttasks2
7032991611,3cyclictest30968-21ntp_kernel_pll_2
7032991611,3cyclictest29685-21seq2
7032991611,3cyclictest25412-21timerandwakeup2
7032991611,3cyclictest14322-21diskstats2
7036991511,2cyclictest25262-21aten2.4-expect3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional