You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-09-20 - 08:15
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Fri Sep 20, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
42592291196,37sleep00-21swapper/00
37992252176,55sleep30-21swapper/33
48042251179,24sleep20-21swapper/22
49622233194,25sleep10-21swapper/11
1672721740,6sleep3524499cyclictest3
268062520,2sleep00-21swapper/00
66582510,1sleep20-21swapper/22
85132500,3sleep121-21ksoftirqd/11
83542470,3sleep0523199cyclictest0
524299350,33cyclictest7356-21kworker/2:22
64552330,2sleep0101rcuc/00
60382330,4sleep0523199cyclictest0
104132330,10sleep228-21ksoftirqd/22
82782310,2sleep1523599cyclictest1
524299271,4cyclictest28-21ksoftirqd/22
524299270,3cyclictest17816-21perf2
524299270,3cyclictest17816-21perf2
105352270,2sleep00-21swapper/00
191972250,9sleep09-21ksoftirqd/00
5231992418,4cyclictest25881-21http0
237842240,12sleep228-21ksoftirqd/22
524299238,13cyclictest30657-21latency_hist2
524299231,4cyclictest7946-21in:imuxsock2
524299231,4cyclictest23807-21munin-run2
524299231,19cyclictest6238-21munin-run2
69452220,5sleep3524499cyclictest3
5244992215,4cyclictest15735-21sh3
5244992214,5cyclictest17812-21idleruntime-cro3
5244992214,5cyclictest17812-21idleruntime-cro3
5244992210,3cyclictest35-21ksoftirqd/33
524299221,3cyclictest25798-21munin-run2
524299221,18cyclictest31815-21munin-run2
5231992216,3cyclictest9-21ksoftirqd/00
5231992215,4cyclictest32661-21sh0
23122220,2sleep00-21swapper/00
524499218,2cyclictest111rcu_preempt3
5244992116,3cyclictest35-21ksoftirqd/33
5244992116,3cyclictest31661-21memory3
524499211,4cyclictest22558-21sed3
5244992114,4cyclictest27846-21basename3
5244992114,4cyclictest25792-21cron3
5244992114,4cyclictest16879-21sh3
5244992111,3cyclictest35-21ksoftirqd/33
524299212,17cyclictest18278-21cat2
5242992116,3cyclictest5951-21ls2
5242992116,3cyclictest4304-21aten2_r9power_v2
5242992116,3cyclictest30916-21open_files2
5242992116,3cyclictest26696-21cut2
5242992115,4cyclictest3631-21cron2
524299211,3cyclictest3289-1kworker/2:1H2
524299211,3cyclictest19812-21munin-run2
524299210,3cyclictest10468-21df_inode2
524299210,18cyclictest9468-21seq2
5235992115,4cyclictest32231-21ls1
5235992115,4cyclictest32231-21ls1
5235992115,4cyclictest1288-21seq1
5235992114,5cyclictest476-21cat1
523599210,19cyclictest0-21swapper/11
5231992116,3cyclictest5946-21/usr/sbin/munin0
5231992112,6cyclictest505-21dbus-daemon0
5231992111,6cyclictest665-21runrttasks0
524499202,2cyclictest111rcu_preempt3
524499202,11cyclictest5417-21apt-get3
5244992015,3cyclictest7064-21sed3
5244992015,3cyclictest35-21ksoftirqd/33
5244992015,3cyclictest27532-21timerandwakeup3
5244992014,4cyclictest3868-21sed3
5244992014,4cyclictest30113-21cron3
5244992014,4cyclictest10082-21awk3
5244992014,3cyclictest30370-21acpi3
5244992011,5cyclictest505-21dbus-daemon3
524299208,11cyclictest28-21ksoftirqd/22
524299203,15cyclictest0-21swapper/22
524299202,16cyclictest19816-21cat2
5242992016,2cyclictest14650-21aten2_r9power_v2
5242992015,3cyclictest8919-21pmu-power2
5242992015,3cyclictest6985-21processes2
5242992015,3cyclictest5130-21timerwakeupswit2
5242992015,3cyclictest32438-21seq2
5242992015,3cyclictest29336-21proc_pri2
5242992015,3cyclictest18641-21aten2.4-expect2
5242992015,3cyclictest16440-21fw_packets2
5242992015,3cyclictest15412-21users2
5242992014,4cyclictest27956-21cut2
5242992014,4cyclictest2481-21acpi2
5242992014,4cyclictest22014-21apt2
5242992014,4cyclictest14147-21seq2
5242992013,4cyclictest21346-21awk2
5242992013,4cyclictest1099-21interrupts2
524299201,2cyclictest111rcu_preempt2
524299201,2cyclictest111rcu_preempt2
524299201,17cyclictest2082-21systemd-journal2
524299200,18cyclictest7037-21idleruntime2
5235992017,2cyclictest0-21swapper/11
5235992015,3cyclictest32021-21sed1
5235992015,3cyclictest29142-21cpuspeed_turbos1
5235992015,3cyclictest2082-21systemd-journal1
5235992015,3cyclictest2082-21systemd-journal1
5235992015,3cyclictest18561-21/usr/sbin/munin1
5235992015,3cyclictest18007-21seq1
5235992015,3cyclictest10021-21/usr/sbin/munin1
5235992014,4cyclictest4469-21/usr/sbin/munin1
5235992014,4cyclictest26783-21ls1
5235992014,4cyclictest19695-21seq1
5235992010,6cyclictest8804-21apt-get1
523599200,17cyclictest0-21swapper/11
5231992015,3cyclictest29289-21unixbench_multi0
5231992015,3cyclictest1603-21sed0
5231992015,3cyclictest11975-21/usr/sbin/munin0
5231992014,4cyclictest7069-21sed0
5231992014,4cyclictest3343-21ntpq0
5231992013,4cyclictest17239-21grep0
524499199,3cyclictest35-21ksoftirqd/33
524499196,3cyclictest35-21ksoftirqd/33
524499192,12cyclictest0-21swapper/33
5244991916,2cyclictest0-21swapper/33
5244991916,2cyclictest0-21swapper/33
5244991916,2cyclictest0-21swapper/33
5244991915,3cyclictest35-21ksoftirqd/33
5244991915,2cyclictest26011-21/usr/sbin/munin3
5244991914,3cyclictest12450-21expr3
5244991913,4cyclictest7410-21sed3
5244991910,5cyclictest505-21dbus-daemon3
524499190,1cyclictest111rcu_preempt3
5242991915,2cyclictest10574-21if_enp2s02
5242991914,3cyclictest302-21latency2
5242991914,3cyclictest28042-21find2
5242991914,3cyclictest26884-21ntp_kernel_pll_2
5242991914,3cyclictest24748-21missed_timers2
5242991914,3cyclictest14523-21ls2
5242991913,4cyclictest29324-21awk2
5242991913,4cyclictest12409-21expr2
5242991913,4cyclictest11714-21seq2
5242991913,3cyclictest20649-21irqstats2
5242991912,4cyclictest20778-21cat2
524299191,16cyclictest5434-21runrttasks2
524299190,4cyclictest8387-21df_inode2
524299190,3cyclictest13503-1kworker/2:2H2
524299190,16cyclictest32016-21apt-get2
524299190,16cyclictest32016-21apt-get2
5235991916,2cyclictest0-21swapper/11
5235991916,2cyclictest0-21swapper/11
5235991915,2cyclictest9015-21swap1
5235991914,3cyclictest6856-21cut1
5235991914,3cyclictest6806-21seq1
5235991914,3cyclictest28056-21/usr/sbin/munin1
5235991914,3cyclictest26069-21/usr/sbin/munin1
5235991914,3cyclictest26035-21http1
5235991914,3cyclictest25662-21apt-config1
5235991914,3cyclictest22554-21/usr/sbin/munin1
5235991914,3cyclictest20551-21/usr/sbin/munin1
5235991914,3cyclictest19883-21cat1
5235991914,3cyclictest19883-21cat1
5235991914,3cyclictest17737-21sh1
5235991914,3cyclictest1628-21/usr/sbin/munin1
5235991914,3cyclictest1628-21/usr/sbin/munin1
5235991914,3cyclictest15600-21seq1
5235991914,3cyclictest14530-21/usr/sbin/munin1
5235991913,4cyclictest9258-21awk1
5235991913,4cyclictest7344-21seq1
5235991913,4cyclictest18954-21seq1
5235991913,4cyclictest14511-21sed1
5235991913,4cyclictest12026-21/usr/sbin/munin1
5235991912,4cyclictest31742-21awk1
5235991912,4cyclictest24144-21hostname1
523599191,16cyclictest19996-21/usr/sbin/munin1
5235991910,7cyclictest11411-21ntp_kernel_pll_1
523199192,14cyclictest10568-21grep0
523199192,14cyclictest10546-21sort0
523199192,11cyclictest28381-21apt-get0
5231991916,2cyclictest0-21swapper/00
5231991915,2cyclictest32055-21/usr/sbin/munin0
5231991915,2cyclictest25086-21switchtime0
5231991914,3cyclictest9112-21timerandwakeup0
5231991914,3cyclictest665-21runrttasks0
5231991914,3cyclictest20051-21/usr/sbin/munin0
5231991914,3cyclictest14889-21ntpq0
5231991914,3cyclictest12980-21cat0
5231991914,3cyclictest11519-21ntpd0
5231991914,3cyclictest10577-21dump-pmu-power0
5231991913,4cyclictest18201-21cpuspeed0
5231991913,4cyclictest18201-21cpuspeed0
5231991912,4cyclictest15741-21cron0
523199190,16cyclictest8517-21sed0
524499189,5cyclictest505-21dbus-daemon3
524499181,6cyclictest1218-21sed3
5244991816,1cyclictest0-21swapper/33
5244991816,1cyclictest0-21swapper/33
5244991816,1cyclictest0-21swapper/33
5244991816,1cyclictest0-21swapper/33
5244991815,2cyclictest0-21swapper/33
5244991813,3cyclictest665-21runrttasks3
5244991813,3cyclictest5189-21sed3
5244991813,3cyclictest20005-21find3
5244991813,3cyclictest14795-21expr3
5244991813,3cyclictest10571-21aten2_r9power_c3
5244991812,4cyclictest6840-21cat3
5244991812,4cyclictest27902-21proc_pri3
5244991812,4cyclictest19073-21cut3
5244991812,4cyclictest11222-21sed3
5244991812,4cyclictest10333-21gdbus3
5244991812,4cyclictest10217-21awk3
5244991812,3cyclictest35-21ksoftirqd/33
5244991812,3cyclictest18952-21ls3
5244991812,3cyclictest18952-21ls3
5244991811,5cyclictest14278-21cron3
5244991810,4cyclictest31017-21pmu-power3
5242991814,2cyclictest21525-21proc_pri2
524299181,3cyclictest1956-21apt-get2
5242991813,3cyclictest28-21ksoftirqd/22
5242991813,3cyclictest18153-21cpu2
5242991813,3cyclictest18153-21cpu2
5242991812,4cyclictest6445-21expr2
5235991814,2cyclictest30905-21/usr/sbin/munin1
5235991814,2cyclictest0-21swapper/11
5235991813,3cyclictest5946-21/usr/sbin/munin1
5235991813,3cyclictest3929-21/usr/sbin/munin1
5235991813,3cyclictest3869-21cut1
5235991813,3cyclictest24888-21sh1
5235991813,3cyclictest2474-21/usr/sbin/munin1
5235991813,3cyclictest22025-21aten2_r9power_c1
5235991813,3cyclictest14638-21cat1
5235991812,4cyclictest876-21cat1
5235991812,4cyclictest4184-21/usr/sbin/munin1
5235991812,4cyclictest29161-21cat1
5235991812,4cyclictest23649-21seq1
5235991812,4cyclictest2264-21cat1
5235991812,4cyclictest13976-21/usr/sbin/munin1
5235991812,4cyclictest12806-21grep1
5235991812,4cyclictest11028-21cut1
523199182,13cyclictest3709-21apt-key0
5231991816,1cyclictest0-21swapper/00
5231991815,2cyclictest0-21swapper/00
5231991814,2cyclictest26371-21/usr/sbin/munin0
5231991813,3cyclictest3929-21/usr/sbin/munin0
5231991813,3cyclictest31960-21cat0
5231991813,3cyclictest31557-21timerwakeupswit0
5231991813,3cyclictest26932-21apt-get0
5231991813,3cyclictest23991-21/usr/sbin/munin0
5231991813,3cyclictest22804-21missed_timers0
5231991813,3cyclictest22482-21expr0
5231991813,3cyclictest21768-21munin-plugin-st0
5231991813,3cyclictest1918-21expr0
5231991813,3cyclictest1918-21expr0
5231991813,3cyclictest16750-21latency0
5231991813,3cyclictest16750-21latency0
5231991813,3cyclictest11973-21/usr/sbin/munin0
5231991813,3cyclictest11519-21ntpd0
5231991812,4cyclictest23190-21cat0
5231991811,4cyclictest18143-21hostname0
5231991811,4cyclictest10637-21cut0
524499178,6cyclictest989-21sed3
5244991715,1cyclictest0-21swapper/33
5244991712,3cyclictest665-21runrttasks3
5244991712,3cyclictest32578-21if_enp2s03
5244991712,3cyclictest32578-21if_enp2s03
5244991712,3cyclictest11738-21latency_hist3
5244991710,4cyclictest2158-21sed3
5244991710,4cyclictest2158-21sed3
524499170,16cyclictest0-21swapper/33
524499170,15cyclictest0-21swapper/33
524299172,14cyclictest0-21swapper/22
5242991713,2cyclictest8308-21aten2_r9power_v2
5242991712,3cyclictest16973-21processes2
5235991713,2cyclictest20577-21if_enp2s01
5235991712,3cyclictest29234-21ntp_kernel_pll_1
5235991712,3cyclictest16685-21cat1
523599170,1cyclictest0-21swapper/11
523599170,15cyclictest0-21swapper/11
5231991713,2cyclictest26069-21/usr/sbin/munin0
5231991712,3cyclictest9-21ksoftirqd/00
5231991712,3cyclictest5617-21cat0
5231991712,3cyclictest32251-21cpuspeed_turbos0
5231991712,3cyclictest32251-21cpuspeed_turbos0
5231991712,3cyclictest29258-21ls0
5231991712,3cyclictest16700-21cat0
5231991712,3cyclictest14382-21cat0
5231991711,4cyclictest8499-21cpuspeed_turbos0
5231991711,4cyclictest13919-21sed0
524499162,8cyclictest2492-21apt-get3
5235991611,3cyclictest13728-21cron1
5231991612,2cyclictest28903-21/usr/sbin/munin0
5231991611,3cyclictest21300-21load0
5231991611,3cyclictest17608-21switchtime0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional