You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-07-06 - 00:33
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Sat Jul 05, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
96082304269,22sleep30-21swapper/33
95672302272,17sleep20-21swapper/22
96802291254,25sleep00-21swapper/00
994199269263,4cyclictest9-21ksoftirqd/00
96312260186,26sleep10-21swapper/11
994499257252,3cyclictest271rcuc/22
994599224219,3cyclictest341rcuc/33
2703321630,2sleep0994199cyclictest0
2612421310,2sleep30-21swapper/33
168532660,8sleep0994199cyclictest0
100822580,4sleep2994499cyclictest2
63002520,1sleep30-21swapper/33
204322460,1sleep20-21swapper/22
143182380,1sleep10-21swapper/11
53712350,2sleep30-21swapper/33
202822300,3sleep121-21ksoftirqd/11
9945992518,4cyclictest21063-21cut3
994499241,19cyclictest505-21dbus-daemon2
9945992313,6cyclictest14839-21apt-get3
994499231,6cyclictest15448-21http2
994499231,5cyclictest8092-21latency_hist2
994499231,4cyclictest505-21dbus-daemon2
9943992317,4cyclictest27949-21sendmail-mta1
9941992315,5cyclictest30442-21sh0
9945992216,3cyclictest16575-21aten2_r9power_p3
994499223,17cyclictest9686-21latency_hist2
994499223,17cyclictest6605-21cat2
994499223,17cyclictest5614-21awk2
994499223,17cyclictest12868-21latency_hist2
994499222,18cyclictest6003-21latency_hist2
9944992218,2cyclictest28-21ksoftirqd/22
9944992216,4cyclictest25504-21df2
9944992215,4cyclictest20298-21idleruntime-cro2
994499221,4cyclictest3606-1kworker/2:0H2
994499221,3cyclictest7619-21munin-run2
994499221,3cyclictest20661-21munin-run2
9943992215,4cyclictest28558-21df1
265352220,2sleep20-21swapper/22
9945992115,4cyclictest8216-21sed3
9945992115,4cyclictest8216-21sed3
9945992115,4cyclictest608-21diskstats3
9945992115,4cyclictest29760-21seq3
9945992115,4cyclictest19034-21cpu3
9945992115,4cyclictest18256-21uptime3
9945992115,3cyclictest4173-21missed_timers3
9945992115,3cyclictest27133-21open_inodes3
9945992115,3cyclictest22108-21aten2_r9power_p3
9945992115,3cyclictest22108-21aten2_r9power_p3
9945992114,5cyclictest11499-21cat3
9945992114,4cyclictest21339-21df_inode3
994499212,18cyclictest14182-21awk2
994499212,17cyclictest14984-21cat2
9944992115,4cyclictest24633-21http2
994499211,3cyclictest32652-21apt-config2
994499211,3cyclictest27934-1kworker/2:2H2
9944992113,5cyclictest25855-21cron2
994499211,2cyclictest168502sleep22
994499211,18cyclictest8658-1kworker/2:1H2
994499211,18cyclictest5228-21cat2
994499211,18cyclictest28426-21sendmail2
994499211,18cyclictest22314-21munin-run2
994499211,17cyclictest27934-1kworker/2:2H2
994499211,17cyclictest16211-21munin-run2
9943992116,3cyclictest2082-21systemd-journal1
9943992115,4cyclictest8296-21seq1
9943992115,4cyclictest7063-21seq1
9943992115,4cyclictest3286-21seq1
9943992115,4cyclictest32380-21seq1
9943992115,4cyclictest23938-21sendmail1
994199219,2cyclictest111rcu_preempt0
994199218,10cyclictest9-21ksoftirqd/00
9941992115,4cyclictest8474-21sendmail0
9941992114,4cyclictest20925-21/usr/sbin/munin0
9941992114,4cyclictest13758-21cron0
9945992015,3cyclictest23070-21cut3
9945992015,3cyclictest16401-21cstates3
9945992014,4cyclictest32703-21gltestperf3
9945992014,4cyclictest20937-21cut3
9945992014,4cyclictest11188-21gzip3
9945992014,4cyclictest10926-21proc_pri3
9945992014,3cyclictest25498-21vmstat3
9945992014,3cyclictest19396-21ntp_states3
9945992013,4cyclictest8773-21ntpq3
9945992013,4cyclictest11086-21apt3
994499202,16cyclictest28-21ksoftirqd/22
994499202,16cyclictest13751-21latency_hist2
994499202,15cyclictest17177-21tr2
9944992015,3cyclictest25403-21sed2
9944992014,4cyclictest12084-21grep2
994499201,3cyclictest29907-21munin-run2
994499201,2cyclictest30035-21apt-get2
9944992012,5cyclictest505-21dbus-daemon2
994499201,17cyclictest9350-21cat2
994499201,17cyclictest9350-21cat2
994499201,17cyclictest2508-21cat2
994499200,2cyclictest6702chrt2
9943992018,1cyclictest0-21swapper/11
9943992015,3cyclictest28239-21/usr/sbin/munin1
9943992015,3cyclictest25002-21ls1
9943992015,3cyclictest20903-21seq1
9943992015,3cyclictest20530-21/usr/sbin/munin1
9943992015,3cyclictest12011-21seq1
9943992015,3cyclictest11551-21/usr/sbin/munin1
9943992014,4cyclictest570-21seq1
9943992014,4cyclictest4837-21seq1
9943992014,4cyclictest14405-21/usr/sbin/munin1
9943992014,4cyclictest13663-21seq1
9943992014,4cyclictest13352-21cat1
9943992013,4cyclictest2082-21systemd-journal1
994399200,19cyclictest0-21swapper/11
994199209,9cyclictest10544-21if_enp3s00
994199203,15cyclictest9265-21ls0
994199203,15cyclictest9265-21ls0
9941992015,3cyclictest1707-21sed0
9941992015,3cyclictest13582-21needreboot0
9941992015,3cyclictest12443-21sh0
9941992014,4cyclictest25968-21wc0
9941992014,4cyclictest11602-21sed0
9941992014,3cyclictest1777-21acpi0
9941992010,6cyclictest10143-21apt-get0
327632200,2sleep00-21swapper/00
9945991916,2cyclictest0-21swapper/33
9945991914,3cyclictest8051-21sh3
9945991914,3cyclictest5526-21ntpq3
9945991914,3cyclictest31492-21pluginstate3
9945991914,3cyclictest29227-21proc_pri3
9945991914,3cyclictest19082-21processes3
9945991914,3cyclictest1311-21cat3
9945991914,2cyclictest23723-21kernelversion3
9945991913,4cyclictest6212-21expr3
9945991913,4cyclictest3515-21sh3
9945991913,4cyclictest28540-21cut3
9945991913,4cyclictest22151-21apt3
9945991913,4cyclictest21940-21users3
9945991913,4cyclictest2100-21rt-features3
9945991913,4cyclictest13143-21hostname3
9945991913,3cyclictest16970-21sendmail3
9944991917,1cyclictest0-21swapper/22
9944991915,2cyclictest30500-21sed2
9944991915,2cyclictest28-21ksoftirqd/22
9944991915,2cyclictest18402-21df2
9944991914,3cyclictest6261-21cut2
9944991914,3cyclictest32367-21sh2
9944991914,3cyclictest28351-21sed2
9944991914,3cyclictest24360-21dump-pmu-power2
9944991914,3cyclictest14887-21sh2
9944991913,4cyclictest9438-21expr2
9944991912,4cyclictest20912-21find2
994499190,3cyclictest27934-1kworker/2:2H2
994499190,17cyclictest3583-21perf2
994399199,8cyclictest21417-21gltestperf1
9943991915,2cyclictest32202-21/usr/sbin/munin1
9943991915,2cyclictest18081-21/usr/sbin/munin1
9943991914,3cyclictest9925-21acpi1
9943991914,3cyclictest3624-21seq1
9943991914,3cyclictest32617-21/usr/sbin/munin1
9943991914,3cyclictest19408-21seq1
9943991914,3cyclictest16476-21/usr/sbin/munin1
9943991914,3cyclictest15583-21df_inode1
9943991914,3cyclictest11070-21/usr/sbin/munin1
9943991914,3cyclictest10125-21/usr/sbin/munin1
9943991913,4cyclictest713-21seq1
9943991913,4cyclictest6447-21idleruntime-cro1
9943991913,4cyclictest22009-21seq1
9943991913,4cyclictest22009-21seq1
9943991913,4cyclictest16850-21seq1
9943991913,4cyclictest13073-21wc1
9943991912,5cyclictest7327-21mailstats1
9941991915,2cyclictest18499-21/usr/sbin/munin0
9941991914,3cyclictest30676-21/usr/sbin/munin0
9941991914,3cyclictest27106-21sh0
9941991914,3cyclictest24608-21/usr/sbin/munin0
9941991913,4cyclictest4430-21sort0
9941991913,4cyclictest29905-21latency_hist0
9941991913,4cyclictest20124-21cat0
9941991913,4cyclictest16992-21grep0
9941991913,4cyclictest1292-21cat0
9941991913,3cyclictest505-21dbus-daemon0
9941991912,4cyclictest9562-21wc0
9941991912,4cyclictest27164-21cut0
9941991912,4cyclictest2352-21grep0
9941991910,6cyclictest23039-21grep0
9945991816,1cyclictest0-21swapper/33
9945991815,2cyclictest0-21swapper/33
9945991815,2cyclictest0-21swapper/33
9945991814,2cyclictest18025-21aten2_r9power_e3
9945991813,3cyclictest4851-21cut3
9945991813,3cyclictest29515-21ntpq3
9945991813,3cyclictest27454-21cstates3
9945991813,3cyclictest2645-21ntp_kernel_pll_3
9945991813,3cyclictest25905-21grep3
9945991813,3cyclictest25258-21interrupts3
9945991813,3cyclictest16187-21cpuspeed_turbos3
9945991813,3cyclictest15655-21date3
9945991813,3cyclictest13386-21if_err_enp3s03
9945991813,3cyclictest11459-21wc3
9945991812,4cyclictest4132-21latency_hist3
9945991812,4cyclictest12622-21irqstats3
9945991812,4cyclictest11947-21expr3
9945991812,3cyclictest7104-21diskstats3
9945991811,5cyclictest16262-21sendmail-mta3
9944991816,1cyclictest0-21swapper/22
9944991813,3cyclictest23012-21which2
9944991813,3cyclictest23012-21which2
9944991812,4cyclictest10333-21gdbus2
9943991814,2cyclictest26631-21/usr/sbin/munin1
9943991814,2cyclictest24075-21/usr/sbin/munin1
9943991813,3cyclictest8951-21seq1
9943991813,3cyclictest8951-21seq1
9943991813,3cyclictest7885-21/usr/sbin/munin1
9943991813,3cyclictest665-21runrttasks1
9943991813,3cyclictest5981-21sh1
9943991813,3cyclictest5323-21switchtime1
9943991813,3cyclictest30056-21pluginstate1
9943991813,3cyclictest29090-21sh1
9943991813,3cyclictest25112-21awk1
9943991813,3cyclictest25091-21apt1
9943991813,3cyclictest21852-21seq1
9943991813,3cyclictest17705-21seq1
9943991813,3cyclictest15195-21expr1
9943991813,3cyclictest10790-21seq1
9943991812,4cyclictest5217-21awk1
9943991812,4cyclictest31785-21seq1
9943991812,4cyclictest28725-21seq1
994199182,2cyclictest111rcu_preempt0
9941991814,2cyclictest17969-21/usr/sbin/munin0
9941991813,3cyclictest836-21kernelversion0
9941991813,3cyclictest665-21runrttasks0
9941991813,3cyclictest28239-21/usr/sbin/munin0
9941991813,3cyclictest22913-21ntp_states0
9941991813,3cyclictest22913-21ntp_states0
9941991813,3cyclictest22135-21/usr/sbin/munin0
9941991813,3cyclictest19323-21df_inode0
9941991813,3cyclictest15698-21cat0
9941991813,3cyclictest13631-21cat0
9941991813,3cyclictest11300-21latency_hist0
9941991813,3cyclictest11049-21sed0
9941991812,4cyclictest6352-21sed0
9941991812,4cyclictest5267-21seq0
9941991812,4cyclictest26647-21sed0
994199181,1cyclictest111rcu_preempt0
994199181,16cyclictest0-21swapper/00
161482180,2sleep00-21swapper/00
994599173,8cyclictest31495-21apt-get3
9945991711,4cyclictest31882-21cat3
994599170,16cyclictest0-21swapper/33
9944991715,1cyclictest0-21swapper/22
9944991712,3cyclictest16761-21sed2
9944991711,4cyclictest10333-21gdbus2
9944991711,3cyclictest8373-21cut2
9944991710,4cyclictest17402-21pmu-power2
994499170,1cyclictest0-21swapper/22
994399173,9cyclictest18900-21apt-get1
994399172,9cyclictest16078-21apt-get1
9943991712,3cyclictest8294-21seq1
9943991712,3cyclictest26603-21ls1
9943991712,3cyclictest23639-21grep1
9943991712,3cyclictest11155-21seq1
9943991711,4cyclictest23585-21expr1
994199171,8cyclictest111rcu_preempt0
9941991712,3cyclictest6732-21expr0
9941991712,3cyclictest4870-21cpuspeed0
9941991712,3cyclictest14654-21tr0
9941991711,4cyclictest3708-21cut0
994199171,14cyclictest2307-21tail0
994199171,14cyclictest17342-21grep0
9945991614,1cyclictest0-21swapper/33
994499161,14cyclictest0-21swapper/22
994199163,8cyclictest18099-21apt-get0
994199162,2cyclictest111rcu_preempt0
994199161,7cyclictest111rcu_preempt0
9941991611,3cyclictest665-21runrttasks0
9941991611,3cyclictest20945-21expr0
9941991611,3cyclictest14864-21hostname0
9941991611,3cyclictest11321-21cat0
9941991510,3cyclictest15182-21aten2_r9power_c0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional