You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-14 - 17:46
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Nov 14, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
310712301265,24sleep20-21swapper/22
326682278211,37sleep10-21swapper/11
320472277185,70sleep00-21swapper/00
52499255250,3cyclictest14768-21strings0
52899253248,3cyclictest0-21swapper/11
326292240174,53sleep30-21swapper/33
1495921540,1sleep10-21swapper/11
53799150146,2cyclictest0-21swapper/33
53299114110,2cyclictest0-21swapper/22
101942550,1sleep10-21swapper/11
188392420,2sleep018843-21missed_timers0
537993514,18cyclictest4092-21idleruntime-cro3
537993513,20cyclictest10001-21cut3
537993513,19cyclictest4225-21/usr/sbin/munin3
537993512,19cyclictest4767-21forks3
53799343,8cyclictest9461-21apt-get3
53799343,7cyclictest7426-21apt-get3
53799342,10cyclictest12377-21apt-get3
53799342,10cyclictest12377-21apt-get3
53799341,7cyclictest14442-21apt-get3
537993413,2cyclictest20953-21/usr/sbin/munin3
53799340,14cyclictest505-21dbus-daemon3
53799338,6cyclictest2697-21tail3
53799332,7cyclictest26219-21apt-get3
537993313,18cyclictest14579-21basename3
537993311,4cyclictest30051-21wc3
53799329,4cyclictest13631-21sed3
53799322,6cyclictest726-21apt-get3
537993211,3cyclictest9830-21unixbench_singl3
537993211,3cyclictest17784-21ntp_offset3
537993210,3cyclictest30670-21processes3
53799318,4cyclictest25170-21cpu3
53799312,7cyclictest32223-21apt-get3
537993110,3cyclictest5303-21latency_hist3
219082310,4sleep321883-21munin-run3
53799309,3cyclictest5934-21basename3
53799309,3cyclictest33362chrt3
53799309,3cyclictest17272-21unixbench_multi3
53799308,4cyclictest20087-21kworker/u8:13
53799302,5cyclictest26618-21apt-get3
53799301,6cyclictest16373-21apt-get3
53799301,5cyclictest30597-21apt-get3
53299303,6cyclictest271rcuc/22
53799298,3cyclictest2082-21systemd-journal3
53799296,4cyclictest505-21dbus-daemon3
53799294,5cyclictest6421-21aten2_r9power_v3
53799293,6cyclictest7919-21apt-get3
53799293,5cyclictest26125-21apt-get3
53799292,5cyclictest24099-21apt-get3
53799291,7cyclictest3851-21apt-get3
53799291,6cyclictest20262-21munin-run3
53799291,6cyclictest18010-21apt-get3
53799290,10cyclictest28481-21cat3
53799288,3cyclictest21817-21awk3
53799282,7cyclictest8319-21apt-get3
53799282,6cyclictest24588-21apt-get3
53799281,5cyclictest24802-21apt3
53799279,3cyclictest665-21runrttasks3
53799273,4cyclictest6389-21apt-get3
53799272,6cyclictest18947-21apt-get3
53799272,5cyclictest28243-21apt-get3
532992724,2cyclictest271rcuc/22
532992724,2cyclictest271rcuc/22
528992721,4cyclictest1851-21head1
53799263,6cyclictest31745-21apt-get3
53799262,6cyclictest16471-21apt-get3
53799262,6cyclictest16068-21apt-get3
53299262,6cyclictest271rcuc/22
53799251,4cyclictest18154-21aten2_r9power_e3
53299253,6cyclictest28-21ksoftirqd/22
532992522,2cyclictest271rcuc/22
532992510,13cyclictest11250irq/128-xhci_hc2
532992421,2cyclictest271rcuc/22
532992413,9cyclictest12116-21cstates2
144602240,2sleep10-21swapper/11
537992316,4cyclictest5862-21head3
53299234,7cyclictest28-21ksoftirqd/22
53299234,17cyclictest6263-21cat2
53299234,10cyclictest28-21ksoftirqd/22
532992310,10cyclictest6011-21aten2_r9power_v2
524992316,5cyclictest13382-21cups-browsed0
524992316,5cyclictest13382-21cups-browsed0
36382230,5sleep09-21ksoftirqd/00
53299223,7cyclictest28-21ksoftirqd/22
53299223,7cyclictest28-21ksoftirqd/22
53299223,6cyclictest28-21ksoftirqd/22
53299223,6cyclictest28-21ksoftirqd/22
53299222,7cyclictest28-21ksoftirqd/22
53299222,7cyclictest28-21ksoftirqd/22
53299222,17cyclictest29966-21sendmail-mta2
532992219,2cyclictest271rcuc/22
532992219,2cyclictest271rcuc/22
532992219,2cyclictest271rcuc/22
532992218,2cyclictest271rcuc/22
532992215,4cyclictest30424-21grep2
532992215,4cyclictest30424-21grep2
53299221,3cyclictest14299-21munin-run2
53299221,19cyclictest2044-21munin-run2
524992217,3cyclictest5631-21sendmail0
53299213,9cyclictest28-21ksoftirqd/22
53299213,6cyclictest28-21ksoftirqd/22
53299213,6cyclictest28-21ksoftirqd/22
53299213,6cyclictest28-21ksoftirqd/22
53299213,6cyclictest28-21ksoftirqd/22
532992118,2cyclictest271rcuc/22
532992118,2cyclictest271rcuc/22
53299211,6cyclictest28-21ksoftirqd/22
532992115,4cyclictest17207-21memory2
532992115,3cyclictest25566-21processes2
532992114,4cyclictest15008-21diskstats2
53299211,3cyclictest7159-21munin-run2
53299210,18cyclictest24801-21perf2
52899212,16cyclictest11297-21awk1
528992116,3cyclictest21-21ksoftirqd/11
528992116,3cyclictest20708-21sh1
528992116,3cyclictest10147-21sed1
528992115,4cyclictest30650-21cut1
528992115,4cyclictest11063-21cat1
528992114,4cyclictest9643-21seq1
52499213,16cyclictest7699-21sed0
524992115,4cyclictest1846-21gltestperf0
524992115,3cyclictest13177-21needreboot0
524992115,3cyclictest13177-21needreboot0
524992110,9cyclictest3980-21cron0
537992014,4cyclictest7744-21sed3
53299208,9cyclictest1524-21needreboot2
53299206,8cyclictest28-21ksoftirqd/22
53299205,8cyclictest28-21ksoftirqd/22
53299202,6cyclictest28-21ksoftirqd/22
53299202,6cyclictest28-21ksoftirqd/22
53299201,7cyclictest28-21ksoftirqd/22
532992015,3cyclictest30825-21cpu2
532992015,3cyclictest2983-21if_err_enp2s02
532992015,3cyclictest23857-21idleruntime-cro2
532992015,3cyclictest12671-21cut2
532992015,3cyclictest12671-21cut2
532992014,4cyclictest18615-21if_err_enp3s02
532992014,3cyclictest8466-21ls2
532992013,4cyclictest20629-21cat2
53299200,6cyclictest951-21taskset2
53299200,6cyclictest27714-21taskset2
53299200,6cyclictest20260-21taskset2
53299200,3cyclictest18751-21cut2
53299200,3cyclictest14055-1kworker/2:2H2
52899202,15cyclictest2024-21grep1
528992016,2cyclictest11775-21/usr/sbin/munin1
52899201,5cyclictest0-21swapper/11
528992015,3cyclictest6974-21swap1
528992015,3cyclictest31727-21/usr/sbin/munin1
528992015,3cyclictest31481-21grep1
528992015,3cyclictest29232-21apt-key1
528992015,3cyclictest28874-21load1
528992015,3cyclictest24080-21/usr/sbin/munin1
528992015,3cyclictest21877-21cron1
528992014,4cyclictest8762-21seq1
528992014,4cyclictest25146-21hostname1
528992014,4cyclictest2298-21find1
528992014,4cyclictest21380-21expr1
528992014,4cyclictest19878-21grep1
528992013,4cyclictest28265-21basename1
52899200,6cyclictest21385-21grep1
524992015,3cyclictest9-21ksoftirqd/00
524992015,3cyclictest6616-21sed0
524992015,3cyclictest30304-21hostname0
524992015,3cyclictest24417-21sort0
524992014,4cyclictest8512-21wc0
524992014,4cyclictest604-21sendmail-mta0
524992014,4cyclictest4225-21date0
524992014,4cyclictest20842-21cat0
524992014,4cyclictest19115-21cat0
524992014,4cyclictest10353-21apt-get0
524992014,3cyclictest10047-21aten2.4-expect0
52499201,2cyclictest111rcu_preempt0
293212200,3sleep052499cyclictest0
537991915,2cyclictest11981-21apt3
537991914,3cyclictest665-21runrttasks3
53299195,6cyclictest28-21ksoftirqd/22
53299194,7cyclictest28-21ksoftirqd/22
532991915,2cyclictest8954-21irqstats2
532991915,2cyclictest1750-21df2
532991915,2cyclictest16873-21tr2
532991913,4cyclictest505-21dbus-daemon2
52899193,2cyclictest111rcu_preempt1
528991915,2cyclictest4225-21/usr/sbin/munin1
528991915,2cyclictest3832-21/usr/sbin/munin1
528991915,2cyclictest22150-21/usr/sbin/munin1
528991915,2cyclictest2201-21/usr/sbin/munin1
528991914,3cyclictest9864-21awk1
528991914,3cyclictest8015-21seq1
528991914,3cyclictest7340-21readlink1
528991914,3cyclictest32204-21/usr/sbin/munin1
528991914,3cyclictest30307-21seq1
528991914,3cyclictest30307-21seq1
528991914,3cyclictest27603-21sed1
528991914,3cyclictest26009-21cut1
528991914,3cyclictest20503-21/usr/sbin/munin1
528991914,3cyclictest14784-21cat1
528991914,3cyclictest12026-21hostname1
528991913,4cyclictest30567-21sh1
528991913,4cyclictest26917-21grep1
528991913,4cyclictest26341-21cron1
528991913,4cyclictest12965-21cat1
528991913,4cyclictest12965-21cat1
528991912,4cyclictest3435-21aten2_r9power_p1
524991916,2cyclictest0-21swapper/00
524991915,2cyclictest6277-21/usr/sbin/munin0
524991915,2cyclictest32204-21/usr/sbin/munin0
524991914,3cyclictest9443-21/usr/sbin/munin0
524991914,3cyclictest8897-21ps0
524991914,3cyclictest31282-21seq0
524991914,3cyclictest28173-21wc0
524991914,3cyclictest27256-21sed0
524991914,3cyclictest24603-21cut0
524991914,3cyclictest21432-21grep0
524991914,3cyclictest17991-21/usr/sbin/munin0
524991914,3cyclictest17020-21which0
524991914,3cyclictest15268-21sed0
524991913,4cyclictest665-21runrttasks0
524991913,4cyclictest3734-21sed0
524991913,4cyclictest24826-21sed0
524991913,4cyclictest19420-21grep0
524991913,4cyclictest1481-21cat0
524991913,4cyclictest13242-21sed0
524991913,3cyclictest16681-21apt-key0
310162190,1sleep331018-21wc3
537991813,3cyclictest28731-21cut3
537991813,3cyclictest28731-21cut3
537991812,4cyclictest30592-21cat3
537991812,4cyclictest23011-21fw_packets3
537991811,4cyclictest505-21dbus-daemon3
53299180,7cyclictest5403-21runrttasks2
528991814,2cyclictest23000-21/usr/sbin/munin1
528991814,2cyclictest18077-21/usr/sbin/munin1
528991813,3cyclictest5950-21basename1
528991813,3cyclictest31101-21expr1
528991813,3cyclictest3044-21cat1
528991813,3cyclictest22479-21expr1
528991813,3cyclictest17745-21sh1
528991813,3cyclictest16434-21expr1
528991813,3cyclictest1453-21seq1
52899181,2cyclictest0-21swapper/11
528991812,4cyclictest27031-21awk1
528991812,4cyclictest1624-21seq1
52899181,15cyclictest6487-21cat1
52899180,5cyclictest0-21swapper/11
52499183,9cyclictest4335-21apt-get0
524991816,1cyclictest0-21swapper/00
524991816,1cyclictest0-21swapper/00
524991816,1cyclictest0-21swapper/00
524991814,2cyclictest5388-21/usr/sbin/munin0
524991814,2cyclictest32161-21df_inode0
524991814,2cyclictest11775-21/usr/sbin/munin0
524991813,3cyclictest815-21cut0
524991813,3cyclictest32356-21sh0
524991813,3cyclictest31368-21grep0
524991813,3cyclictest2969-21ntpq0
524991813,3cyclictest24585-21gltestperf0
524991813,3cyclictest20549-21sh0
524991813,3cyclictest20535-21expr0
524991813,3cyclictest10305-21sed0
524991812,4cyclictest25506-21grep0
524991812,4cyclictest16486-21aten2_r9power_c0
524991811,4cyclictest22590-21cut0
52499180,16cyclictest6388-21grep0
537991712,3cyclictest3898-21sed3
537991712,3cyclictest22398-21expr3
537991712,3cyclictest10689-21cstates3
52899179,5cyclictest18675-21cron1
528991713,2cyclictest22552-21/usr/sbin/munin1
528991712,3cyclictest3353-21/usr/sbin/munin1
52499171,5cyclictest0-21swapper/00
524991712,3cyclictest22674-21sed0
524991712,3cyclictest15173-21xargs0
524991711,4cyclictest1368-21cat0
537991610,3cyclictest2074-21latency_hist3
52499162,10cyclictest10515-21chrt0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional