You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-06-28 - 23:23
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Sat Jun 28, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
154792310271,25sleep00-21swapper/00
155342298236,50sleep20-21swapper/22
156942292181,41sleep10-21swapper/11
154572255177,24sleep30-21swapper/33
1587899193187,4cyclictest24535-21perf1
1587199188182,4cyclictest24516-21munin-run0
1588699181175,4cyclictest24536-21idleruntime-cro3
1588299158155,2cyclictest0-21swapper/22
241772560,2sleep00-21swapper/00
289852550,4sleep10-21swapper/11
212682530,1sleep30-21swapper/33
78052460,1sleep20-21swapper/22
204482308,18sleep30-21swapper/33
15886992517,5cyclictest505-21dbus-daemon3
15878992419,3cyclictest6412-21basename1
179962230,12sleep228-21ksoftirqd/22
15886992316,4cyclictest9715-21cron3
1588299237,15cyclictest111rcu_preempt2
15878992316,4cyclictest19817-21sh1
15871992317,4cyclictest19605-21cut0
15871992317,3cyclictest1475-21sh0
183212220,1sleep00-21swapper/00
15886992215,5cyclictest35-21ksoftirqd/33
15886992214,5cyclictest30723-21dump-pmu-power3
15886992213,5cyclictest505-21dbus-daemon3
1588299223,17cyclictest20269-21cat2
15882992217,3cyclictest12493-21head2
1588299221,3cyclictest29971-21munin-run2
1588299221,3cyclictest29971-21munin-run2
1588299221,19cyclictest20447-21munin-run2
15878992211,8cyclictest21234-21taskset1
15886992114,4cyclictest7176-21sed3
15886992114,4cyclictest665-21runrttasks3
15886992113,5cyclictest505-21dbus-daemon3
15886992112,5cyclictest665-21runrttasks3
1588699211,17cyclictest5510-21ntp_states3
1588699211,16cyclictest17622-21grep3
1588699211,16cyclictest17622-21grep3
1588299212,6cyclictest10730-21apt-get2
15882992116,3cyclictest7534-21ntp_states2
15882992115,4cyclictest16599-21sh2
15882992115,3cyclictest21110-21interrupts2
15882992114,4cyclictest27883-21switchtime2
1588299211,3cyclictest29529-1kworker/2:2H2
1588299211,3cyclictest17885-21munin-run2
1588299210,3cyclictest25775-21diskstats2
1588299210,19cyclictest10333-21gdbus2
15878992116,3cyclictest28708-21grep1
15878992115,4cyclictest14072-21grep1
1587899211,18cyclictest32300-21unixbench_multi1
15871992116,3cyclictest3033-21/usr/sbin/munin0
15871992115,4cyclictest9604-21seq0
15871992115,4cyclictest5231-21seq0
15871992115,4cyclictest4620-21/usr/sbin/munin0
15871992115,4cyclictest18058-21munin-node0
15871992115,3cyclictest13079-21cut0
15886992016,3cyclictest35-21ksoftirqd/33
15886992013,4cyclictest10333-21gdbus3
1588699201,16cyclictest1998-21tr3
15886992011,5cyclictest28199-21apt-get3
15886992011,5cyclictest28199-21apt-get3
15882992016,2cyclictest25870-21aten2_r9power_v2
15882992015,3cyclictest8391-21ls2
15882992015,3cyclictest5808-21/usr/sbin/munin2
15882992015,3cyclictest29822-21ntp_offset2
15882992015,3cyclictest27367-21apt-get2
15882992015,3cyclictest23467-21unixbench_singl2
15882992015,3cyclictest21161-21diskstats2
15882992015,3cyclictest1957-21cpuspeed2
15882992015,3cyclictest19333-21/usr/sbin/munin2
15882992015,3cyclictest13866-21swap2
15882992015,3cyclictest11393-21vmstat2
1588299201,3cyclictest0-21swapper/22
1588299201,17cyclictest25130-21sort2
1588299201,17cyclictest1503-21awk2
1588299201,16cyclictest1591-21munin-run2
1588299200,3cyclictest12958-21cron2
1588299200,18cyclictest826-21date2
15878992016,2cyclictest12331-21df1
15878992015,3cyclictest766-21readlink1
15878992015,3cyclictest26865-21switchtime1
15878992013,5cyclictest31076-21needreboot1
15878992012,5cyclictest25350-21apt-get1
15878992012,5cyclictest1613-21basename1
1587199202,15cyclictest8184-21ls0
15871992018,1cyclictest0-21swapper/00
15871992015,3cyclictest8675-21/usr/sbin/munin0
15871992015,3cyclictest22232-21seq0
15871992015,3cyclictest19239-21aten2_r9power_e0
15871992015,3cyclictest17189-21aten2_r9power_c0
15871992015,3cyclictest17189-21aten2_r9power_c0
15871992014,4cyclictest8384-21cat0
15871992014,4cyclictest26651-21wc0
15871992014,4cyclictest20072-21seq0
15871992013,4cyclictest6891-21basename0
15871992013,4cyclictest15431-21seq0
15871992013,4cyclictest15241-21seq0
15871992012,5cyclictest24149-21apt-get0
15871992012,4cyclictest23728-21apt-get0
281082190,2sleep30-21swapper/33
1588699199,7cyclictest16125-21aten2_r9power_e3
1588699193,9cyclictest7843-21apt-get3
15886991914,3cyclictest7983-21ntp_kernel_pll_3
15886991914,3cyclictest3978-21uptime3
15886991914,3cyclictest24402-21switchtime3
15886991914,3cyclictest1843-21/usr/sbin/munin3
15886991914,3cyclictest14807-21ntp_kernel_err3
15886991913,4cyclictest18713-21grep3
15886991913,3cyclictest16645-21latency_hist3
15886991912,4cyclictest25497-21sh3
15886991912,4cyclictest13002-21switchtime3
1588699191,16cyclictest11716-21cut3
1588699191,15cyclictest2082-21systemd-journal3
1588699190,16cyclictest18368-21tr3
1588299192,15cyclictest292-21jbd2/mmcblk0p2-2
15882991915,2cyclictest30922-21latency2
15882991915,2cyclictest30059-21irqstats2
15882991914,3cyclictest7910-21cat2
15882991914,3cyclictest23163-21latency_hist2
15882991914,3cyclictest1959-21sh2
15882991914,3cyclictest19344-21unixbench_multi2
15882991914,3cyclictest13253-21apt-get2
15882991914,3cyclictest1131-21aten2_r9power_v2
15882991914,3cyclictest11283-21uptime2
15882991913,4cyclictest4841-21mailstats2
1588299191,2cyclictest15870-21perf2
1588299190,3cyclictest9720-21munin-run2
1588299190,3cyclictest19795-1kworker/2:2H2
1587899199,7cyclictest0-21swapper/11
1587899194,8cyclictest5826-21apt-get1
1587899193,14cyclictest29201-21sort1
15878991916,2cyclictest0-21swapper/11
15878991915,2cyclictest21388-21/usr/sbin/munin1
15878991915,2cyclictest19333-21/usr/sbin/munin1
15878991915,2cyclictest17154-21/usr/sbin/munin1
15878991915,2cyclictest17154-21/usr/sbin/munin1
15878991914,3cyclictest3757-21/usr/sbin/munin1
15878991914,3cyclictest31431-21/usr/sbin/munin1
15878991914,3cyclictest3081-21cut1
15878991914,3cyclictest28180-21/usr/sbin/munin1
15878991914,3cyclictest28180-21/usr/sbin/munin1
15878991914,3cyclictest25094-21ls1
15878991914,3cyclictest24131-21/usr/sbin/munin1
15878991914,3cyclictest17779-21latency_hist1
15878991914,3cyclictest16106-21/usr/sbin/munin1
15878991914,3cyclictest10588-21if_err_enp2s01
15878991914,2cyclictest2338-21idleruntime-cro1
15878991913,4cyclictest15252-21/usr/sbin/munin1
15878991913,3cyclictest19096-21dump-pmu-power1
1587199192,14cyclictest12381-21cat0
15871991915,2cyclictest27045-21ntp_states0
15871991915,2cyclictest1923-21open_files0
15871991914,3cyclictest31854-21expr0
15871991914,3cyclictest30896-21cut0
15871991914,3cyclictest29407-21/usr/sbin/munin0
15871991914,3cyclictest23694-21seq0
15871991914,3cyclictest10734-21http0
15871991913,4cyclictest3936-21hostname0
15871991913,4cyclictest21078-21expr0
15871991913,4cyclictest19738-21seq0
15871991913,4cyclictest18011-21date0
15871991913,4cyclictest17563-21seq0
15871991913,4cyclictest14771-21date0
15871991913,4cyclictest13813-21sendmail0
15871991913,4cyclictest1284-21seq0
15871991912,5cyclictest28582-21cron0
15871991910,5cyclictest29837-21apt-get0
1588699188,6cyclictest15273-21apt-get3
1588699183,9cyclictest27367-21apt-get3
1588699182,9cyclictest31449-21apt-get3
15886991813,3cyclictest8826-21sh3
15886991813,3cyclictest7589-21ls3
15886991813,3cyclictest32578-21expr3
15886991813,3cyclictest21860-21sed3
15886991813,3cyclictest11964-21sed3
15886991813,3cyclictest11684-21wc3
15886991810,5cyclictest2336-21cron3
1588699180,4cyclictest0-21swapper/33
1588699180,16cyclictest2082-21systemd-journal3
1588299183,8cyclictest8693-21apt-get2
1588299182,4cyclictest30985-21apt-get2
15882991814,3cyclictest0-21swapper/22
15882991814,2cyclictest19075-21cat2
15882991814,2cyclictest17368-21unixbench_singl2
15882991813,3cyclictest5081-21fw_packets2
15882991813,3cyclictest2434-21date2
15882991813,3cyclictest20899-21grep2
15882991813,3cyclictest15707-21seq2
15882991813,3cyclictest15624-21cat2
15882991813,3cyclictest13889-21cut2
15882991813,3cyclictest10198-21gzip2
15882991812,3cyclictest3311-21cat2
15882991812,3cyclictest17541-21expr2
15882991812,3cyclictest17541-21expr2
1588299180,16cyclictest4819-21munin-run2
1588299180,16cyclictest31721-21apt-config2
15878991816,1cyclictest0-21swapper/11
15878991816,1cyclictest0-21swapper/11
15878991814,2cyclictest20058-21/usr/sbin/munin1
15878991814,2cyclictest19183-21/usr/sbin/munin1
15878991813,3cyclictest7959-21apt-get1
15878991813,3cyclictest7825-21/usr/sbin/munin1
15878991813,3cyclictest7498-21awk1
15878991813,3cyclictest665-21runrttasks1
15878991813,3cyclictest665-21runrttasks1
15878991813,3cyclictest6147-21mailstats1
15878991813,3cyclictest3861-21/usr/sbin/munin1
15878991813,3cyclictest26223-21aten2_r9power_e1
15878991813,3cyclictest25625-21ntpq1
15878991813,3cyclictest21230-21/usr/sbin/munin1
15878991813,3cyclictest16043-21/usr/sbin/munin1
15878991813,3cyclictest12767-21/usr/sbin/munin1
15878991813,3cyclictest11179-21/usr/sbin/munin1
15878991813,3cyclictest1011-21/usr/sbin/munin1
15878991812,4cyclictest2082-21systemd-journal1
15878991812,4cyclictest19165-21expr1
15878991812,3cyclictest20510-21aten2.4-expect1
15878991811,4cyclictest9943-21aten2.4-expect1
15878991810,5cyclictest0-21swapper/11
15871991814,2cyclictest2886-21processes0
15871991814,2cyclictest27349-21/usr/sbin/munin0
15871991814,2cyclictest16043-21/usr/sbin/munin0
15871991813,3cyclictest9995-21uname0
15871991813,3cyclictest665-21runrttasks0
15871991813,3cyclictest28717-21tail0
15871991813,3cyclictest28717-21tail0
15871991813,3cyclictest26982-21seq0
15871991813,3cyclictest22192-21sed0
15871991813,3cyclictest21554-21seq0
15871991813,3cyclictest17330-21apt-get0
15871991813,3cyclictest1251-21ls0
15871991813,3cyclictest11920-21http0
15871991813,3cyclictest10191-21cat0
15871991812,4cyclictest7471-21seq0
15871991812,4cyclictest6673-21cut0
15871991812,4cyclictest22901-21seq0
15871991812,4cyclictest14715-21seq0
15871991812,4cyclictest14628-21basename0
1588699172,9cyclictest29837-21apt-get3
15886991715,1cyclictest0-21swapper/33
15886991715,1cyclictest0-21swapper/33
15886991714,2cyclictest4367-21if_enp3s03
1588699171,3cyclictest35-21ksoftirqd/33
15886991712,3cyclictest6867-21munin-plugin-st3
15886991712,3cyclictest21828-21df3
15886991712,3cyclictest14593-21head3
15886991712,3cyclictest13420-21interrupts3
15886991712,3cyclictest1067-21grep3
15886991711,4cyclictest26613-21ntp_kernel_pll_3
15886991711,3cyclictest28628-21tr3
1588699170,15cyclictest0-21swapper/33
1588699170,15cyclictest0-21swapper/33
15882991713,2cyclictest24784-21apt-get2
1587899178,4cyclictest15430-21unixbench_singl1
15878991715,1cyclictest0-21swapper/11
15878991713,2cyclictest30304-21ntp_states1
15878991713,2cyclictest23709-21/usr/sbin/munin1
15878991712,3cyclictest7918-21sed1
15878991712,3cyclictest23345-21ls1
15878991712,3cyclictest1727-21/usr/sbin/munin1
1587899171,13cyclictest12054-21head1
1587199173,8cyclictest28957-21apt-get0
15871991712,3cyclictest31377-21expr0
1588699167,7cyclictest0-21swapper/33
15886991614,1cyclictest0-21swapper/33
15886991611,3cyclictest7151-21sed3
15886991611,3cyclictest27103-21tr3
1588699160,15cyclictest0-21swapper/33
15882991611,3cyclictest665-21runrttasks2
1587899169,4cyclictest18945-21gltestperf1
1587899162,8cyclictest5932-21apt-get1
15871991612,2cyclictest28168-21cat0
15871991612,2cyclictest2731-21processes0
15871991611,3cyclictest3294-21ls0
1588699151,2cyclictest111rcu_preempt3
15886991511,2cyclictest665-21runrttasks3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional