You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-05 - 11:13
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Dec 05, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
305542288250,26sleep10-21swapper/11
3107399261256,3cyclictest0-21swapper/33
3106699261254,5cyclictest398-21perf1
3105899258252,4cyclictest377-21munin-run0
291172256185,24sleep00-21swapper/00
306172232195,24sleep30-21swapper/33
307292228192,24sleep20-21swapper/22
3107099121116,3cyclictest408-21awk2
25012620,3sleep09-21ksoftirqd/00
123492530,4sleep112215-21latency_hist1
256352440,3sleep023141-21kworker/u8:00
304112430,4sleep230413-21head2
144092390,1sleep00-21swapper/00
3107399320,30cyclictest9076-21kworker/3:13
31058993113,9cyclictest13922-21sendmail0
31070992812,14cyclictest10874-21latency_hist2
3107099270,9cyclictest22766-40mandb2
31073992620,4cyclictest842-21/usr/sbin/munin3
31070992517,5cyclictest505-21dbus-daemon2
31070992514,9cyclictest8844-21forks2
192772250,4sleep30-21swapper/33
3107399248,3cyclictest123512date3
3107099248,15cyclictest0-21swapper/22
3107099240,23cyclictest22688-21kworker/2:02
31066992418,4cyclictest21-21ksoftirqd/11
31073992317,4cyclictest30067-21sh3
31070992318,3cyclictest17136-21cut2
3107099231,4cyclictest24036-21sort2
31070992312,10cyclictest28-21ksoftirqd/22
31066992318,3cyclictest6131-21grep1
31058992316,4cyclictest6037-21apt-get0
31073992217,3cyclictest5014-21cut3
31073992217,3cyclictest20306-21missed_timers3
3107099223,17cyclictest2431-21latency_hist2
3107099223,17cyclictest2431-21latency_hist2
31070992216,4cyclictest23036-21df_inode2
31070992216,3cyclictest24097-21grep2
31070992215,4cyclictest17281-21sh2
3107099221,4cyclictest5752-21munin-run2
3107099221,19cyclictest19981-21df2
3107099221,18cyclictest4122-21munin-run2
264952220,2sleep20-21swapper/22
18422220,1sleep20-21swapper/22
7302210,3sleep0732-21apt-key0
3107399211,17cyclictest17784-21grep3
3107399211,17cyclictest17784-21grep3
3107399210,4cyclictest0-21swapper/33
3107099213,16cyclictest9867-21procmail2
3107099213,16cyclictest26946-21cat2
3107099212,17cyclictest14013-21cat2
31070992115,4cyclictest22692-21sh2
31070992115,3cyclictest12037-21cut2
3107099211,3cyclictest7695-1kworker/2:1H2
3107099211,3cyclictest3730-21munin-run2
3107099211,18cyclictest31000-21procmail2
3107099211,18cyclictest2082-21systemd-journal2
3107099211,17cyclictest32505-21cron2
31066992115,4cyclictest6805-21cat1
31066992114,4cyclictest505-21dbus-daemon1
31066992114,4cyclictest2084-21cron1
31066992114,4cyclictest2084-21cron1
3105899218,10cyclictest11004-21if_enp2s00
3105899212,16cyclictest19463-21ls0
3105899211,7cyclictest25981-21apt-get0
31058992116,3cyclictest1513-21seq0
31058992115,4cyclictest30260-21cut0
31058992115,4cyclictest21392-21diskstats0
31058992115,4cyclictest19311-21seq0
25722210,2sleep10-21swapper/11
31073992015,3cyclictest7775-21unixbench_singl3
31073992015,3cyclictest6459-21diskstats3
31073992015,3cyclictest5771-21sendmail3
31073992015,3cyclictest31153-21needreboot3
31073992015,3cyclictest21863-21unixbench_multi3
31073992015,3cyclictest20911-21acpi3
31073992015,3cyclictest1306-21irqstats3
31073992015,3cyclictest1306-21irqstats3
31073992015,3cyclictest1193-21ntpq3
31073992015,3cyclictest1193-21ntpq3
31073992014,4cyclictest9560-21wc3
31073992014,4cyclictest6390-21cut3
31073992014,4cyclictest25078-21seq3
31073992014,4cyclictest18550-21apt-get3
31073992014,4cyclictest12041-21pluginstate3
31073992014,3cyclictest17038-21gltestperf3
31073992013,4cyclictest31602-21expr3
31073992013,4cyclictest10907-21needreboot3
3107399201,17cyclictest0-21swapper/33
3107099202,16cyclictest28427-21latency_hist2
3107099202,16cyclictest14316-21sendmail2
31070992016,2cyclictest0-21swapper/22
31070992015,3cyclictest6196-21lockfile-create2
31070992015,3cyclictest5154-21df2
31070992015,3cyclictest25294-21cut2
31070992015,3cyclictest21302-21memory2
31070992014,4cyclictest2177-21cat2
31070992014,4cyclictest2177-21cat2
31070992014,4cyclictest12303-21grep2
31070992014,3cyclictest26756-21idleruntime-cro2
31070992014,3cyclictest20606-21readlink2
3107099201,17cyclictest0-21swapper/22
3107099200,4cyclictest28085-21apt-config2
3107099200,3cyclictest5959-1kworker/2:0H2
3107099200,18cyclictest23435-1kworker/2:0H2
3107099200,17cyclictest4085-21/usr/sbin/munin2
31066992016,2cyclictest30323-21/usr/sbin/munin1
31066992016,2cyclictest12325-21sed1
31066992015,3cyclictest3308-21seq1
31066992015,3cyclictest3308-21seq1
31066992015,3cyclictest30937-21latency_hist1
31066992015,3cyclictest29231-21sort1
31066992015,3cyclictest29003-21sed1
31066992015,3cyclictest15073-21cut1
31066992015,3cyclictest10130-21seq1
31066992014,4cyclictest20007-21awk1
31066992014,4cyclictest17211-21cat1
31066992014,4cyclictest10902-21idleruntime-cro1
31066992014,3cyclictest16297-21sh1
31066992012,5cyclictest505-21dbus-daemon1
3106699200,16cyclictest28688-21apt-get1
31058992016,2cyclictest14502-21/usr/sbin/munin0
31058992015,4cyclictest58150irq/130-enp2s00
31058992015,3cyclictest505-21dbus-daemon0
31058992015,3cyclictest18393-21date0
31058992015,3cyclictest18393-21date0
31058992015,3cyclictest17743-21sed0
31058992014,4cyclictest8715-21expr0
31058992014,4cyclictest7190-21cat0
31058992014,4cyclictest30789-21seq0
31058992014,4cyclictest24009-21users0
31058992014,4cyclictest20293-21cat0
31058992014,4cyclictest18906-21ls0
31058992014,3cyclictest9-21ksoftirqd/00
31058992013,4cyclictest14595-21cut0
3105899200,6cyclictest13635-21cat0
31073991914,3cyclictest9950-21ntp_kernel_pll_3
31073991914,3cyclictest4982-21awk3
31073991914,3cyclictest3728-21latency_hist3
31073991914,3cyclictest3132-21awk3
31073991914,3cyclictest29883-21ntp_kernel_err3
31073991914,3cyclictest25740-21apt-key3
31073991914,3cyclictest1614-21needreboot3
31073991914,3cyclictest13055-21pmu-power3
31073991913,4cyclictest9728-21unixbench-2d3
31073991913,4cyclictest29756-21cat3
31073991913,4cyclictest27554-21expr3
31073991913,4cyclictest26539-21seq3
31073991913,4cyclictest25837-21cat3
31073991913,4cyclictest22725-21wc3
31073991913,4cyclictest14931-21df3
31073991913,3cyclictest17644-21sendmail_mailst3
31073991912,4cyclictest13275-21find3
31070991915,2cyclictest16623-21aten2_r9power_p2
31070991915,2cyclictest12215-21latency_hist2
31070991914,3cyclictest6951-21sed2
31070991914,3cyclictest31494-21threads2
31070991914,3cyclictest2133-21awk2
31070991914,3cyclictest2133-21awk2
31070991914,3cyclictest18920-21cat2
31070991914,3cyclictest18500-21proc_pri2
31070991914,3cyclictest13331-21nfs4_client2
31070991913,4cyclictest20489-21sed2
31070991913,4cyclictest16509-21basename2
31070991913,4cyclictest16509-21basename2
3107099190,17cyclictest64602chrt2
3106699192,4cyclictest21-21ksoftirqd/11
3106699192,14cyclictest17461-21pmu-power1
3106699192,14cyclictest17461-21pmu-power1
31066991915,2cyclictest22599-21/usr/sbin/munin1
31066991914,3cyclictest9493-21wc1
31066991914,3cyclictest24764-21cat1
31066991914,3cyclictest20789-21cat1
31066991914,3cyclictest20547-21/usr/sbin/munin1
31066991913,4cyclictest13057-21pmu-power1
31058991915,2cyclictest824-21munin-node0
31058991914,3cyclictest9042-21interrupts0
31058991914,3cyclictest8107-21which0
31058991914,3cyclictest787-21seq0
31058991914,3cyclictest4726-21/usr/sbin/munin0
31058991914,3cyclictest32752-21/usr/sbin/munin0
31058991914,3cyclictest32752-21/usr/sbin/munin0
31058991914,3cyclictest32536-21basename0
31058991914,3cyclictest30358-21seq0
31058991914,3cyclictest29590-21sh0
31058991914,3cyclictest27383-21cat0
31058991914,3cyclictest2644-21cat0
31058991914,3cyclictest25632-21cut0
31058991914,3cyclictest22208-21if_err_enp2s00
31058991913,4cyclictest9654-21cat0
31058991913,4cyclictest5413-21gzip0
31058991913,4cyclictest27783-21cat0
31058991913,4cyclictest16553-21awk0
31058991913,4cyclictest12139-21seq0
31058991913,4cyclictest11269-21cat0
31058991912,4cyclictest13022-21date0
3105899190,17cyclictest13908-21df_inode0
3107399182,9cyclictest2838-21apt-get3
31073991816,1cyclictest0-21swapper/33
31073991816,1cyclictest0-21swapper/33
31073991814,2cyclictest7071-21aten2_r9power_c3
31073991814,2cyclictest25101-21/usr/sbin/munin3
31073991813,3cyclictest8374-21expr3
31073991813,3cyclictest23101-21expr3
31073991813,3cyclictest18395-21ntpq3
31073991813,3cyclictest16764-21ls3
31073991813,3cyclictest14966-21sed3
31073991813,3cyclictest11645-21threads3
31073991812,4cyclictest7644-21seq3
31073991812,4cyclictest3941-21seq3
31073991812,3cyclictest10333-21gdbus3
3107399181,15cyclictest14268-21grep3
31070991816,1cyclictest0-21swapper/22
31070991816,1cyclictest0-21swapper/22
31070991813,3cyclictest31321-21cut2
31070991813,3cyclictest29039-21sed2
31070991813,3cyclictest28696-21cut2
31070991813,3cyclictest15194-21grep2
31070991811,4cyclictest6405-21seq2
3107099180,17cyclictest5834-21awk2
3106699183,10cyclictest28296-21chrt1
3106699182,3cyclictest21-21ksoftirqd/11
3106699182,14cyclictest5753-21unixbench_singl1
3106699182,13cyclictest6911-21grep1
31066991815,2cyclictest0-21swapper/11
31066991814,2cyclictest24960-21/usr/sbin/munin1
31066991814,2cyclictest21599-21/usr/sbin/munin1
31066991814,2cyclictest15494-21/usr/sbin/munin1
31066991813,3cyclictest7048-21/usr/sbin/munin1
31066991813,3cyclictest32364-21/usr/sbin/munin1
31066991813,3cyclictest31213-21/usr/sbin/munin1
31066991813,3cyclictest2500-21basename1
31066991813,3cyclictest24866-21sed1
31066991813,3cyclictest17491-21tr1
31066991813,3cyclictest14284-21cron1
31066991812,4cyclictest3063-21wc1
31066991812,3cyclictest26103-21aten2.4-expect1
31066991812,3cyclictest15037-21tr1
3106699181,1cyclictest0-21swapper/11
3106699181,16cyclictest0-21swapper/11
3106699181,15cyclictest18199-21tr1
3106699180,16cyclictest4495-21cut1
3106699180,16cyclictest0-21swapper/11
31058991814,2cyclictest31213-21/usr/sbin/munin0
31058991813,3cyclictest8789-21cat0
31058991813,3cyclictest2899-21aten2.4-expect0
31058991813,3cyclictest27070-21expr0
31058991813,3cyclictest25510-21expr0
31058991813,3cyclictest24882-21wc0
31058991813,3cyclictest2370-21expr0
31058991813,3cyclictest23398-21expr0
31058991813,3cyclictest21429-21expr0
31058991813,3cyclictest21398-21nfs4_client0
31058991813,3cyclictest15805-21seq0
31058991812,4cyclictest4591-21cat0
31058991812,4cyclictest23984-21sendmail_mailst0
31058991812,4cyclictest17169-21seq0
31058991812,3cyclictest1556-21if_enp2s00
31058991812,3cyclictest1556-21if_enp2s00
139732180,2sleep20-21swapper/22
31073991712,3cyclictest31327-21sh3
31073991712,3cyclictest27303-21kernelversion3
31073991712,3cyclictest24086-21threads3
31073991711,4cyclictest2056-21expr3
31073991711,4cyclictest2056-21expr3
3107399171,13cyclictest13032-21gltestperf3
3106699173,11cyclictest31724-21gltestperf1
3106699172,9cyclictest12500-21apt-get1
3106699171,5cyclictest0-21swapper/11
31066991713,2cyclictest4028-21/usr/sbin/munin1
31066991712,3cyclictest30716-21/usr/sbin/munin1
31066991712,3cyclictest25853-21ls1
31066991712,3cyclictest23735-21sed1
3106699170,16cyclictest9962-21kworker/1:21
3106699170,16cyclictest9962-21kworker/1:21
31058991712,3cyclictest4437-21expr0
31058991712,3cyclictest30442-21aten2_r9power_v0
31058991711,3cyclictest900-21cat0
31073991612,2cyclictest665-21runrttasks3
31073991612,2cyclictest665-21runrttasks3
3106699162,9cyclictest8063-21apt-get1
31066991611,3cyclictest20950-21/usr/sbin/munin1
31066991611,3cyclictest14413-21cut1
3106699160,15cyclictest0-21swapper/11
3106699160,15cyclictest0-21swapper/11
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional