You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-05-13 - 03:22
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue May 13, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
286692255217,25sleep00-21swapper/00
284272252184,24sleep20-21swapper/22
286652249212,25sleep10-21swapper/11
2889899229221,5cyclictest30779-21cron1
285762227190,25sleep30-21swapper/33
2891099208203,3cyclictest0-21swapper/33
2890599193188,3cyclictest505-21dbus-daemon2
1685521770,3sleep32891099cyclictest3
2889599164155,6cyclictest30780-21cron0
2688621480,4sleep32891099cyclictest3
163622550,15sleep20-21swapper/22
310712430,1sleep20-21swapper/22
23342390,2sleep30-21swapper/33
81222380,1sleep30-21swapper/33
248482380,1sleep00-21swapper/00
2891099310,29cyclictest17343-21kworker/3:13
2889899287,19cyclictest0-21swapper/11
292302270,8sleep1211ksoftirqd/11
28910992619,4cyclictest2082-21systemd-journal3
2890599266,17cyclictest0-21swapper/22
28905992624,1cyclictest0-21swapper/22
2890599256,17cyclictest15184-21cat2
28898992515,6cyclictest31644-21apt-get1
165622250,2sleep30-21swapper/33
2890599240,5cyclictest10869-21idleruntime-cro2
28910992317,3cyclictest31664-21cron3
28910992315,4cyclictest29278-21cron3
28910992314,6cyclictest779-21sendmail-mta3
2891099231,10cyclictest0-21swapper/33
2890599234,17cyclictest6953-21awk2
2890599234,17cyclictest21053-21cat2
2890599234,17cyclictest17329-40mandb2
28910992215,4cyclictest20244-21ls3
28905992217,3cyclictest17263-21munin-run2
28898992215,5cyclictest6900-21seq1
28898992215,4cyclictest29384-21sh1
28898992215,4cyclictest26867-21cron1
28895992215,4cyclictest665-21runrttasks0
28895992215,4cyclictest27883-21cat0
28910992115,4cyclictest30840-21sed3
28910992115,3cyclictest31184-21sh3
28910992115,3cyclictest31184-21sh3
28910992114,4cyclictest23811-21grep3
28910992114,4cyclictest15268-21turbostat3
28910992113,5cyclictest11317-21cron3
28910992113,4cyclictest973-21sendmail3
2890599218,11cyclictest8895-21sed2
2890599212,17cyclictest8922-21latency_hist2
2890599212,17cyclictest3014-21cat2
28905992116,3cyclictest6518-21unixbench_singl2
28905992116,3cyclictest10219-21latency2
28905992115,4cyclictest27380-21sed2
28905992115,4cyclictest24429-21threads2
28905992115,4cyclictest23656-21latency_hist2
28905992115,4cyclictest19530-21find2
2890599211,3cyclictest2871-21perf2
2890599211,3cyclictest20396-1kworker/2:0H2
28898992116,3cyclictest13084-21idleruntime-cro1
28898992115,4cyclictest3067-21date1
28898992115,4cyclictest17336-21sh1
28898992115,4cyclictest10504-21processes1
28898992114,4cyclictest665-21runrttasks1
2889899210,18cyclictest14319-21cat1
28895992115,4cyclictest30966-21seq0
28895992115,4cyclictest30966-21seq0
28895992115,4cyclictest27381-21date0
28895992115,4cyclictest16656-21seq0
28895992114,4cyclictest25566-21df_inode0
2891099209,6cyclictest505-21dbus-daemon3
28910992015,3cyclictest18027-21ntp_states3
28910992013,4cyclictest31282-21sh3
28910992013,4cyclictest13079-21basename3
2890599209,7cyclictest11528-21apt-get2
2890599207,11cyclictest0-21swapper/22
28905992018,1cyclictest0-21swapper/22
28905992015,3cyclictest3392-21cat2
28905992015,3cyclictest32678-21unixbench-2d2
28905992015,3cyclictest28684-21swap2
28905992015,3cyclictest25968-21sh2
28905992015,3cyclictest1636-21diskstats2
28905992015,3cyclictest11034-21seq2
28905992014,4cyclictest3774-21cat2
28905992014,3cyclictest5238-21cpu2
28905992013,5cyclictest2400-21seq2
28905992013,4cyclictest13938-21df2
28905992012,5cyclictest28-21ksoftirqd/22
2890599201,17cyclictest25652-21/usr/sbin/munin2
2890599201,17cyclictest0-21swapper/22
2890599200,5cyclictest1059-21date2
2890599200,4cyclictest2082-21systemd-journal2
2890599200,17cyclictest11991-21df2
28898992016,2cyclictest21-21ksoftirqd/11
28898992015,3cyclictest8452-21sed1
28898992015,3cyclictest25943-21sed1
28898992015,3cyclictest23508-21/usr/sbin/munin1
28898992015,3cyclictest21935-21needreboot1
28898992015,3cyclictest19082-21sh1
28898992015,3cyclictest15093-21/usr/sbin/munin1
28898992015,3cyclictest1194-21/usr/sbin/munin1
28898992014,4cyclictest12694-21seq1
28898992014,3cyclictest333-21grep1
28898992014,3cyclictest333-21grep1
28898992013,4cyclictest3340-21cat1
28898992013,4cyclictest18217-21cat1
28898992013,4cyclictest17533-21/usr/sbin/munin1
2889599202,15cyclictest17860-21cut0
28895992015,3cyclictest9364-21gpgconf0
28895992015,3cyclictest345-21timerwakeupswit0
28895992015,3cyclictest30979-21munin-node0
28895992015,3cyclictest24663-21seq0
28895992015,3cyclictest19521-21/usr/sbin/munin0
28895992015,3cyclictest13509-21/usr/sbin/munin0
28895992014,4cyclictest785-21seq0
28895992014,4cyclictest785-21seq0
28895992014,4cyclictest5591-21ls0
28895992014,4cyclictest505-21dbus-daemon0
28895992014,4cyclictest18932-21date0
28895992014,4cyclictest17090-21seq0
28895992014,4cyclictest11118-21apt0
28895992013,4cyclictest2082-21systemd-journal0
28895992013,4cyclictest16021-21expr0
28910991914,3cyclictest19522-21acpi3
28910991914,3cyclictest18623-21awk3
28910991914,3cyclictest17087-21cut3
28910991914,3cyclictest15951-21expr3
28910991914,3cyclictest12863-21grep3
28910991914,3cyclictest0-21swapper/33
28910991913,4cyclictest12852-21latency_hist3
28910991913,3cyclictest4377-21timerwakeupswit3
28910991913,3cyclictest22796-21ntpq3
2891099191,16cyclictest0-21swapper/33
28910991910,5cyclictest505-21dbus-daemon3
28910991910,5cyclictest13119-21apt-get3
2890599196,4cyclictest5326-21cat2
28905991915,2cyclictest28576-21kernelversion2
28905991915,2cyclictest28130-21if_enp3s02
28905991914,3cyclictest4940-21sed2
28905991914,3cyclictest32488-21ntp_kernel_pll_2
28905991914,3cyclictest30292-21missed_timers2
28905991914,3cyclictest25976-21interrupts2
28905991914,3cyclictest25976-21interrupts2
28905991914,3cyclictest18276-21pmu-power2
28905991914,3cyclictest14043-21expr2
28905991913,4cyclictest22710-21cat2
28905991913,4cyclictest18104-21cat2
28905991913,4cyclictest15998-21uname2
28905991913,4cyclictest11145-21date2
28905991912,4cyclictest7613-21df_inode2
2890599191,16cyclictest20396-1kworker/2:0H2
2890599191,16cyclictest17676-21apt-key2
28898991915,2cyclictest135502sleep11
28898991914,3cyclictest9504-21/usr/sbin/munin1
28898991914,3cyclictest5187-21/usr/sbin/munin1
28898991914,3cyclictest31279-21cron1
28898991914,3cyclictest29628-21/usr/sbin/munin1
28898991914,3cyclictest21762-21cpuspeed_turbos1
28898991914,3cyclictest19710-21if_enp3s01
28898991914,3cyclictest15532-21cpuspeed1
28898991914,3cyclictest11508-21/usr/sbin/munin1
28898991914,2cyclictest7687-21latency1
28898991913,4cyclictest6074-21which1
28898991913,4cyclictest3906-21grep1
28898991913,4cyclictest25849-21date1
28898991913,4cyclictest17921-21/usr/sbin/munin1
28898991913,4cyclictest1694-21sed1
28898991913,4cyclictest10868-21turbostat1
28898991912,5cyclictest7589-21cat1
28898991912,4cyclictest26707-21cat1
28898991911,5cyclictest505-21dbus-daemon1
28895991915,2cyclictest12091-21missed_timers0
28895991914,3cyclictest665-21runrttasks0
28895991914,3cyclictest505-21dbus-daemon0
28895991914,3cyclictest30042-21cat0
28895991914,3cyclictest28598-21latency0
28895991914,3cyclictest2844-21cron0
28895991914,3cyclictest23388-21seq0
28895991914,3cyclictest23303-21/usr/sbin/munin0
28895991914,3cyclictest21541-21seq0
28895991914,3cyclictest15105-21seq0
28895991913,4cyclictest665-21runrttasks0
28895991913,4cyclictest21851-21expr0
28895991913,4cyclictest14754-21seq0
28895991913,4cyclictest1175-21seq0
28895991913,3cyclictest3941-21missed_timers0
28895991912,4cyclictest2082-21systemd-journal0
2889599190,17cyclictest23073-21awk0
2891099183,8cyclictest7193-21apt-get3
2891099183,8cyclictest5197-21apt-get3
2891099182,8cyclictest235292sleep33
2891099182,12cyclictest2863-21wc3
28910991814,2cyclictest25920-21/usr/sbin/munin3
28910991813,3cyclictest7066-21sed3
28910991813,3cyclictest4775-21sendmail-mta3
28910991813,3cyclictest29673-21latency_hist3
28910991813,3cyclictest14446-21uname3
28910991812,3cyclictest7527-21cstates3
28910991811,4cyclictest7230-21cpuspeed_turbos3
28910991810,4cyclictest6739-21ls3
2890599189,7cyclictest0-21swapper/22
28905991815,2cyclictest0-21swapper/22
28905991815,2cyclictest0-21swapper/22
28905991814,2cyclictest26684-21missed_timers2
28905991814,2cyclictest24553-21rt-features2
28905991813,3cyclictest31381-21cut2
28905991813,3cyclictest31381-21cut2
28905991813,3cyclictest12296-21cat2
28905991812,4cyclictest8455-21users2
28905991812,4cyclictest22992-21cat2
2889899189,7cyclictest32200-21cpuspeed_turbos1
2889899183,9cyclictest21332-21apt-get1
28898991816,1cyclictest0-21swapper/11
28898991816,1cyclictest0-21swapper/11
28898991814,2cyclictest9302-21/usr/sbin/munin1
28898991814,2cyclictest4985-21/usr/sbin/munin1
28898991813,3cyclictest665-21runrttasks1
28898991813,3cyclictest29921-21/usr/sbin/munin1
28898991813,3cyclictest25920-21/usr/sbin/munin1
28898991812,3cyclictest3224-21aten2_r9power_c1
28898991812,3cyclictest19316-21/usr/sbin/munin1
28898991811,4cyclictest22486-21cat1
2889899180,15cyclictest31194-21idleruntime-cro1
2889899180,15cyclictest31194-21idleruntime-cro1
28895991816,1cyclictest0-21swapper/00
28895991814,2cyclictest25327-21/usr/sbin/munin0
28895991814,2cyclictest25327-21/usr/sbin/munin0
28895991813,3cyclictest9337-21aten2_r9power_c0
28895991813,3cyclictest665-21runrttasks0
28895991813,3cyclictest6332-21grep0
28895991813,3cyclictest6019-21cut0
28895991813,3cyclictest4555-21seq0
28895991813,3cyclictest31750-21expr0
28895991813,3cyclictest31381-21sh0
28895991813,3cyclictest21668-21idleruntime0
28895991813,3cyclictest20455-21sed0
28895991813,3cyclictest13551-21cat0
28895991813,3cyclictest11571-21apt0
28895991812,4cyclictest3087-21date0
28895991812,4cyclictest30279-21cat0
28895991812,4cyclictest1773-21basename0
189132180,5sleep32891099cyclictest3
2891099178,6cyclictest0-21swapper/33
2891099172,9cyclictest23127-21apt-get3
2891099172,9cyclictest12162sleep33
2891099171,9cyclictest21332-21apt-get3
28910991713,2cyclictest25395-21aten2_r9power_e3
28910991713,2cyclictest25395-21aten2_r9power_e3
28910991712,3cyclictest665-21runrttasks3
28910991712,3cyclictest28515-21switchtime3
28910991712,3cyclictest10792-21unixbench_multi3
28910991711,4cyclictest18874-21cron3
28910991711,3cyclictest1459-21cpuspeed_turbos3
28910991710,4cyclictest6056-21head3
28910991710,4cyclictest21512-21expr3
2891099170,1cyclictest0-21swapper/33
2891099170,16cyclictest0-21swapper/33
2891099170,16cyclictest0-21swapper/33
28905991711,4cyclictest13483-21expr2
2889899173,8cyclictest31442-21apt-get1
2889899173,8cyclictest23127-21apt-get1
28898991712,3cyclictest1201-21/usr/sbin/munin1
28898991711,4cyclictest3631-21sed1
28898991711,4cyclictest20572-21gzip1
2889899171,13cyclictest20245-21cpuspeed_turbos1
28895991715,1cyclictest0-21swapper/00
28895991712,3cyclictest665-21runrttasks0
28895991712,3cyclictest27967-21cstates0
28895991712,3cyclictest15351-21aten2_r9power_e0
28895991712,3cyclictest12200-21wc0
28895991711,4cyclictest7542-21basename0
28895991711,4cyclictest2415-21seq0
2889599170,15cyclictest3979-21missed_timers0
2891099163,8cyclictest9320-21apt-get3
28910991614,1cyclictest0-21swapper/33
2891099160,15cyclictest0-21swapper/33
28898991612,2cyclictest15496-21/usr/sbin/munin1
28898991611,3cyclictest26191-21ntp_kernel_pll_1
28898991611,3cyclictest26191-21ntp_kernel_pll_1
2889599169,5cyclictest7193-21apt-get0
28895991611,3cyclictest23564-21aten2_r9power_e0
2891099152,8cyclictest23917-21apt-get3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional