You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-03-22 - 17:13
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Sat Mar 22, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
19142312274,25sleep10-21swapper/11
17052303265,25sleep30-21swapper/33
326612295213,68sleep20-21swapper/22
209599285281,2cyclictest0-21swapper/22
16562247209,25sleep00-21swapper/00
208499232227,3cyclictest505-21dbus-daemon0
209999189185,2cyclictest35-21ksoftirqd/33
208999188182,4cyclictest6645-21perf1
221232570,2sleep30-21swapper/33
313942530,4sleep20-21swapper/22
311762530,4sleep3209999cyclictest3
201692390,2sleep00-21swapper/00
238002350,1sleep00-21swapper/00
73472280,2sleep00-21swapper/00
2099992621,3cyclictest22583-21munin-run3
313362250,3sleep0208499cyclictest0
208999240,12cyclictest269022pmu-power1
269062230,2sleep20-21swapper/22
214242230,1sleep00-21swapper/00
2099992316,4cyclictest25210-21ls3
209599233,18cyclictest1672-21cron2
209599233,17cyclictest14735-21cat2
209599231,19cyclictest23197-21munin-run2
209599231,19cyclictest23197-21munin-run2
208499231,18cyclictest4170-21cut0
95772220,2sleep09-21ksoftirqd/00
2099992216,3cyclictest19030-21dpkg3
209599223,17cyclictest32127-21latency_hist2
209599223,17cyclictest20733-21cat2
209599223,17cyclictest1685-21cat2
2095992217,3cyclictest9255-21interrupts2
209599221,4cyclictest23091-21sendmail2
209599221,19cyclictest7688-21munin-run2
2095992211,6cyclictest6899-21apt-get2
2095992210,10cyclictest29641-21cut2
208999222,2cyclictest111rcu_preempt1
208999220,19cyclictest14784-21seq1
208499221,5cyclictest1696-21readlink0
2099992116,3cyclictest27225-21idleruntime-cro3
2099992115,4cyclictest665-21runrttasks3
2099992115,4cyclictest11518-21cat3
209599219,10cyclictest2082-21systemd-journal2
209599213,2cyclictest1045-21munin-run2
209599213,17cyclictest32048-21awk2
2095992117,2cyclictest17767-21memory2
2095992116,3cyclictest21692-21expr2
2095992116,3cyclictest11945-21rt-features2
2095992115,4cyclictest4099-21seq2
2095992115,4cyclictest26507-21seq2
2095992115,4cyclictest23844-21seq2
2095992115,4cyclictest23763-21cut2
209599211,3cyclictest4181-21munin-node2
209599211,18cyclictest9682-21munin-run2
209599211,18cyclictest32239-1kworker/2:2H2
209599211,18cyclictest32239-1kworker/2:2H2
209599211,18cyclictest32239-1kworker/2:2H2
209599211,18cyclictest16393-21wc2
209599211,18cyclictest12350-21idleruntime-cro2
209599211,17cyclictest8263-21cat2
209599211,17cyclictest29707-21apt-get2
209599211,17cyclictest18547-1kworker/2:0H2
209599210,4cyclictest2082-21systemd-journal2
209599210,18cyclictest3772-21sed2
209599210,18cyclictest15024-21sendmail-msp2
208499212,8cyclictest18340-21taskset0
2084992116,3cyclictest14989-21idleruntime-cro0
2084992115,4cyclictest21633-21ls0
2084992115,4cyclictest16363-21readlink0
2084992114,5cyclictest26565-21latency_hist0
2084992113,5cyclictest16724-21grep0
156322210,1sleep30-21swapper/33
209999208,7cyclictest17877-21apt-get3
2099992015,3cyclictest9921-21ps3
2099992015,3cyclictest7627-21basename3
2099992015,3cyclictest32567-21cut3
2099992015,3cyclictest29689-21ntp_kernel_pll_3
2099992015,3cyclictest23468-21aten2_r9power_v3
2099992015,3cyclictest15839-21needreboot3
2099992015,3cyclictest11946-21timerandwakeup3
2099992015,3cyclictest11029-21switchtime3
2099992014,4cyclictest3381-21seq3
2099992014,4cyclictest20350-21wc3
2099992014,4cyclictest14050-21cat3
2099992013,4cyclictest8607-21aten2.4-expect3
2095992015,3cyclictest2367-21swap2
2095992015,3cyclictest15149-21cstates2
209599201,4cyclictest17697-21latency_hist2
2095992014,4cyclictest7722-21cat2
2095992014,4cyclictest5685-21sed2
209599201,3cyclictest28549-21pluginstate2
209599201,17cyclictest21951-21cat2
209599201,17cyclictest11734-21perf2
209599200,3cyclictest10286-21latency_hist2
209599200,18cyclictest24772-21cat2
208999203,11cyclictest1967-21apt-get1
2089992015,3cyclictest8123-21seq1
2089992015,3cyclictest16609-21/usr/sbin/munin1
2089992014,4cyclictest9834-21sed1
2089992014,4cyclictest2706-21df_inode1
2089992014,4cyclictest22556-21sed1
2089992014,4cyclictest22202-21which1
2089992014,4cyclictest18804-21/usr/sbin/munin1
2089992014,4cyclictest18500-21seq1
2089992014,4cyclictest11424-21seq1
208499206,12cyclictest19932-21cups-browsed0
2084992015,3cyclictest3115-21sed0
2084992015,3cyclictest18291-21sh0
2084992014,4cyclictest5848-21/usr/sbin/munin0
2084992014,4cyclictest3774-21cat0
2084992014,4cyclictest27884-21sed0
2084992013,4cyclictest505-21dbus-daemon0
2084992010,6cyclictest505-21dbus-daemon0
300662190,3sleep1208999cyclictest1
2099991917,1cyclictest0-21swapper/33
2099991916,2cyclictest0-21swapper/33
2099991915,2cyclictest0-21swapper/33
2099991914,3cyclictest7706-21idleruntime-cro3
2099991914,3cyclictest27076-21sed3
2099991914,3cyclictest18754-21cron3
2099991914,3cyclictest16564-21latency_hist3
2099991913,4cyclictest5764-21cat3
2099991913,4cyclictest4569-21sed3
2099991913,4cyclictest25201-21cat3
2099991913,4cyclictest19153-21cat3
2099991913,4cyclictest14036-21cat3
2099991913,4cyclictest14036-21cat3
2099991913,3cyclictest12475-21unixbench-2d3
2099991912,4cyclictest29725-21gdbus3
2099991912,4cyclictest27804-21cat3
209999191,16cyclictest17140-21grep3
209599192,15cyclictest17003-21latency_hist2
2095991916,2cyclictest0-21swapper/22
2095991915,2cyclictest15044-21aten2_r9power_c2
2095991914,3cyclictest24095-21missed_timers2
2095991914,3cyclictest18303-21diskstats2
2095991914,3cyclictest17324-21grep2
2095991914,3cyclictest13733-21timerandwakeup2
2095991912,4cyclictest505-21dbus-daemon2
2095991912,4cyclictest12980-21latency_hist2
209599191,16cyclictest6587-21apt-get2
209599191,16cyclictest0-21swapper/22
2089991915,2cyclictest15358-21cstates1
2089991914,3cyclictest9378-21awk1
2089991914,3cyclictest7328-21seq1
2089991914,3cyclictest505-21dbus-daemon1
2089991914,3cyclictest4608-21aten2_r9power_c1
2089991914,3cyclictest32305-21date1
2089991914,3cyclictest31734-21find1
2089991914,3cyclictest30735-21gltestperf1
2089991914,3cyclictest307-21ls1
2089991914,3cyclictest21237-21ls1
2089991914,3cyclictest18832-21proc_pri1
2089991914,3cyclictest17160-21sh1
2089991914,3cyclictest12324-21cron1
2089991914,3cyclictest11219-21/usr/sbin/munin1
2089991914,3cyclictest10892-21/usr/sbin/munin1
2089991913,4cyclictest5385-21seq1
2089991913,4cyclictest4287-21awk1
2089991913,4cyclictest31251-21date1
2089991913,4cyclictest29148-21sed1
2089991913,4cyclictest28559-21dump-pmu-power1
2089991913,4cyclictest25469-21seq1
2089991913,4cyclictest2198-21cat1
2089991913,4cyclictest2082-21systemd-journal1
2089991913,4cyclictest14588-21anacron1
2089991913,4cyclictest14588-21anacron1
2089991913,3cyclictest13363-21missed_timers1
208999191,16cyclictest0-21swapper/11
208999190,16cyclictest19461-21df1
208499194,8cyclictest27472-21apt-get0
208499193,9cyclictest12902-21apt-get0
208499193,9cyclictest12902-21apt-get0
2084991915,2cyclictest20825-21/usr/sbin/munin0
2084991915,2cyclictest12807-21/usr/sbin/munin0
2084991914,3cyclictest8878-21/usr/sbin/munin0
2084991914,3cyclictest8525-21cat0
2084991914,3cyclictest5665-21sed0
2084991914,3cyclictest21210-21/usr/sbin/munin0
2084991914,3cyclictest16428-21sed0
2084991914,3cyclictest11215-21sed0
2084991913,4cyclictest4038-21basename0
2084991913,4cyclictest3302-21sed0
2084991913,4cyclictest25631-21seq0
2084991913,4cyclictest22649-21awk0
2084991912,4cyclictest505-21dbus-daemon0
209999182,13cyclictest32694-21tr3
2099991816,1cyclictest0-21swapper/33
2099991816,1cyclictest0-21swapper/33
2099991816,1cyclictest0-21swapper/33
2099991816,1cyclictest0-21swapper/33
2099991814,2cyclictest7003-21df3
2099991813,3cyclictest9416-21cat3
2099991813,3cyclictest8218-21cut3
2099991813,3cyclictest28629-21sed3
2099991813,3cyclictest2834-21basename3
2099991813,3cyclictest22087-21find3
2099991813,3cyclictest20437-21if_enp2s03
2099991811,4cyclictest23189-21cron3
2099991811,4cyclictest23189-21cron3
209999180,16cyclictest0-21swapper/33
209999180,16cyclictest0-21swapper/33
2095991816,1cyclictest0-21swapper/22
2095991816,1cyclictest0-21swapper/22
2095991814,2cyclictest0-21swapper/22
2095991813,3cyclictest3948-21if_err_enp3s02
2095991813,3cyclictest18523-21sed2
209599181,16cyclictest20828-21cat2
209599181,14cyclictest29202-21cron2
2089991816,1cyclictest0-21swapper/11
2089991816,1cyclictest0-21swapper/11
2089991814,2cyclictest25146-21cat1
2089991814,2cyclictest23437-21/usr/sbin/munin1
2089991813,3cyclictest7275-21ls1
2089991813,3cyclictest6509-21if_enp2s01
2089991813,3cyclictest32353-21aten2_r9power_e1
2089991813,3cyclictest29560-21find1
2089991813,3cyclictest19534-21tr1
2089991813,3cyclictest1926-21interrupts1
2089991813,3cyclictest19084-21date1
2089991813,3cyclictest14896-21seq1
2089991813,3cyclictest13155-21cat1
2089991813,3cyclictest10791-21seq1
2089991812,4cyclictest8365-21df1
2089991812,4cyclictest28022-21cat1
2089991812,4cyclictest25824-21expr1
2089991812,4cyclictest24487-21seq1
208999181,16cyclictest0-21swapper/11
2084991816,1cyclictest0-21swapper/00
2084991816,1cyclictest0-21swapper/00
2084991814,2cyclictest19700-21ntp_states0
2084991813,3cyclictest6832-21open_files0
2084991813,3cyclictest665-21runrttasks0
2084991813,3cyclictest665-21runrttasks0
2084991813,3cyclictest13343-21cat0
2084991813,3cyclictest12382-21timerandwakeup0
2084991812,4cyclictest8910-21entropy0
2084991812,4cyclictest8811-21sed0
2084991812,4cyclictest2082-21systemd-journal0
208499180,16cyclictest0-21swapper/00
2099991715,1cyclictest0-21swapper/33
2099991715,1cyclictest0-21swapper/33
2099991712,3cyclictest4464-21sed3
2099991712,3cyclictest31436-21cat3
2099991712,3cyclictest27432-21interrupts3
2099991712,3cyclictest18156-21awk3
2099991712,3cyclictest1226-21cut3
209999171,14cyclictest7207-21cut3
209999170,3cyclictest111rcu_preempt3
2095991713,2cyclictest11134-21cstates2
2095991711,4cyclictest2472-21grep2
2089991715,1cyclictest0-21swapper/11
2089991712,3cyclictest7028-21awk1
2089991712,3cyclictest17790-21date1
2089991712,3cyclictest15691-21seq1
2084991715,1cyclictest0-21swapper/00
2084991715,1cyclictest0-21swapper/00
2084991715,1cyclictest0-21swapper/00
2084991715,1cyclictest0-21swapper/00
2084991713,2cyclictest665-21runrttasks0
2084991713,2cyclictest26293-21nfs4_client0
2084991713,2cyclictest1212-21vmstat0
2084991712,3cyclictest665-21runrttasks0
2084991712,3cyclictest665-21runrttasks0
2084991712,3cyclictest28814-21/usr/sbin/munin0
2084991712,3cyclictest16609-21/usr/sbin/munin0
2084991712,3cyclictest11796-21uname0
2084991711,4cyclictest24551-21cron0
2099991611,3cyclictest665-21runrttasks3
2099991610,4cyclictest15701-21cat3
209999160,1cyclictest0-21swapper/33
2089991611,3cyclictest2082-21systemd-journal1
2089991611,3cyclictest2082-21systemd-journal1
2084991614,1cyclictest0-21swapper/00
2084991611,3cyclictest2082-21systemd-journal0
2084991611,3cyclictest15208-21cpuspeed0
2084991610,4cyclictest28588-21if_err_enp3s00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional