You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-09-13 - 21:53
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Sat Sep 13, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
189732322250,24sleep30-21swapper/33
206832316278,26sleep10-21swapper/11
206592260222,25sleep20-21swapper/22
205402254189,50sleep00-21swapper/00
2091099218211,5cyclictest29547-21sendmail1
2091999207202,3cyclictest29535-21munin-run3
2090599145138,5cyclictest29557-21perf0
2091599141136,3cyclictest29561-21basename2
226262550,1sleep30-21swapper/33
226262550,1sleep30-21swapper/33
316962450,1sleep30-21swapper/33
245182400,1sleep10-21swapper/11
2091599287,19cyclictest0-21swapper/22
20915992613,11cyclictest14666-21ps2
89682240,2sleep00-21swapper/00
52362240,3sleep20-21swapper/22
20212240,2sleep20-21swapper/22
2091599235,16cyclictest111rcu_preempt2
2091599234,17cyclictest9724-21awk2
2091599234,17cyclictest5765-21cat2
20915992316,4cyclictest1259-21perf2
2091599231,19cyclictest6312-21munin-run2
2091599230,10cyclictest242082load2
20905992318,3cyclictest18429-21cut0
316792220,3sleep22091599cyclictest2
20919992215,4cyclictest14779-21ls3
20919992214,5cyclictest2082-21systemd-journal3
2091599228,11cyclictest22874-21grep2
2091599222,17cyclictest28609-21latency_hist2
20915992217,3cyclictest28-21ksoftirqd/22
2091599221,18cyclictest18493-1kworker/2:0H2
2091599221,18cyclictest17495-21munin-run2
2091099220,20cyclictest0-21swapper/11
20919992115,4cyclictest11478-21sed3
20919992115,3cyclictest23767-21sh3
20919992114,4cyclictest2266-21turbostat.cron3
20919992111,5cyclictest1870-21apt-get3
2091999210,19cyclictest10946-21kworker/3:33
2091599218,11cyclictest9350-21cron2
2091599211,18cyclictest31340-21latency_hist2
2091599211,18cyclictest24000-21munin-run2
2091599211,18cyclictest24000-21munin-run2
2091599211,17cyclictest646-1kworker/2:1H2
2091599211,17cyclictest646-1kworker/2:1H2
2091599211,17cyclictest26029-21munin-run2
2091599211,17cyclictest2082-21systemd-journal2
2091599211,17cyclictest11440-21sendmail-mta2
2091599210,19cyclictest18462-21tr2
20910992115,4cyclictest27474-21seq1
20910992115,4cyclictest20263-21seq1
20910992113,5cyclictest24032-21basename1
20910992113,5cyclictest24032-21basename1
20910992113,5cyclictest15942sleep11
2091099211,18cyclictest2082-21systemd-journal1
20905992116,3cyclictest26813-21seq0
20905992116,3cyclictest2510-21/usr/sbin/munin0
20905992116,3cyclictest10708-21idleruntime-cro0
20905992116,3cyclictest10708-21idleruntime-cro0
20905992115,4cyclictest4740-21ntpq0
20905992115,4cyclictest16792-21cron0
20905992114,4cyclictest30690-21diskstats0
2090599211,17cyclictest28946-21cat0
2091999206,12cyclictest505-21dbus-daemon3
2091999201,8cyclictest2082-21systemd-journal3
20919992015,3cyclictest2082-21systemd-journal3
20919992015,3cyclictest20572-21sed3
20919992015,3cyclictest17296-21kernelversion3
20919992015,3cyclictest15218-21open_files3
20919992014,4cyclictest4706-21sed3
20919992014,4cyclictest25416-21grep3
20919992012,5cyclictest10333-21gdbus3
2091999201,16cyclictest21580-21cut3
2091599203,16cyclictest27532-21awk2
2091599202,17cyclictest25958-21awk2
2091599202,16cyclictest6547-21sendmail-mta2
2091599202,16cyclictest2239-21latency_hist2
20915992015,3cyclictest3489-21packagekitd2
20915992015,3cyclictest18284-21grep2
20915992015,3cyclictest10553-21expr2
20915992014,4cyclictest31604-21cut2
20915992014,4cyclictest19596-21cat2
20915992014,4cyclictest13572-21date2
20915992014,4cyclictest10870-21sed2
20915992014,4cyclictest10870-21sed2
20915992013,5cyclictest23139-21seq2
2091599201,17cyclictest2082-21systemd-journal2
2091599201,17cyclictest19332-21cat2
20915992010,5cyclictest22779-21apt-get2
2091599200,3cyclictest7702-1kworker/2:2H2
2091599200,3cyclictest32678-21perf2
2091599200,18cyclictest13842-21perf2
2091099201,5cyclictest0-21swapper/11
20910992015,3cyclictest30249-21/usr/sbin/munin1
20910992015,3cyclictest21062-21/usr/sbin/munin1
20910992014,4cyclictest9875-21date1
20910992014,4cyclictest4180-21cat1
20910992014,4cyclictest3601-21seq1
20910992014,4cyclictest22857-21seq1
20910992014,4cyclictest13809-21seq1
20910992013,5cyclictest19863-21grep1
20910992013,4cyclictest26999-21hostname1
20910992010,6cyclictest8866-21packagekitd1
20910992010,6cyclictest8866-21packagekitd1
20905992015,3cyclictest7808-21ls0
20905992015,3cyclictest22591-21seq0
20905992015,3cyclictest18064-21vmstat0
20905992015,3cyclictest13674-21/usr/sbin/munin0
20905992014,4cyclictest658-21seq0
20905992014,4cyclictest5063-21seq0
20905992014,4cyclictest31342-21idleruntime-cro0
20905992014,4cyclictest24647-21expr0
20905992014,4cyclictest16018-21seq0
20905992014,4cyclictest13461-21cat0
20905992013,4cyclictest8687-21missed_timers0
20905992013,4cyclictest58150irq/130-enp2s00
20905992013,4cyclictest3048-21wc0
107512200,17sleep110859-21ntpq1
2091999192,15cyclictest32223-21grep3
2091999192,14cyclictest8872-21unixbench-2d3
20919991915,2cyclictest26830-21irqstats3
20919991915,2cyclictest24778-21/usr/sbin/munin3
20919991914,3cyclictest4250-21expr3
20919991914,3cyclictest29025-21sed3
20919991914,3cyclictest21702-21interrupts3
20919991914,3cyclictest17738-21/usr/sbin/munin3
20919991914,3cyclictest1302-21cpu3
20919991913,4cyclictest26294-21basename3
20919991913,4cyclictest15475-21expr3
20919991913,3cyclictest26711-21diskstats3
20919991913,3cyclictest19213-21cut3
20919991912,4cyclictest35-21ksoftirqd/33
20915991915,2cyclictest15862-21latency_hist2
20915991914,3cyclictest7094-21timerandwakeup2
20915991914,3cyclictest6413-21tail2
20915991914,3cyclictest2965-21cat2
20915991914,3cyclictest28282-21memory2
20915991914,3cyclictest2082-21systemd-journal2
20915991914,3cyclictest11159-21timerandwakeup2
20915991913,4cyclictest21267-21expr2
20915991913,3cyclictest8400-21sh2
2091599191,13cyclictest16130-21apt-get2
2091599190,17cyclictest7702-1kworker/2:2H2
2091599190,17cyclictest16107-21dump-pmu-power2
2091099194,3cyclictest111rcu_preempt1
20910991915,2cyclictest5868-21/usr/sbin/munin1
20910991914,3cyclictest7443-21cat1
20910991914,3cyclictest32544-21awk1
20910991914,3cyclictest28971-21sed1
20910991914,3cyclictest26414-21seq1
20910991914,3cyclictest22124-21/usr/sbin/munin1
20910991914,3cyclictest21889-21cat1
20910991914,3cyclictest19370-21seq1
20910991914,3cyclictest1828-21apt1
20910991914,3cyclictest16043-21seq1
20910991914,3cyclictest15711-21/usr/sbin/munin1
20910991914,3cyclictest14249-21sed1
20910991913,4cyclictest25679-21seq1
20910991913,4cyclictest21687-21seq1
20910991913,4cyclictest18612-21cat1
20910991913,4cyclictest1491-21cat1
20910991913,4cyclictest12485-21seq1
20910991913,4cyclictest11112-21seq1
2090599197,10cyclictest22124-21/usr/sbin/munin0
2090599193,14cyclictest7525-21grep0
20905991915,2cyclictest31801-21/usr/sbin/munin0
20905991915,2cyclictest28849-21/usr/sbin/munin0
20905991915,2cyclictest21430-21/usr/sbin/munin0
20905991914,4cyclictest292-21jbd2/mmcblk0p2-0
20905991914,3cyclictest7518-21seq0
20905991914,3cyclictest3179-21grep0
20905991914,3cyclictest26227-21seq0
20905991914,3cyclictest23544-21memory0
20905991914,3cyclictest19124-21expr0
20905991914,3cyclictest13820-21cron0
20905991914,3cyclictest10037-21sh0
20905991913,4cyclictest6444-21cut0
20905991913,4cyclictest25827-21seq0
20905991913,4cyclictest21382-21cat0
20905991913,4cyclictest1796-21date0
20905991913,4cyclictest12617-21awk0
20905991912,5cyclictest505-21dbus-daemon0
2090599191,16cyclictest5823-21grep0
2091999182,1cyclictest0-21swapper/33
20919991816,1cyclictest18974-21kworker/3:23
20919991816,1cyclictest0-21swapper/33
2091999181,4cyclictest0-21swapper/33
20919991814,2cyclictest22878-21aten2_r9power_v3
20919991814,2cyclictest14672-21processes3
20919991813,3cyclictest8265-21expr3
20919991813,3cyclictest6951-21expr3
20919991813,3cyclictest318-21proc_pri3
20919991813,3cyclictest30271-21ls3
20919991813,3cyclictest28021-21cat3
20919991813,3cyclictest24444-21proc_pri3
20919991813,3cyclictest17305-21gpgconf3
20919991813,3cyclictest1705-21readlink3
20919991813,3cyclictest13634-21unixbench_singl3
20919991812,4cyclictest5972-21cut3
20919991812,4cyclictest29337-21head3
2091999181,14cyclictest11285-21sed3
20915991814,2cyclictest14289-21unixbench_multi2
20915991813,3cyclictest361-21basename2
20915991813,3cyclictest25860-21cat2
20915991813,3cyclictest25860-21cat2
20915991812,4cyclictest20797-21cat2
2091599181,15cyclictest30009-21munin-run2
2091099183,9cyclictest25493-21apt-get1
2091099183,9cyclictest25493-21apt-get1
2091099182,13cyclictest18644-21gltestperf1
20910991814,2cyclictest2510-21/usr/sbin/munin1
20910991813,3cyclictest29781-21/usr/sbin/munin1
20910991813,3cyclictest27528-21/usr/sbin/munin1
20910991813,3cyclictest22760-21/usr/sbin/munin1
20910991813,3cyclictest21-21ksoftirqd/11
20910991813,3cyclictest15377-21expr1
20910991813,3cyclictest12799-21cat1
20910991812,3cyclictest32674-21turbostat.cron1
20910991812,3cyclictest21036-21strings1
20910991811,5cyclictest24941-21grep1
20910991811,4cyclictest14887-21needreboot1
2091099180,6cyclictest0-21swapper/11
20905991813,3cyclictest813-21seq0
20905991813,3cyclictest7865-21cut0
20905991813,3cyclictest665-21runrttasks0
20905991813,3cyclictest31301-21expr0
20905991813,3cyclictest29782-21acpi0
20905991813,3cyclictest26367-21cat0
20905991813,3cyclictest20727-21cut0
20905991813,3cyclictest19687-21apt-key0
20905991813,3cyclictest15711-21/usr/sbin/munin0
20905991813,3cyclictest12505-21seq0
20905991812,4cyclictest58150irq/130-enp2s00
20905991812,4cyclictest5594-21seq0
20905991812,4cyclictest23121-21awk0
20905991812,4cyclictest23121-21awk0
20905991812,4cyclictest15392-21expr0
2090599181,15cyclictest23497-21basename0
2091999179,5cyclictest1618-21cron3
20919991715,1cyclictest0-21swapper/33
20919991715,1cyclictest0-21swapper/33
20919991715,1cyclictest0-21swapper/33
20919991714,2cyclictest0-21swapper/33
20919991714,2cyclictest0-21swapper/33
20919991712,3cyclictest6356-21expr3
20919991712,3cyclictest31940-21expr3
20919991712,3cyclictest26654-21sed3
20919991712,3cyclictest26654-21sed3
20919991712,3cyclictest24440-21cpu3
20919991712,3cyclictest13439-21latency_hist3
20919991712,3cyclictest12409-21expr3
2091999170,16cyclictest0-21swapper/33
20915991715,1cyclictest0-21swapper/22
20915991712,3cyclictest20529-21cat2
2091599171,14cyclictest29278-21df2
20915991711,4cyclictest2788-21cpuspeed_turbos2
2091599170,16cyclictest0-21swapper/22
2091099174,7cyclictest7585-21apt-get1
20910991713,2cyclictest5932-21/usr/sbin/munin1
20910991713,2cyclictest4961-21df1
20910991713,2cyclictest26176-21/usr/sbin/munin1
20910991713,2cyclictest23457-21/usr/sbin/munin1
20910991712,3cyclictest5166-21sed1
20910991712,3cyclictest3873-21ls1
20910991712,3cyclictest30303-21seq1
20910991712,3cyclictest29575-21basename1
20910991712,3cyclictest26868-21if_enp3s01
20910991712,3cyclictest2156-21seq1
2090599174,11cyclictest29303-21cron0
20905991715,1cyclictest0-21swapper/00
20905991715,1cyclictest0-21swapper/00
20905991713,2cyclictest20062-21packagekitd0
20905991712,3cyclictest9939-21apt-key0
20905991712,3cyclictest26230-21aten2_r9power_c0
20905991712,3cyclictest16548-21sh0
20905991712,3cyclictest15608-21seq0
20905991711,3cyclictest22874-21sh0
20919991611,3cyclictest20125-21aten2_r9power_c3
2091999160,15cyclictest0-21swapper/33
20910991611,3cyclictest14047-21expr1
20910991611,3cyclictest10758-21expr1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional