You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-22 - 23:12
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Sat Nov 22, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
57692313276,24sleep00-21swapper/00
60402311274,24sleep20-21swapper/22
6231992981,2cyclictest27894-21idleruntime-cro1
6231992981,2cyclictest27894-21idleruntime-cro1
60492263227,24sleep10-21swapper/11
60662246210,23sleep30-21swapper/33
622799149142,5cyclictest27893-21tr0
622799149142,5cyclictest27893-21tr0
623699136129,5cyclictest27880-21perf2
623699136129,5cyclictest27880-21perf2
62399910298,2cyclictest27879-21idleruntime-cro3
62399910298,2cyclictest27879-21idleruntime-cro3
95622670,1sleep19565-21idleruntime1
307902580,2sleep10-21swapper/11
83752560,4sleep2623699cyclictest2
36892430,2sleep30-21swapper/33
36892430,2sleep30-21swapper/33
201992270,4sleep2623699cyclictest2
623699233,17cyclictest23889-21latency_hist2
623699233,17cyclictest13611-21cat2
6236992315,5cyclictest2082-21systemd-journal2
6236992315,4cyclictest505-21dbus-daemon2
622799238,12cyclictest12421-21readlink0
75352220,1sleep30-21swapper/33
623699224,17cyclictest15800-21awk2
623699223,17cyclictest8323-21latency_hist2
623699223,17cyclictest6291-21latency_hist2
623699223,17cyclictest19992-21cat2
623699223,17cyclictest17429-21awk2
623699222,15cyclictest9532-21apt-get2
6236992215,4cyclictest32322-21sh2
623699221,18cyclictest25523-21munin-run2
623699221,18cyclictest17817-21perf2
6227992217,3cyclictest21812-21grep0
6227992217,3cyclictest21812-21grep0
6227992215,4cyclictest2082-21systemd-journal0
6239992115,4cyclictest8941-21users3
6239992115,4cyclictest505-21dbus-daemon3
6239992115,4cyclictest27183-21cat3
6239992115,4cyclictest23878-21cut3
6239992115,4cyclictest19927-21cat3
6239992115,4cyclictest18101-21pmu-power3
6239992115,3cyclictest20531-21diskstats3
623699213,16cyclictest3304-21cat2
623699212,12cyclictest17671-21chrt2
6236992115,4cyclictest8234-21expr2
6236992115,4cyclictest11999-21awk2
623699211,3cyclictest4049-1kworker/2:0H2
623699211,3cyclictest27162-21munin-run2
6236992113,5cyclictest2082-21systemd-journal2
623699211,17cyclictest1134-21dump-pmu-power2
6227992116,3cyclictest24397-21kernelversion0
6227992115,4cyclictest4963-21seq0
6227992115,4cyclictest15677-21seq0
6227992115,3cyclictest1463-21aten2.4-expect0
146252210,1sleep10-21swapper/11
6239992016,2cyclictest2315-21idleruntime3
6239992015,3cyclictest31526-21proc_pri3
6239992015,3cyclictest14511-21pluginstate3
6239992015,3cyclictest14511-21pluginstate3
6239992015,3cyclictest14237-21cat3
6239992014,4cyclictest4677-21ntp_kernel_pll_3
6239992014,4cyclictest4296-21ntpq3
6239992014,4cyclictest1474-21cut3
6239992014,4cyclictest1425-21find3
6239992014,3cyclictest5730-21ls3
6239992014,3cyclictest11082-21find3
6239992013,4cyclictest26881-21expr3
6239992013,4cyclictest10537-21cat3
623699203,15cyclictest2082-21systemd-journal2
623699202,16cyclictest3146-21latency_hist2
6236992015,3cyclictest4233-21expr2
6236992015,3cyclictest28-21ksoftirqd/22
6236992015,3cyclictest22869-21latency_hist2
6236992015,3cyclictest22869-21latency_hist2
6236992015,3cyclictest12843-21ntp_states2
6236992015,2cyclictest292-21jbd2/mmcblk0p2-2
623699201,3cyclictest23149-21latency_hist2
6236992013,5cyclictest29988-21sed2
623699201,16cyclictest7233-21latency_hist2
623699201,16cyclictest29530-21apt-get2
6236992010,6cyclictest505-21dbus-daemon2
623699200,3cyclictest3959-21perf2
623699200,3cyclictest31919-21cron2
6231992015,3cyclictest32286-21gltestperf1
6231992015,3cyclictest19398-21seq1
6231992015,3cyclictest18406-21timerwakeupswit1
6231992014,4cyclictest9178-21cat1
6231992014,4cyclictest17217-21seq1
6231992014,4cyclictest16280-21ls1
6231992014,4cyclictest12308-21seq1
6231992013,4cyclictest3157-21sh1
622799209,5cyclictest321952chrt0
6227992015,3cyclictest25113-21seq0
6227992015,3cyclictest2274-21sed0
6227992014,4cyclictest2498-21ls0
6227992014,4cyclictest15122-21/usr/sbin/munin0
6227992014,4cyclictest15122-21/usr/sbin/munin0
6227992014,4cyclictest14046-21fw_packets0
6227992014,4cyclictest14046-21fw_packets0
6227992014,4cyclictest13519-21expr0
6227992014,4cyclictest13400-21seq0
6227992014,3cyclictest17409-21latency_hist0
6227992012,6cyclictest10333-21gdbus0
249352200,2sleep1201rcuc/11
6239991914,3cyclictest5087-21if_enp2s03
6239991914,3cyclictest28181-21aten2_r9power_e3
6239991914,3cyclictest27719-21idleruntime3
6239991914,3cyclictest23870-21load3
6239991914,3cyclictest23784-21expr3
6239991914,3cyclictest19259-21head3
6239991914,3cyclictest18130-21vmstat3
6239991914,3cyclictest11977-21expr3
6239991914,3cyclictest11461-21ntpq3
6239991913,4cyclictest9787-21sed3
6239991913,4cyclictest35-21ksoftirqd/33
6239991913,4cyclictest30587-21diskstats3
6239991913,4cyclictest16089-21fw_packets3
6239991913,4cyclictest15493-21expr3
6239991913,4cyclictest15493-21expr3
6239991913,4cyclictest14007-21basename3
6239991911,5cyclictest3944-21sendmail3
623699193,13cyclictest8831-21sort2
623699192,10cyclictest3434-21apt-get2
6236991915,2cyclictest29511-21latency_hist2
6236991915,2cyclictest28866-21cstates2
6236991915,2cyclictest10322sleep22
6236991914,3cyclictest24164-21cat2
6236991914,3cyclictest22605-21ntp_kernel_pll_2
6236991914,3cyclictest20154-21aten2_r9power_e2
6236991914,3cyclictest15112-21df2
6236991914,3cyclictest13798-21sed2
6236991914,3cyclictest11456-21nfs4_client2
6236991913,3cyclictest29999-21wc2
6236991913,3cyclictest2082-21systemd-journal2
623699191,16cyclictest19094-21sendmail-msp2
6231991915,2cyclictest31833-21/usr/sbin/munin1
6231991915,2cyclictest20879-21apt-config1
6231991915,2cyclictest20879-21apt-config1
6231991914,3cyclictest9897-21/usr/sbin/munin1
6231991914,3cyclictest7870-21/usr/sbin/munin1
6231991914,3cyclictest6538-21/usr/sbin/munin1
6231991914,3cyclictest5692-21cat1
6231991914,3cyclictest4983-21seq1
6231991914,3cyclictest29708-21timerandwakeup1
6231991914,3cyclictest28870-21sed1
6231991914,3cyclictest26064-21latency1
6231991914,3cyclictest23743-21/usr/sbin/munin1
6231991914,3cyclictest23267-21threads1
6231991914,3cyclictest14676-21/usr/sbin/munin1
6231991914,3cyclictest14560-21seq1
6231991914,3cyclictest1416-21/usr/sbin/munin1
6231991913,4cyclictest8230-21cat1
6231991913,4cyclictest32157-21date1
6231991913,4cyclictest25923-21cat1
6231991913,4cyclictest20529-21df1
6231991913,4cyclictest1955-21ls1
6231991913,4cyclictest18304-21sort1
6231991913,4cyclictest12468-21expr1
622799193,13cyclictest8060-21gltestperf0
6227991917,1cyclictest0-21swapper/00
6227991916,2cyclictest0-21swapper/00
6227991916,2cyclictest0-21swapper/00
6227991915,2cyclictest31781-21/usr/sbin/munin0
6227991914,3cyclictest30685-21sh0
6227991914,3cyclictest28941-21cron0
6227991914,3cyclictest20976-21ntp_states0
6227991914,3cyclictest10703-21seq0
6227991913,4cyclictest8571-21/usr/sbin/munin0
6227991913,4cyclictest7806-21cut0
6227991913,4cyclictest31248-21seq0
6227991913,4cyclictest30040-21gltestperf0
6227991912,4cyclictest604-21sendmail-mta0
6227991912,4cyclictest24427-21unixbench_multi0
6227991911,4cyclictest27171-21sendmail0
6239991813,3cyclictest6663-21expr3
6239991813,3cyclictest665-21runrttasks3
6239991813,3cyclictest35-21ksoftirqd/33
6239991813,3cyclictest31406-21date3
6239991813,3cyclictest29490-21proc_pri3
6239991813,3cyclictest23034-21grep3
6239991813,3cyclictest22925-21needreboot3
6239991813,3cyclictest20872-21ls3
6239991813,3cyclictest20515-21cron3
6239991813,3cyclictest20515-21cron3
6239991813,3cyclictest16380-21cat3
6239991813,3cyclictest12335-21cat3
6239991813,3cyclictest11594-21/usr/sbin/munin3
6239991813,3cyclictest10317-21memory3
6239991812,4cyclictest25702-21ls3
6239991812,3cyclictest31842-21find3
6239991812,3cyclictest12411-21sendmail3
623999180,16cyclictest0-21swapper/33
6236991814,2cyclictest14725-21sed2
6236991814,2cyclictest14725-21sed2
623699181,3cyclictest24894-21grep2
6236991813,3cyclictest3962-21gltestperf2
6236991813,3cyclictest3962-21gltestperf2
6236991813,3cyclictest26041-21sh2
6236991813,3cyclictest17154-21df2
6236991813,3cyclictest10795-21ntpq2
6236991812,4cyclictest15879-21cat2
6236991812,4cyclictest15879-21cat2
6236991811,4cyclictest2082-21systemd-journal2
6236991811,4cyclictest11363-21cron2
623199183,8cyclictest32582-21apt-get1
6231991815,2cyclictest0-21swapper/11
6231991814,2cyclictest6387-21/usr/sbin/munin1
6231991814,2cyclictest3807-21/usr/sbin/munin1
6231991814,2cyclictest3441-21/usr/sbin/munin1
6231991814,2cyclictest3441-21/usr/sbin/munin1
6231991814,2cyclictest13605-21apt1
6231991814,2cyclictest13605-21apt1
6231991814,2cyclictest11570-21/usr/sbin/munin1
6231991813,3cyclictest7579-21sh1
6231991813,3cyclictest30382-21cat1
6231991813,3cyclictest28999-21http1
6231991813,3cyclictest28970-21cut1
6231991813,3cyclictest26885-21expr1
6231991813,3cyclictest23562-21cpuspeed1
6231991813,3cyclictest21850-21sh1
6231991813,3cyclictest20584-21cat1
6231991813,3cyclictest14640-21cut1
6231991813,3cyclictest12861-21cron1
6231991812,4cyclictest6728-21cat1
6231991812,4cyclictest4879-21expr1
6231991812,4cyclictest31818-21seq1
6231991812,4cyclictest22225-21ntpq1
6231991812,4cyclictest16975-21ls1
6231991812,4cyclictest13199-21seq1
622799186,9cyclictest665-21runrttasks0
622799182,13cyclictest10935-21grep0
6227991816,1cyclictest0-21swapper/00
6227991816,1cyclictest0-21swapper/00
6227991816,1cyclictest0-21swapper/00
6227991816,1cyclictest0-21swapper/00
6227991815,2cyclictest2313-21ntp_states0
6227991814,2cyclictest32563-21/usr/sbin/munin0
6227991814,2cyclictest30146-21/usr/sbin/munin0
6227991813,3cyclictest9904-21expr0
6227991813,3cyclictest7904-21sed0
6227991813,3cyclictest7870-21/usr/sbin/munin0
6227991813,3cyclictest4552-21seq0
6227991813,3cyclictest26249-21ls0
6227991813,3cyclictest25375-21grep0
6227991813,3cyclictest19605-21wc0
6227991813,3cyclictest14676-21/usr/sbin/munin0
6227991813,3cyclictest11930-21expr0
6227991812,4cyclictest12464-21sh0
623999174,2cyclictest111rcu_preempt3
6239991712,3cyclictest8195-21cpuspeed_turbos3
6239991712,3cyclictest5630-21cpu3
6239991712,3cyclictest30513-21memory3
6239991712,3cyclictest28144-21cat3
6239991712,3cyclictest24238-21aten2_r9power_p3
6239991711,4cyclictest15293-21if_err_enp2s03
6239991711,3cyclictest18908-21ntp_kernel_pll_3
623999170,15cyclictest421-21cut3
6236991712,3cyclictest5829-21/usr/sbin/munin2
6236991712,3cyclictest27801-21interrupts2
6236991711,4cyclictest665-21runrttasks2
623199178,5cyclictest5848-21apt-get1
6231991713,2cyclictest30540-21/usr/sbin/munin1
6231991713,2cyclictest15202-21aten2.4-expect1
6231991713,2cyclictest15202-21aten2.4-expect1
6231991712,3cyclictest18741-21/usr/sbin/munin1
6231991712,3cyclictest10129-21cat1
6231991711,4cyclictest9765-21cat1
6227991713,2cyclictest28123-21/usr/sbin/munin0
6227991713,2cyclictest21719-21/usr/sbin/munin0
6227991713,2cyclictest16703-21sendmail-mta0
6227991712,3cyclictest665-21runrttasks0
6227991712,3cyclictest5493-21/usr/sbin/munin0
6227991712,3cyclictest5348-21nfs4_client0
6227991712,3cyclictest28981-21sed0
6227991712,3cyclictest19858-21idleruntime0
6227991712,3cyclictest18039-21/usr/sbin/munin0
6227991712,3cyclictest16313-21grep0
6227991711,4cyclictest20201-21gltestperf0
622799170,16cyclictest0-21swapper/00
622799170,16cyclictest0-21swapper/00
6239991612,2cyclictest6418-21if_enp2s03
6239991611,3cyclictest9011-21df3
623699162,3cyclictest134772tail2
6231991612,2cyclictest24136-21/usr/sbin/munin1
6231991611,3cyclictest19700-21/usr/sbin/munin1
622799160,15cyclictest0-21swapper/00
6236991510,3cyclictest665-21runrttasks2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional