You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-11 - 04:09
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Dec 11, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
315192314276,25sleep10-21swapper/11
313882287249,26sleep20-21swapper/22
313492283254,16sleep00-21swapper/00
316272277199,43sleep30-21swapper/33
3183599222218,2cyclictest0-21swapper/22
3182999174168,3cyclictest23221-21df1
3184099141137,2cyclictest0-21swapper/33
318259910699,4cyclictest0-21swapper/00
273392570,3sleep3341rcuc/33
307062540,4sleep230712-21gltestperf2
136772520,1sleep00-21swapper/00
155932500,1sleep00-21swapper/00
292582420,1sleep229259-21expr2
3182599399,9cyclictest17246-21date0
147372380,1sleep10-21swapper/11
31825993511,10cyclictest28797-21awk0
31825993410,9cyclictest3352-21awk0
3182599337,15cyclictest0-21swapper/00
3182599327,10cyclictest0-21swapper/00
3182599317,7cyclictest0-21swapper/00
3182599309,8cyclictest10313-21aten2_r9power_e0
3182599308,7cyclictest0-21swapper/00
3182599307,8cyclictest0-21swapper/00
3182599296,9cyclictest0-21swapper/00
3182599296,8cyclictest0-21swapper/00
31825992821,4cyclictest29591-21/usr/sbin/munin0
3182599274,9cyclictest0-21swapper/00
3182599269,14cyclictest2508-21/usr/sbin/munin0
31825992614,9cyclictest28611-21perf0
31825992611,11cyclictest5286-21apt-get0
3182599259,13cyclictest13753-21sort0
3182599256,7cyclictest566-21gpm0
31825992511,11cyclictest5160-21unixbench_multi0
3183599240,22cyclictest23328-21cupsd2
31825992412,10cyclictest9260-21apt0
31825992410,11cyclictest22098-21if_err_enp3s00
31840992317,3cyclictest15063-21cron3
31840992317,3cyclictest15063-21cron3
3183599236,15cyclictest28-21ksoftirqd/22
3183599231,4cyclictest10333-21gdbus2
31835992312,9cyclictest13918-21if_enp3s02
3183599231,19cyclictest993-21perf2
3183599231,19cyclictest16451-21munin-run2
31829992317,3cyclictest1572-21idleruntime-cro1
3182599239,12cyclictest665-21runrttasks0
3182599233,17cyclictest16422-21cron0
3182599233,17cyclictest16422-21cron0
31825992316,5cyclictest30629-21turbostat.cron0
31825992316,4cyclictest665-21runrttasks0
31825992315,6cyclictest0-21swapper/00
31825992314,7cyclictest1561-21cron0
31825992314,6cyclictest6319-21munin-run0
31825992313,7cyclictest26595-21cron0
31825992313,7cyclictest23262-21idleruntime-cro0
31825992312,8cyclictest30279-21aten2_r9power_p0
31825992312,8cyclictest2264-21munin-run0
31825992312,5cyclictest25547-21apt-get0
31825992311,9cyclictest18840-21basename0
31840992216,4cyclictest13082-21diskstats3
3184099220,9cyclictest292592expr3
3183599223,17cyclictest6659-21cat2
3183599223,17cyclictest1675-21cat2
3183599222,18cyclictest4349-21cat2
31835992215,4cyclictest7055-21sh2
3183599221,18cyclictest2082-21systemd-journal2
3183599221,17cyclictest19426-21apt-get2
3183599220,19cyclictest4915-21apt-key2
3182599229,11cyclictest10579-21/usr/sbin/munin0
3182599229,10cyclictest30341-21seq0
3182599228,11cyclictest665-21runrttasks0
31825992215,5cyclictest20972-21seq0
31825992214,6cyclictest22503-21cron0
31825992214,5cyclictest20033-21grep0
31825992213,6cyclictest8470-21cat0
31825992213,6cyclictest20807-21head0
31825992213,6cyclictest1198-21grep0
31825992213,5cyclictest8566-21apt-get0
31825992212,9cyclictest17164-21perf0
31825992212,6cyclictest27570-21apt-get0
31840992116,3cyclictest20353-21pmu-power3
31840992113,5cyclictest21151-21df3
3183599212,17cyclictest25491-21cat2
31835992114,4cyclictest31163-21cat2
31835992114,4cyclictest2583-21cat2
3183599211,3cyclictest4034-1kworker/2:1H2
3183599211,18cyclictest2494-21procmail2
3183599211,17cyclictest9999-21/usr/sbin/munin2
3183599210,4cyclictest4034-1kworker/2:1H2
31829992116,3cyclictest21-21ksoftirqd/11
31829992115,4cyclictest15554-21ntp_states1
31829992115,3cyclictest26860-21apt-get1
31829992114,4cyclictest3598-21cat1
31829992110,7cyclictest10973-21apt-get1
31825992115,4cyclictest12262-21grep0
31825992114,5cyclictest5268-21aten2_r9power_e0
31825992114,5cyclictest0-21swapper/00
31825992114,5cyclictest0-21swapper/00
31825992113,6cyclictest27601-21munin-run0
31825992113,6cyclictest25288-21munin-run0
31825992113,5cyclictest7999-21basename0
31825992113,5cyclictest25833-21ps0
31825992113,5cyclictest24644-21awk0
31825992113,5cyclictest17541-21grep0
31825992113,5cyclictest13611-21grep0
31825992112,6cyclictest7040-21sed0
31825992111,7cyclictest2744-21sed0
31825992110,8cyclictest3343-21aten2_r9power_p0
100092210,7sleep335-21ksoftirqd/33
31840992015,3cyclictest13023-21diskstats3
31840992014,4cyclictest7173-21cat3
31840992014,4cyclictest5169-21cat3
31840992014,4cyclictest24176-21expr3
31840992014,4cyclictest19640-21pluginstate3
31840992014,4cyclictest11915-21cat3
31840992013,4cyclictest13756-21df3
3183599209,6cyclictest13301-21apt-get2
3183599209,6cyclictest13301-21apt-get2
3183599207,11cyclictest28-21ksoftirqd/22
31835992015,3cyclictest7284-21swap2
31835992015,3cyclictest17748-21sendmail_mailst2
31835992015,3cyclictest1215-21/usr/sbin/munin2
31835992015,3cyclictest11712-21memory2
31835992015,3cyclictest10069-21sed2
3183599201,3cyclictest16272-1kworker/2:0H2
3183599201,3cyclictest13101-1kworker/2:2H2
31835992013,4cyclictest27316-21idleruntime-cro2
3183599201,17cyclictest21088-1kworker/2:1H2
3183599201,17cyclictest16520-21cat2
3183599201,17cyclictest16520-21cat2
31835992011,1cyclictest0-21swapper/22
3183599200,3cyclictest2082-21systemd-journal2
3183599200,18cyclictest26586-21munin-run2
3183599200,18cyclictest23246-21munin-run2
31829992016,2cyclictest16669-21/usr/sbin/munin1
31829992015,3cyclictest30192-21/usr/sbin/munin1
31829992015,3cyclictest24792-21/usr/sbin/munin1
31829992014,4cyclictest7694-21sed1
31829992014,4cyclictest11472-21cat1
31829992013,4cyclictest3806-21sed1
31829992013,4cyclictest28457-21seq1
31829992013,4cyclictest26608-21idleruntime-cro1
31825992013,5cyclictest32698-21grep0
31825992012,5cyclictest1731-21gltestperf0
31825992010,7cyclictest6876-21apt-get0
31825992010,7cyclictest30930-21awk0
31840991915,2cyclictest7319-21df3
31840991915,2cyclictest6856-21cstates3
31840991915,2cyclictest30763-21timerandwakeup3
31840991914,3cyclictest9866-21if_err_enp3s03
31840991914,3cyclictest8548-21/usr/sbin/munin3
31840991914,3cyclictest7059-21ntp_kernel_pll_3
31840991914,3cyclictest31536-21cat3
31840991914,3cyclictest28621-21cron3
31840991914,3cyclictest26251-21sh3
31840991914,3cyclictest23756-21which3
31840991914,3cyclictest22020-21idleruntime3
31840991914,3cyclictest21047-21cut3
31840991914,3cyclictest17842-21forks3
31840991914,3cyclictest16696-21find3
31840991914,3cyclictest16034-21latency3
31840991914,3cyclictest1383-21ntpq3
31840991913,3cyclictest10683-21expr3
31840991912,4cyclictest8622-21users3
3184099190,6cyclictest154422missed_timers3
3184099190,17cyclictest10333-21gdbus3
3184099190,17cyclictest0-21swapper/33
31835991914,3cyclictest1759-21cat2
31835991914,3cyclictest16240-21sh2
31835991914,3cyclictest1566-21sendmail_mailst2
31835991914,3cyclictest11139-21ntp_offset2
31835991913,4cyclictest6959-21diskstats2
31835991913,4cyclictest12033-21memory2
3183599191,2cyclictest26601-1kworker/2:3H2
3183599191,1cyclictest28-21ksoftirqd/22
3183599191,16cyclictest22551-21latency_hist2
3183599190,4cyclictest0-21swapper/22
3183599190,3cyclictest5639-21cat2
3183599190,17cyclictest12888-21cpuspeed_turbos2
31829991915,2cyclictest6888-21/usr/sbin/munin1
31829991915,2cyclictest3838-21/usr/sbin/munin1
31829991915,2cyclictest29573-21/usr/sbin/munin1
31829991915,2cyclictest21464-21/usr/sbin/munin1
31829991915,2cyclictest18717-21/usr/sbin/munin1
31829991915,2cyclictest1215-21/usr/sbin/munin1
31829991914,3cyclictest8916-21/usr/sbin/munin1
31829991914,3cyclictest583-21awk1
31829991914,3cyclictest5519-21cat1
31829991914,3cyclictest26246-21expr1
31829991914,3cyclictest21422-21/usr/sbin/munin1
31829991914,3cyclictest18700-21/usr/sbin/munin1
31829991914,3cyclictest16693-21/usr/sbin/munin1
31829991914,3cyclictest16294-21seq1
31829991914,3cyclictest16294-21seq1
31829991913,4cyclictest30148-21grep1
31829991913,4cyclictest25286-21latency_hist1
31829991913,4cyclictest19202-21wc1
31829991913,4cyclictest19044-21seq1
31829991913,4cyclictest1545-21seq1
31829991913,4cyclictest14403-21cat1
31829991913,4cyclictest14403-21cat1
31829991912,4cyclictest6487-21grep1
31829991912,4cyclictest3177-21sed1
3182999191,16cyclictest9011-21idleruntime-cro1
31840991816,1cyclictest0-21swapper/33
31840991816,1cyclictest0-21swapper/33
31840991816,1cyclictest0-21swapper/33
31840991814,2cyclictest21422-21/usr/sbin/munin3
31840991814,2cyclictest16755-21aten2_r9power_p3
31840991813,3cyclictest5591-21swap3
31840991813,3cyclictest4010-21seq3
31840991813,3cyclictest2946-21hostname3
31840991813,3cyclictest28446-21ntp_states3
31840991813,3cyclictest2629-21cat3
31840991813,3cyclictest23893-21cat3
31840991813,3cyclictest1099-21cat3
31840991813,3cyclictest10231-21unixbench_multi3
31840991812,4cyclictest28691-21date3
31840991811,4cyclictest29999-21find3
3184099180,16cyclictest0-21swapper/33
31835991816,1cyclictest0-21swapper/22
31835991816,1cyclictest0-21swapper/22
31835991816,1cyclictest0-21swapper/22
31835991814,2cyclictest11629-21rt-features2
31835991813,3cyclictest5389-21ls2
31835991813,3cyclictest28452-21open_files2
31835991813,3cyclictest25627-21date2
31835991813,3cyclictest21920-21ls2
31835991813,3cyclictest13888-21sed2
3183599180,1cyclictest0-21swapper/22
3183599180,16cyclictest28-21ksoftirqd/22
3182999188,3cyclictest26669-21lldpd1
3182999183,9cyclictest20741-21apt-get1
3182999182,13cyclictest4971-21grep1
31829991816,1cyclictest0-21swapper/11
31829991816,1cyclictest0-21swapper/11
31829991814,2cyclictest5189-21/usr/sbin/munin1
31829991814,2cyclictest493-21/usr/sbin/munin1
31829991814,2cyclictest12639-21/usr/sbin/munin1
31829991814,2cyclictest12579-21/usr/sbin/munin1
31829991814,2cyclictest11279-21/usr/sbin/munin1
31829991813,3cyclictest9091-21grep1
31829991813,3cyclictest29423-21seq1
31829991813,3cyclictest28892-21/usr/sbin/munin1
31829991813,3cyclictest26394-21ntpq1
31829991813,3cyclictest22809-21aten2_r9power_c1
31829991813,3cyclictest2209-21seq1
31829991813,3cyclictest21221-21cat1
31829991813,3cyclictest20321-21pluginstate1
31829991813,3cyclictest19806-21expr1
31829991813,3cyclictest10715-21hostname1
31829991812,4cyclictest24165-21expr1
31829991812,4cyclictest10725-21seq1
31829991810,5cyclictest15455-21aten2.4-expect1
31840991715,1cyclictest0-21swapper/33
31840991712,3cyclictest665-21runrttasks3
31840991712,3cyclictest4854-21seq3
31840991712,3cyclictest3900-21hostname3
31840991712,3cyclictest30331-21seq3
31840991712,3cyclictest19091-21cat3
31840991712,3cyclictest15832-21sed3
31840991712,3cyclictest15832-21sed3
31840991712,3cyclictest10934-21seq3
31840991711,4cyclictest3361-21awk3
31840991711,3cyclictest5718-21forks3
3184099170,16cyclictest0-21swapper/33
3183599172,9cyclictest18718-21apt-get2
31835991712,3cyclictest27201-21expr2
31829991715,1cyclictest0-21swapper/11
31829991712,3cyclictest665-21runrttasks1
31829991712,3cyclictest31631-21latency1
31829991712,3cyclictest2082-21systemd-journal1
31840991612,2cyclictest29623-21latency_hist3
31840991612,2cyclictest1564-21cstates3
31840991611,3cyclictest32138-21apt-key3
31835991611,3cyclictest30771-21timerandwakeup2
31835991610,4cyclictest32757-21expr2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional