You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-26 - 04:55
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Fri Dec 26, 2025 00:43:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
251602261179,46sleep20-21swapper/22
250672259178,66sleep10-21swapper/11
250762242171,17sleep00-21swapper/00
250262223186,25sleep30-21swapper/33
1655621650,3sleep32537499cyclictest3
1655621650,3sleep32537499cyclictest3
439621520,1sleep10-21swapper/11
25082620,2sleep30-21swapper/33
323262580,5sleep218253-21cups-browsed2
315932490,1sleep10-21swapper/11
215822440,2sleep30-21swapper/33
58862430,2sleep10-21swapper/11
179142420,2sleep10-21swapper/11
179142420,2sleep10-21swapper/11
45622390,1sleep10-21swapper/11
25358993531,2cyclictest101rcuc/00
2535899332,5cyclictest9-21ksoftirqd/00
25358993319,3cyclictest662-21runrttasks0
2535899275,6cyclictest9-21ksoftirqd/00
2535899272,6cyclictest9-21ksoftirqd/00
25358992724,2cyclictest101rcuc/00
2537499265,18cyclictest0-21swapper/33
2535899267,6cyclictest9-21ksoftirqd/00
2535899267,6cyclictest9-21ksoftirqd/00
2535899263,5cyclictest9-21ksoftirqd/00
2535899262,6cyclictest101rcuc/00
2535899262,6cyclictest101rcuc/00
2535899256,6cyclictest9-21ksoftirqd/00
2535899256,6cyclictest9-21ksoftirqd/00
2535899256,5cyclictest9-21ksoftirqd/00
2535899255,6cyclictest9-21ksoftirqd/00
2535899253,5cyclictest9-21ksoftirqd/00
2535899251,5cyclictest9-21ksoftirqd/00
25358992514,3cyclictest111rcu_preempt0
24832250,2sleep20-21swapper/22
24832250,2sleep20-21swapper/22
2537499245,17cyclictest30781-21sendmail-mta3
2537499244,18cyclictest31099-21sendmail-mta3
2537499243,18cyclictest26185-21cstates3
2537499241,4cyclictest28899-21munin-run3
25374992411,11cyclictest16886-21latency_hist3
2535899246,6cyclictest9-21ksoftirqd/00
2535899245,6cyclictest9-21ksoftirqd/00
2535899245,6cyclictest9-21ksoftirqd/00
2535899244,5cyclictest9-21ksoftirqd/00
25358992421,2cyclictest101rcuc/00
25358992421,2cyclictest101rcuc/00
2535899241,5cyclictest101rcuc/00
2535899240,7cyclictest19632-21taskset0
2537499234,18cyclictest13982-21awk3
2537499234,17cyclictest29304-21sendmail-mta3
2537499234,17cyclictest25852-21procmail3
2537499234,17cyclictest2456-21sendmail-mta3
2537499233,18cyclictest27039-21sendmail-mta3
2537499233,18cyclictest24897-21sendmail-mta3
25374992310,11cyclictest35-21ksoftirqd/33
2537499230,13cyclictest10666-21journal-offline3
2535899237,5cyclictest9-21ksoftirqd/00
2535899237,5cyclictest9-21ksoftirqd/00
2535899233,6cyclictest9-21ksoftirqd/00
25358992320,2cyclictest101rcuc/00
2535899231,5cyclictest0-21swapper/00
2535899230,5cyclictest101rcuc/00
2537499223,17cyclictest9750-21sendmail-mta3
2537499223,17cyclictest9460-21sendmail-mta3
2537499223,17cyclictest8248-21sendmail-mta3
2537499223,17cyclictest6551-21sendmail-mta3
2537499223,17cyclictest32172-21sendmail-mta3
2537499223,17cyclictest26722-21sendmail-mta3
2537499223,17cyclictest21701-21sendmail-mta3
2537499223,17cyclictest20485-21sendmail-mta3
2537499223,17cyclictest18837-21sendmail-mta3
2537499223,17cyclictest14705-21sendmail-mta3
2537499223,17cyclictest14705-21sendmail-mta3
2537499223,17cyclictest13520-21sendmail-mta3
2537499223,17cyclictest12314-21sendmail-mta3
2537499222,18cyclictest27131-21apt3
25374992217,3cyclictest6504-21/usr/sbin/munin3
25374992215,4cyclictest340-21systemd-journal3
2537499221,3cyclictest25029-1kworker/3:0H3
2537499220,4cyclictest25029-1kworker/3:0H3
2537099223,15cyclictest15167-21pmu-power2
25370992217,3cyclictest8626-21sed2
2535899225,5cyclictest9-21ksoftirqd/00
2535899223,6cyclictest9-21ksoftirqd/00
2535899223,5cyclictest9-21ksoftirqd/00
2535899222,6cyclictest9-21ksoftirqd/00
2535899222,5cyclictest9-21ksoftirqd/00
2535899222,5cyclictest9-21ksoftirqd/00
25358992219,2cyclictest101rcuc/00
2535899220,8cyclictest26887-21taskset0
2535899220,6cyclictest9-21ksoftirqd/00
2535899220,6cyclictest9-21ksoftirqd/00
2535899220,6cyclictest9-21ksoftirqd/00
2535899220,6cyclictest12650-21taskset0
2537499212,17cyclictest1934-21latency_hist3
25374992116,4cyclictest35-21ksoftirqd/33
25374992116,3cyclictest27277-21sendmail_mailst3
25374992115,4cyclictest25119-21sendmail3
2537499211,4cyclictest5652-21runrttasks3
2537499211,4cyclictest11967-21latency_hist3
2537499211,3cyclictest19802-21munin-run3
2537499211,18cyclictest4800-21idleruntime3
2537499211,18cyclictest24496-21apt-get3
2537099219,10cyclictest571-21gdbus2
2537099213,3cyclictest28-21ksoftirqd/22
25370992117,3cyclictest28-21ksoftirqd/22
2537099211,18cyclictest27120-21turbostat.cron2
25370992110,6cyclictest15991-21apt-get2
25370992110,6cyclictest15991-21apt-get2
25370992110,2cyclictest30830-21unixbench_singl2
2537099210,19cyclictest8632-21kworker/2:12
25363992116,3cyclictest19232-21/usr/sbin/munin1
25363992115,4cyclictest18748-21diskstats1
25363992115,4cyclictest14358-21grep1
25363992115,4cyclictest14358-21grep1
2535899212,7cyclictest662-21runrttasks0
2535899212,6cyclictest9-21ksoftirqd/00
2535899212,6cyclictest9-21ksoftirqd/00
2535899212,5cyclictest9-21ksoftirqd/00
2535899212,5cyclictest0-21swapper/00
25358992118,2cyclictest101rcuc/00
2535899211,6cyclictest9-21ksoftirqd/00
2535899210,7cyclictest27421-21seq0
2535899210,6cyclictest29886-21taskset0
264832200,5sleep2271rcuc/22
25374992015,3cyclictest3760-21munin-run3
25374992015,3cyclictest14228-21aten2_r9power_c3
25374992014,4cyclictest29227-21sh3
25374992014,4cyclictest21767-21users3
2537499201,3cyclictest13589-21ntp_states3
2537499201,17cyclictest0-21swapper/33
2537499201,17cyclictest0-21swapper/33
2537499200,3cyclictest4639-1kworker/3:1H3
2537499200,18cyclictest25029-1kworker/3:0H3
2537499200,18cyclictest25029-1kworker/3:0H3
2537099208,10cyclictest571-21gdbus2
2537099207,3cyclictest25533-21gltestperf2
25370992017,2cyclictest0-21swapper/22
25370992015,3cyclictest19944-21sed2
25370992015,3cyclictest19550-21sed2
25370992014,4cyclictest6951-21cstates2
2536399207,10cyclictest19778-21sed1
25363992015,3cyclictest30282-21/usr/sbin/munin1
25363992015,3cyclictest16792-21/usr/sbin/munin1
25363992015,3cyclictest14755-21/usr/sbin/munin1
25363992014,4cyclictest6603-21/usr/sbin/munin1
25363992014,4cyclictest11013-21ntpq1
25363992014,3cyclictest496-21cron1
25363992014,3cyclictest340-21systemd-journal1
25363992012,5cyclictest8740-21cron1
25363992010,8cyclictest515-21avahi-daemon1
2535899205,7cyclictest9-21ksoftirqd/00
2535899204,4cyclictest9-21ksoftirqd/00
2535899202,5cyclictest9-21ksoftirqd/00
25358992017,2cyclictest101rcuc/00
25358992017,2cyclictest101rcuc/00
2535899201,6cyclictest9-21ksoftirqd/00
2535899201,6cyclictest9-21ksoftirqd/00
2535899201,6cyclictest9-21ksoftirqd/00
2535899201,5cyclictest9-21ksoftirqd/00
25358992014,3cyclictest4106-21aten2_r9power_p0
2535899200,6cyclictest9-21ksoftirqd/00
2535899200,6cyclictest9-21ksoftirqd/00
2535899200,6cyclictest662-21runrttasks0
2535899200,6cyclictest23623-21taskset0
2537499192,15cyclictest11637-21latency_hist3
25374991915,2cyclictest4714-21cat3
25374991914,3cyclictest30052-21ls3
25374991914,3cyclictest22502-21grep3
25374991914,3cyclictest17201-21expr3
25374991914,3cyclictest11682-21interrupts3
2537499191,3cyclictest8736-21munin-run3
25374991913,4cyclictest30725-21diskstats3
2537499190,2cyclictest10470-21latency_hist3
2537499190,17cyclictest7544-21munin-run3
2537099196,11cyclictest340-21systemd-journal2
2537099195,12cyclictest1-21systemd2
2537099195,12cyclictest1-21systemd2
25370991916,2cyclictest0-21swapper/22
25370991916,2cyclictest0-21swapper/22
25370991916,2cyclictest0-21swapper/22
2537099191,5cyclictest0-21swapper/22
25370991914,3cyclictest340-21systemd-journal2
25370991914,3cyclictest27658-21cpuspeed2
25370991914,3cyclictest18908-21sh2
25370991914,3cyclictest10986-21grep2
25370991913,4cyclictest4906-21/usr/sbin/munin2
25370991913,4cyclictest28291-21cut2
2536399198,8cyclictest0-21swapper/11
25363991914,3cyclictest8112-21cat1
25363991914,3cyclictest6482-21df_inode1
25363991914,3cyclictest634-21snmpd1
25363991914,3cyclictest29461-21/usr/sbin/munin1
25363991914,3cyclictest28370-21cut1
25363991914,3cyclictest27431-21/usr/sbin/munin1
25363991914,3cyclictest26218-21/usr/sbin/munin1
25363991914,3cyclictest25978-21sh1
25363991914,3cyclictest24159-21/usr/sbin/munin1
25363991914,3cyclictest1953-21/usr/sbin/munin1
25363991914,3cyclictest14205-21/usr/sbin/munin1
25363991914,3cyclictest13357-21seq1
25363991914,3cyclictest10420-21cron1
25363991913,4cyclictest24210-21ntpq1
25363991913,3cyclictest5951-21processes1
25363991912,4cyclictest17169-40rsyslog-rotate1
25358991914,3cyclictest21183-21/usr/sbin/munin0
2535899190,6cyclictest9-21ksoftirqd/00
25374991813,3cyclictest32226-21cat3
25374991813,3cyclictest31563-21ls3
25374991811,4cyclictest23184-21mailstats3
2537099186,9cyclictest12314-21sendmail-mta2
2537099185,11cyclictest0-21swapper/22
2537099182,14cyclictest7222-21cut2
25370991816,1cyclictest0-21swapper/22
25370991816,1cyclictest0-21swapper/22
25370991815,2cyclictest0-21swapper/22
25370991815,2cyclictest0-21swapper/22
25370991813,3cyclictest6977-21sed2
25370991813,3cyclictest662-21runrttasks2
25370991813,3cyclictest662-21runrttasks2
25370991813,3cyclictest30479-21sed2
25370991813,3cyclictest28903-21sh2
25370991813,3cyclictest16405-21sendmail-mta2
25370991812,4cyclictest517-21dbus-daemon2
25370991812,4cyclictest31638-21grep2
25370991812,4cyclictest24121-21ntpq2
25370991812,4cyclictest22006-21grep2
25370991811,4cyclictest340-21systemd-journal2
25370991810,5cyclictest31511-21apt-get2
25363991815,2cyclictest0-21swapper/11
25363991814,2cyclictest11033-21/usr/sbin/munin1
25363991813,3cyclictest489-21expr1
25363991813,3cyclictest29366-21cat1
25363991813,3cyclictest28913-21turbostat.cron1
25363991813,3cyclictest27521-21seq1
25363991813,3cyclictest23118-21expr1
25363991813,3cyclictest22518-21expr1
25363991813,3cyclictest21183-21/usr/sbin/munin1
25363991813,3cyclictest1827-21ls1
25363991812,4cyclictest962-21sendmail-mta1
25363991812,4cyclictest27194-21sh1
25363991812,4cyclictest14653-21cut1
25363991812,4cyclictest11655-21idleruntime-cro1
25363991811,4cyclictest16415-21cpu1
2536399180,16cyclictest28700-21processes1
2536399180,16cyclictest0-21swapper/11
2536399180,16cyclictest0-21swapper/11
25374991712,3cyclictest13928-21awk3
2537099173,11cyclictest2462-21tr2
2537099171,6cyclictest0-21swapper/22
25370991715,1cyclictest0-21swapper/22
25370991715,1cyclictest0-21swapper/22
25370991713,2cyclictest662-21runrttasks2
25370991713,2cyclictest32562-21/usr/sbin/munin2
25370991712,3cyclictest662-21runrttasks2
25370991712,3cyclictest662-21runrttasks2
25370991712,3cyclictest662-21runrttasks2
25370991712,3cyclictest638-21ntpd2
25370991712,3cyclictest30362-21head2
25370991712,3cyclictest20131-21sendmail-mta2
25370991711,4cyclictest28970-21grep2
25370991711,4cyclictest21132-21missed_timers2
2537099170,16cyclictest0-21swapper/22
25363991715,1cyclictest0-21swapper/11
25363991714,2cyclictest0-21swapper/11
25363991713,2cyclictest13913-21/usr/sbin/munin1
25363991713,2cyclictest10672-21/usr/sbin/munin1
25363991712,3cyclictest922-21aten2_r9power_v1
25363991712,3cyclictest5035-21grep1
25363991712,3cyclictest20743-21expr1
25363991712,3cyclictest18470-21fw_packets1
25363991711,4cyclictest25192-21cat1
25363991711,4cyclictest21728-21awk1
25370991611,3cyclictest22953-21cpuspeed_turbos2
2537099160,15cyclictest0-21swapper/22
2536399163,7cyclictest20070-21apt-get1
25363991612,3cyclictest21-21ksoftirqd/11
25363991612,2cyclictest30287-21if_enp2s01
25363991611,3cyclictest7815-21/usr/sbin/munin1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional