You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-27 - 19:26
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Sat Dec 27, 2025 12:43:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
222362289210,72sleep20-21swapper/22
229882252176,43sleep10-21swapper/11
231442251157,25sleep30-21swapper/33
231862250183,36sleep00-21swapper/00
67482500,2sleep36741-21aten2_r9power_c3
241672450,3sleep10-21swapper/11
172872410,1sleep00-21swapper/00
219322400,1sleep30-21swapper/33
273672340,3sleep10-21swapper/11
225502340,2sleep00-21swapper/00
23464993111,18cyclictest35-21ksoftirqd/33
23464993111,18cyclictest35-21ksoftirqd/33
228552300,3sleep10-21swapper/11
2346499298,18cyclictest0-21swapper/33
2346499278,17cyclictest35-21ksoftirqd/33
2346499277,18cyclictest515-21avahi-daemon3
2346499276,18cyclictest520-21rs:main3
2346499270,4cyclictest35-21ksoftirqd/33
2346499265,19cyclictest28142-21apt.systemd.dai3
23464992614,3cyclictest35-21ksoftirqd/33
23464992613,11cyclictest35-21ksoftirqd/33
23464992612,12cyclictest35-21ksoftirqd/33
103362260,1sleep10-21swapper/11
2346499254,19cyclictest515-21avahi-daemon3
23464992521,2cyclictest341rcuc/33
23464992521,2cyclictest21150irq/39-mmc03
23464992518,3cyclictest35-21ksoftirqd/33
23464992516,3cyclictest35-21ksoftirqd/33
23464992515,3cyclictest35-21ksoftirqd/33
23464992513,3cyclictest35-21ksoftirqd/33
2346499245,16cyclictest0-21swapper/33
2346499243,18cyclictest2730-21sendmail-mta3
2346499243,18cyclictest15915-21sendmail-mta3
2346499242,5cyclictest0-21swapper/33
2346499242,4cyclictest18719-21munin-run3
2345599243,18cyclictest22397-21grep1
23455992416,5cyclictest6478-21run-parts1
292622230,8sleep335-21ksoftirqd/33
2346499234,4cyclictest35-21ksoftirqd/33
2346499234,17cyclictest18913-21latency_hist3
2346499233,18cyclictest20295-21sendmail-mta3
2346499233,17cyclictest10296-21sendmail-mta3
2346499232,3cyclictest340-21systemd-journal3
2346499231,4cyclictest517-21dbus-daemon3
23464992312,3cyclictest35-21ksoftirqd/33
23464992310,4cyclictest35-21ksoftirqd/33
2346499230,4cyclictest35-21ksoftirqd/33
23455992316,4cyclictest340-21systemd-journal1
321832220,2sleep10-21swapper/11
2346499225,10cyclictest111rcu_preempt3
2346499223,17cyclictest4269-21sendmail-mta3
2346499223,17cyclictest23193-21sendmail-mta3
2346499223,16cyclictest31683-21sendmail-mta3
2346499221,4cyclictest515-21avahi-daemon3
23464992211,10cyclictest35-21ksoftirqd/33
23459992215,4cyclictest24555-21open_inodes2
23459992210,3cyclictest517-21dbus-daemon2
2345599222,12cyclictest634-21snmpd1
23455992216,4cyclictest21-21ksoftirqd/11
2345499220,9cyclictest100062cat0
2346499219,10cyclictest35-21ksoftirqd/33
2346499213,2cyclictest0-21swapper/33
23464992116,3cyclictest32219-21munin-run3
23464992114,4cyclictest31601-21munin-run3
23459992116,3cyclictest11342-21irqstats2
23459992114,4cyclictest5785-21seq2
23459992114,4cyclictest29091-21users2
23459992114,4cyclictest12961-21seq2
23455992115,4cyclictest8530-21pluginstate1
2345599211,4cyclictest515-21avahi-daemon1
23455992114,4cyclictest7911-21turbostat.cron1
23455992114,4cyclictest27149-21ls1
23455992113,5cyclictest22522-21awk1
2345599211,18cyclictest0-21swapper/11
23454992116,3cyclictest26534-21timerandwakeup0
23464992015,3cyclictest13127-21readlink3
23464992014,4cyclictest13755-21pluginstate3
2346499201,3cyclictest12479-21munin-run3
23464992013,4cyclictest9201-21df3
2346499201,17cyclictest17178-21latency_hist3
2346499201,17cyclictest0-21swapper/33
2346499201,17cyclictest0-21swapper/33
2346499201,16cyclictest6453-21munin-run3
2346499200,3cyclictest22521-1kworker/3:1H3
2346499200,18cyclictest21263-21latency_hist3
2345999202,6cyclictest17447-21apt-get2
2345999202,6cyclictest17447-21apt-get2
23459992015,3cyclictest4693-21aten2_r9power_c2
23459992015,3cyclictest32333-21ntpq2
23459992015,3cyclictest30755-21cpuspeed_turbos2
23459992015,3cyclictest26977-21latency2
23459992015,3cyclictest24156-21unixbench_singl2
23459992015,3cyclictest21998-21proc_pri2
23459992014,4cyclictest30142-21hostname2
23459992014,4cyclictest16955-21seq2
23459992013,4cyclictest9940-21turbostat.cron2
23459992013,4cyclictest29829-21cat2
23459992013,4cyclictest21833-21ls2
23459992010,5cyclictest14792-21apt-get2
23455992015,3cyclictest25115-21/usr/sbin/munin1
23455992013,4cyclictest20034-21grep1
23455992012,5cyclictest340-21systemd-journal1
23455992011,6cyclictest517-21dbus-daemon1
23455992011,6cyclictest19250-21perf1
23455992011,6cyclictest19250-21perf1
23454992015,3cyclictest835-21turbostat.cron0
23454992015,3cyclictest24908-21seq0
23454992015,3cyclictest23648-21ls0
23454992015,3cyclictest16562-21latency_hist0
23454992014,4cyclictest8231-21seq0
23454992014,4cyclictest7558-21seq0
23454992014,4cyclictest28385-21seq0
23454992014,4cyclictest2681-21seq0
23454992013,5cyclictest17508-21ls0
23454992013,4cyclictest5210-21timerandwakeup0
2346499197,4cyclictest35-21ksoftirqd/33
23464991915,3cyclictest35-21ksoftirqd/33
23464991914,3cyclictest35-21ksoftirqd/33
23464991914,3cyclictest20882-21cpu3
23464991914,3cyclictest1851-21sed3
23464991914,3cyclictest1851-21sed3
23464991913,4cyclictest9025-21cron3
23464991912,5cyclictest662-21runrttasks3
2346499190,3cyclictest29177-21munin-run3
2345999196,4cyclictest0-21swapper/22
2345999195,4cyclictest517-21dbus-daemon2
23459991914,3cyclictest7169-21ntpq2
23459991914,3cyclictest6815-21aten2_r9power_p2
23459991914,3cyclictest25644-21find2
23459991914,3cyclictest23539-21ls2
23459991914,3cyclictest13953-21if_enp3s02
23459991914,3cyclictest13643-21open_files2
23459991914,3cyclictest13533-21sed2
23459991913,4cyclictest9417-21grep2
23459991913,4cyclictest517-21dbus-daemon2
23459991913,4cyclictest31838-21cat2
23459991913,4cyclictest27360-21gltestperf2
23459991913,4cyclictest25895-21wc2
23459991913,4cyclictest25763-21df2
23459991913,4cyclictest24219-21sed2
23459991913,4cyclictest2396-21expr2
23459991913,3cyclictest6154-21aten2.4-expect2
23459991912,5cyclictest517-21dbus-daemon2
23459991912,5cyclictest13023-21cat2
23459991912,4cyclictest3152-21sendmail_mailst2
23459991912,4cyclictest20606-21sendmail-mta2
2345999190,17cyclictest18674-21/usr/sbin/munin2
2345599194,8cyclictest21237-21apt-get1
23455991917,1cyclictest0-21swapper/11
2345599191,6cyclictest517-21dbus-daemon1
2345599191,6cyclictest0-21swapper/11
23455991916,2cyclictest0-21swapper/11
2345599191,5cyclictest0-21swapper/11
23455991914,3cyclictest4256-21/usr/sbin/munin1
23455991914,3cyclictest31579-21cut1
23455991914,3cyclictest2075-21/usr/sbin/munin1
23455991914,2cyclictest15489-21aten2_r9power_p1
23455991913,4cyclictest340-21systemd-journal1
23455991913,4cyclictest17560-21cat1
23455991913,4cyclictest13751-21ls1
23455991912,5cyclictest517-21dbus-daemon1
23455991912,4cyclictest30877-21mailstats1
23455991912,4cyclictest30692-21sh1
23455991912,4cyclictest26653-21latency_hist1
23455991912,4cyclictest14677-21sendmail-mta1
23455991911,5cyclictest517-21dbus-daemon1
23455991911,5cyclictest517-21dbus-daemon1
2345499199,8cyclictest517-21dbus-daemon0
2345499196,10cyclictest518-21in:imuxsock0
23454991915,2cyclictest30426-21/usr/sbin/munin0
23454991914,3cyclictest7879-21seq0
23454991914,3cyclictest634-21snmpd0
23454991914,3cyclictest4394-21ls0
23454991914,3cyclictest4346-21seq0
23454991914,3cyclictest315-21expr0
23454991914,3cyclictest28365-21latency0
23454991914,3cyclictest24260-21seq0
23454991914,3cyclictest17654-21rt-features0
23454991914,3cyclictest12439-21seq0
23454991914,3cyclictest11304-21/usr/sbin/munin0
23454991914,3cyclictest10953-21cpu0
23454991913,4cyclictest7326-21hostname0
23454991913,4cyclictest6137-21seq0
23454991913,4cyclictest31399-21diskstats0
23454991913,4cyclictest28974-21seq0
23454991913,4cyclictest28333-21seq0
23454991913,4cyclictest16735-21awk0
23454991913,4cyclictest15147-21cron0
23464991816,1cyclictest0-21swapper/33
23464991812,4cyclictest515-21avahi-daemon3
2345999183,9cyclictest19173-21apt-get2
2345999182,12cyclictest21555-21apt-get2
23459991814,2cyclictest5537-21cstates2
23459991814,2cyclictest2712-21aten2_r9power_p2
23459991813,3cyclictest690-21interrupts2
23459991813,3cyclictest28170-21sed2
23459991813,3cyclictest24038-21diskstats2
23459991813,3cyclictest22063-21sed2
23459991813,3cyclictest17727-21cat2
23459991812,4cyclictest8836-21hostname2
23459991812,4cyclictest6062-21sh2
23459991812,4cyclictest517-21dbus-daemon2
23459991812,4cyclictest517-21dbus-daemon2
23459991812,4cyclictest32035-21basename2
23459991812,4cyclictest26109-21grep2
23459991812,4cyclictest1920-21grep2
23459991812,4cyclictest1920-21grep2
2345999181,1cyclictest0-21swapper/22
2345999180,16cyclictest0-21swapper/22
2345599188,6cyclictest10583-21basename1
23455991816,1cyclictest0-21swapper/11
23455991814,2cyclictest25593-21munin-node1
23455991814,2cyclictest23624-21/usr/sbin/munin1
23455991814,2cyclictest23591-21/usr/sbin/munin1
23455991814,2cyclictest12742-21/usr/sbin/munin1
23455991813,3cyclictest8941-21wc1
23455991813,3cyclictest6296-21/usr/sbin/munin1
23455991813,3cyclictest406-21gltestperf1
23455991813,3cyclictest28501-21tail1
23455991813,2cyclictest23076-21/usr/sbin/munin1
23455991812,4cyclictest1684-21sendmail-mta1
23455991812,4cyclictest14775-21cut1
23455991811,4cyclictest16532-21sendmail-mta1
2345499188,8cyclictest0-21swapper/00
23454991813,3cyclictest30966-21pluginstate0
23454991813,3cyclictest30950-21wc0
23454991813,3cyclictest30889-21seq0
23454991813,3cyclictest26470-21needreboot0
23454991813,3cyclictest24653-21sendmail_mailst0
23454991813,3cyclictest21442-21sh0
23454991813,3cyclictest20510-21cut0
23454991813,3cyclictest1987-21/usr/sbin/munin0
23454991813,3cyclictest19220-21ls0
23454991813,3cyclictest1637-21seq0
23454991813,3cyclictest10708-21cut0
23454991812,4cyclictest26227-21swap0
23454991812,4cyclictest14398-21seq0
23454991812,4cyclictest13168-21grep0
23454991812,4cyclictest13156-21tr0
23454991812,4cyclictest10527-21cat0
23454991812,4cyclictest10409-21ls0
23454991810,5cyclictest4408-21cpu0
180312180,2sleep20-21swapper/22
23464991712,3cyclictest8962-21sed3
23464991712,3cyclictest17472-21ntp_kernel_pll_3
2345999174,7cyclictest19491-21apt-get2
2345999173,9cyclictest16938-21apt-get2
23459991712,3cyclictest766-21needreboot2
23459991712,3cyclictest7221-21/usr/sbin/munin2
23459991712,3cyclictest15012-21aten2_r9power_v2
2345599174,7cyclictest16622-21apt-get1
23455991713,2cyclictest27372-21/usr/sbin/munin1
23455991713,2cyclictest11304-21/usr/sbin/munin1
23455991712,3cyclictest5229-21sed1
23455991712,3cyclictest3126-21/usr/sbin/munin1
23455991711,4cyclictest517-21dbus-daemon1
23455991711,4cyclictest4269-21sendmail-mta1
23455991711,4cyclictest15458-21cut1
23455991711,3cyclictest1063-21gltestperf1
23455991711,3cyclictest1063-21gltestperf1
2345599171,12cyclictest340-21systemd-journal1
2345599170,16cyclictest0-21swapper/11
23454991715,1cyclictest0-21swapper/00
23454991715,1cyclictest0-21swapper/00
23454991715,1cyclictest0-21swapper/00
23454991713,2cyclictest1540-21proc_pri0
23454991713,2cyclictest1540-21proc_pri0
23454991712,3cyclictest662-21runrttasks0
23454991712,3cyclictest30382-21seq0
23454991712,3cyclictest21187-21grep0
23454991712,3cyclictest20131-21uname0
23454991712,3cyclictest19155-21/usr/sbin/munin0
23454991712,3cyclictest15905-21seq0
23454991711,4cyclictest517-21dbus-daemon0
23454991711,4cyclictest21215-21seq0
23454991711,3cyclictest3202-21switchtime0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional