You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-01-02 - 03:53
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Fri Jan 02, 2026 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
214192355277,43sleep30-21swapper/33
213292306271,24sleep00-21swapper/00
213052274206,55sleep10-21swapper/11
2174899262258,2cyclictest0-21swapper/22
2174499258251,4cyclictest11530-21ntp_states1
215912257180,43sleep20-21swapper/22
2175399153149,2cyclictest0-21swapper/33
21740999994,3cyclictest634-21snmpd0
276402620,1sleep30-21swapper/33
257342480,1sleep30-21swapper/33
240112450,1sleep20-21swapper/22
146722370,2sleep30-21swapper/33
2175399309,18cyclictest0-21swapper/33
2175399309,18cyclictest0-21swapper/33
2175399309,18cyclictest0-21swapper/33
2175399298,18cyclictest0-21swapper/33
2175399288,17cyclictest0-21swapper/33
219412270,2sleep30-21swapper/33
2175399277,17cyclictest0-21swapper/33
6832260,2sleep00-21swapper/00
2175399266,17cyclictest0-21swapper/33
21753992613,12cyclictest35-21ksoftirqd/33
2175399245,17cyclictest5151-21sendmail-mta3
2175399245,17cyclictest2358-21sendmail-mta3
2175399245,16cyclictest0-21swapper/33
2175399241,3cyclictest351ksoftirqd/33
21753992412,3cyclictest35-21ksoftirqd/33
21748992417,4cyclictest20219-21dump-pmu-power2
304852230,2sleep20-21swapper/22
2175399234,17cyclictest4085-21sendmail-mta3
2175399234,17cyclictest30709-21sendmail-mta3
2175399234,17cyclictest20462-21sendmail-mta3
2175399234,17cyclictest1012-21sendmail-mta3
2175399232,19cyclictest0-21swapper/33
2175399232,19cyclictest0-21swapper/33
2175399232,18cyclictest0-21swapper/33
2175399231,2cyclictest111rcu_preempt3
2175399229,11cyclictest18604-21wc3
2175399223,17cyclictest29373-21sendmail-mta3
2175399223,17cyclictest28319-21sendmail-mta3
2175399223,17cyclictest27450-21latency_hist3
2175399223,17cyclictest22926-21sendmail-mta3
2175399223,17cyclictest22148-21sendmail-mta3
2175399223,17cyclictest18149-21latency_hist3
2175399223,17cyclictest13326-21sendmail-mta3
2175399222,3cyclictest0-21swapper/33
2175399222,18cyclictest0-21swapper/33
2174899228,11cyclictest571-21gdbus2
21744992218,2cyclictest662-21runrttasks1
21744992218,2cyclictest662-21runrttasks1
21744992215,4cyclictest9009-21cron1
2174499221,10cyclictest234212expr1
21740992215,4cyclictest24733-21grep0
2175399218,2cyclictest18407-21cat3
2175399212,17cyclictest6261-21cat3
2175399212,17cyclictest16877-21latency_hist3
2175399212,11cyclictest35-21ksoftirqd/33
21753992116,3cyclictest35-21ksoftirqd/33
21753992116,3cyclictest0-21swapper/33
2175399211,4cyclictest515-21avahi-daemon3
2175399211,3cyclictest8322-21taskset3
2175399211,17cyclictest340-21systemd-journal3
2175399211,17cyclictest340-21systemd-journal3
2175399211,17cyclictest24337-21munin-run3
2175399210,2cyclictest351ksoftirqd/33
2175399210,19cyclictest0-21swapper/33
2174899219,3cyclictest14198-21cat2
2174899219,3cyclictest14198-21cat2
21748992116,3cyclictest25435-21fw_packets2
21744992115,4cyclictest13095-21users1
21740992116,3cyclictest30694-21grep0
21740992115,4cyclictest30209-21diskstats0
21740992110,8cyclictest27485-21sendmail0
111952210,2sleep30-21swapper/33
2175399203,2cyclictest35-21ksoftirqd/33
2175399203,15cyclictest7327-21latency_hist3
21753992017,2cyclictest0-21swapper/33
21753992015,3cyclictest19132-21ls3
2175399201,3cyclictest10366-21munin-run3
2175399201,17cyclictest3213-21latency_hist3
2175399201,17cyclictest3213-21latency_hist3
2175399201,17cyclictest15269-21cat3
2175399200,3cyclictest26034-21rt-features3
2175399200,18cyclictest15887-21apt-config3
2174899202,15cyclictest12631-21cut2
21748992017,2cyclictest0-21swapper/22
21748992015,3cyclictest9631-21/usr/sbin/munin2
21748992015,3cyclictest4555-21sendmail_mailst2
21748992015,3cyclictest28094-21vmstat2
21748992015,3cyclictest25387-21ls2
21748992015,3cyclictest13512-21nfs4_client2
21748992015,3cyclictest11473-21gltestperf2
21748992014,4cyclictest8139-21seq2
21748992014,4cyclictest2456-21users2
21748992014,4cyclictest19295-21cut2
21748992014,4cyclictest19062-21cat2
21748992013,4cyclictest26090-21sh2
21748992013,4cyclictest2133-21latency2
21748992013,4cyclictest2133-21latency2
2174499204,7cyclictest520-21rs:main1
21744992016,2cyclictest31792-21/usr/sbin/munin1
21744992015,3cyclictest7016-21seq1
21744992015,3cyclictest4035-21seq1
21744992015,3cyclictest3113-21/usr/sbin/munin1
21744992015,3cyclictest22539-21/usr/sbin/munin1
21744992015,3cyclictest21920-21uname1
21744992015,3cyclictest18289-21seq1
21744992015,3cyclictest17124-21/usr/sbin/munin1
21744992015,3cyclictest16790-21seq1
21744992014,4cyclictest6293-21idleruntime-cro1
21744992014,4cyclictest28462-21seq1
21744992014,4cyclictest25917-21sed1
2174099208,10cyclictest6922-21tail0
21740992016,2cyclictest19419-21if_enp3s00
21740992015,3cyclictest4475-21/usr/sbin/munin0
21740992015,3cyclictest16450-21aten2_r9power_p0
21740992015,3cyclictest14071-21aten2_r9power_e0
21740992014,4cyclictest340-21systemd-journal0
21740992012,5cyclictest16500-21latency_hist0
2174099201,16cyclictest12773-21awk0
21753991915,2cyclictest1467-21df_inode3
21753991913,4cyclictest4590-21plymouth3
2175399190,2cyclictest209652chrt3
2175399190,17cyclictest0-21swapper/33
2174899192,15cyclictest12692-21unixbench_singl2
21748991915,2cyclictest32461-21unixbench_singl2
21748991914,3cyclictest662-21runrttasks2
21748991914,3cyclictest5239-21load2
21748991914,3cyclictest31937-21sh2
21748991914,3cyclictest2216-21cat2
21748991914,3cyclictest21372-21aten2_r9power_v2
21748991914,3cyclictest18777-21sed2
21748991914,3cyclictest17125-21acpi2
21748991914,3cyclictest15078-21sendmail_mailst2
21748991913,4cyclictest517-21dbus-daemon2
21748991913,4cyclictest27441-21diskstats2
21748991913,4cyclictest22895-21cut2
21748991912,5cyclictest517-21dbus-daemon2
21748991912,4cyclictest517-21dbus-daemon2
21744991914,3cyclictest8570-21/usr/sbin/munin1
21744991914,3cyclictest634-21snmpd1
21744991914,3cyclictest634-21snmpd1
21744991914,3cyclictest30456-21seq1
21744991914,3cyclictest28033-21cat1
21744991914,3cyclictest27346-21/usr/sbin/munin1
21744991914,3cyclictest26878-21cat1
21744991914,3cyclictest26355-21seq1
21744991914,3cyclictest25739-21missed_timers1
21744991914,3cyclictest25098-21seq1
21744991914,3cyclictest23041-21seq1
21744991914,3cyclictest22342-21which1
21744991914,3cyclictest19267-21ntpq1
21744991914,3cyclictest14804-21seq1
21744991914,3cyclictest14804-21seq1
21744991914,3cyclictest11311-21/usr/sbin/munin1
21744991914,3cyclictest0-21swapper/11
21744991913,4cyclictest517-21dbus-daemon1
21744991913,4cyclictest3230-21idleruntime-cro1
21744991913,4cyclictest3230-21idleruntime-cro1
21744991913,4cyclictest26039-21cat1
21744991913,4cyclictest18240-21cat1
21744991913,4cyclictest10052-21expr1
21744991913,3cyclictest19978-21missed_timers1
2174099197,10cyclictest9-21ksoftirqd/00
2174099197,10cyclictest9-21ksoftirqd/00
21740991916,2cyclictest0-21swapper/00
21740991915,2cyclictest9631-21/usr/sbin/munin0
21740991915,2cyclictest23917-21munin-node0
21740991914,3cyclictest7336-21turbostat.cron0
21740991914,3cyclictest634-21snmpd0
21740991914,3cyclictest634-21snmpd0
21740991914,3cyclictest31095-21/usr/sbin/munin0
21740991914,3cyclictest30746-21/usr/sbin/munin0
21740991914,3cyclictest23766-21cat0
21740991914,3cyclictest23603-21/usr/sbin/munin0
21740991914,3cyclictest1630-21sed0
21740991913,4cyclictest9590-21sed0
21740991913,4cyclictest3391-21cat0
21740991913,4cyclictest30508-21dump-pmu-power0
21740991913,4cyclictest23349-21head0
21740991913,4cyclictest23349-21head0
21740991913,4cyclictest1954-21sed0
21740991913,4cyclictest13599-21wc0
21740991913,4cyclictest11443-21cut0
21740991912,4cyclictest7388-21ntpq0
21740991912,4cyclictest340-21systemd-journal0
21740991911,4cyclictest27049-21telnet0
2174099190,17cyclictest17390-21irqstats0
2175399186,2cyclictest111rcu_preempt3
21753991814,2cyclictest20858-21/usr/sbin/munin3
21753991813,3cyclictest694-21seq3
21753991813,3cyclictest28712-21find3
2174899187,9cyclictest9243-21sendmail-mta2
21748991815,2cyclictest0-21swapper/22
21748991814,2cyclictest9057-21sed2
21748991814,2cyclictest23166-21if_err_enp2s02
21748991813,3cyclictest9891-21if_err_enp3s02
21748991813,3cyclictest4945-21aten2.4-expect2
21748991813,3cyclictest31177-21uptime2
21748991813,3cyclictest3116-21seq2
21748991813,3cyclictest28510-21swap2
21748991813,3cyclictest26152-21cat2
21748991813,3cyclictest10582-21wc2
21748991812,4cyclictest8274-21unixbench_singl2
21748991812,4cyclictest5373-21cat2
21748991812,4cyclictest3573-21fw_packets2
21748991812,4cyclictest31629-21ntpq2
21748991812,4cyclictest25134-21seq2
21748991811,5cyclictest517-21dbus-daemon2
2174499187,8cyclictest0-21swapper/11
21744991814,2cyclictest9251-21/usr/sbin/munin1
21744991814,2cyclictest4837-21/usr/sbin/munin1
21744991814,2cyclictest15380-21/usr/sbin/munin1
21744991813,3cyclictest634-21snmpd1
21744991813,3cyclictest3212-21entropy1
21744991813,3cyclictest27719-21/usr/sbin/munin1
21744991813,3cyclictest20908-21df1
21744991813,3cyclictest19052-21seq1
21744991812,4cyclictest9386-21awk1
21744991812,4cyclictest1975-21seq1
21744991812,4cyclictest12650-21seq1
21744991810,5cyclictest6254-21mailstats1
2174499180,16cyclictest0-21swapper/11
21740991816,1cyclictest0-21swapper/00
21740991816,1cyclictest0-21swapper/00
21740991814,2cyclictest3131-21apt-get0
21740991814,2cyclictest2891-21sendmail-mta0
21740991814,2cyclictest24966-21/usr/sbin/munin0
21740991814,2cyclictest24885-21/usr/sbin/munin0
21740991813,3cyclictest8108-21ntp_states0
21740991813,3cyclictest22743-21seq0
21740991812,4cyclictest56750irq/130-enp2s00
21740991812,4cyclictest517-21dbus-daemon0
21740991812,4cyclictest517-21dbus-daemon0
21740991811,4cyclictest517-21dbus-daemon0
21740991811,4cyclictest340-21systemd-journal0
21740991810,5cyclictest21555-21apt0
2174099180,16cyclictest5552-21cat0
21753991713,2cyclictest29783-21apt3
2174899171,5cyclictest31190-21sh2
21748991715,1cyclictest0-21swapper/22
21748991712,3cyclictest6467-21pluginstate2
21748991712,3cyclictest28963-21grep2
21748991711,4cyclictest25854-21cut2
21748991711,4cyclictest17298-21cut2
21748991711,4cyclictest14747-21uptime2
21744991713,2cyclictest6874-21/usr/sbin/munin1
21744991712,3cyclictest662-21runrttasks1
21744991712,3cyclictest30453-21which1
21744991712,3cyclictest14678-21date1
21744991712,3cyclictest13615-21expr1
21744991712,3cyclictest1051-21cat1
21744991711,4cyclictest771-21seq1
21744991711,4cyclictest30213-21cat1
21744991710,4cyclictest7664-21grep1
2174099179,5cyclictest340-21systemd-journal0
21740991715,1cyclictest0-21swapper/00
21740991714,2cyclictest19171-21/usr/sbin/munin0
21740991713,2cyclictest9251-21/usr/sbin/munin0
21740991713,2cyclictest1396-21/usr/sbin/munin0
21740991713,2cyclictest1396-21/usr/sbin/munin0
21740991712,3cyclictest662-21runrttasks0
21740991712,3cyclictest5809-21cat0
21740991712,3cyclictest26666-21/usr/sbin/munin0
21740991712,3cyclictest25362-21/usr/sbin/munin0
21740991712,3cyclictest21002-21head0
21740991712,3cyclictest17852-21sh0
21740991711,4cyclictest23759-21diskstats0
21740991711,4cyclictest17621-21grep0
21748991612,2cyclictest19495-21/usr/sbin/munin2
21748991611,3cyclictest9372-21diskstats2
21748991611,3cyclictest662-21runrttasks2
21748991611,3cyclictest30120-21uptime2
21748991611,3cyclictest15515-21expr2
21748991610,4cyclictest627-21sendmail-mta2
2174499167,7cyclictest0-21swapper/11
2174499162,8cyclictest14034-21apt-get1
21744991611,3cyclictest31122-21cat1
21740991611,3cyclictest15116-21aten2_r9power_c0
2174899159,3cyclictest22944-21apt-get2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional