You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-08 - 14:22
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Mon Dec 08, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
164262260223,25sleep10-21swapper/11
150222255220,23sleep20-21swapper/22
164502251182,25sleep00-21swapper/00
163782250182,48sleep30-21swapper/33
1689899221217,2cyclictest11250irq/128-xhci_hc2
1689099202198,2cyclictest0-21swapper/11
1690399158154,2cyclictest0-21swapper/33
1688599132127,3cyclictest26989-21strings0
43942590,1sleep00-21swapper/00
108882480,1sleep30-21swapper/33
175962450,1sleep30-21swapper/33
42862430,2sleep30-21swapper/33
249052420,2sleep00-21swapper/00
16890993210,4cyclictest21-21ksoftirqd/11
1689899284,9cyclictest8850-21unixbench_multi2
1689899284,9cyclictest695-21sed2
1689899272,5cyclictest0-21swapper/22
1689899272,10cyclictest16492-21grep2
1689899271,23cyclictest20236-21cron2
1689899262,6cyclictest0-21swapper/22
16898992512,10cyclictest843-21mailstats2
16898992512,10cyclictest843-21mailstats2
168012250,1sleep30-21swapper/33
1689899243,6cyclictest1022-21sed2
1689899242,7cyclictest0-21swapper/22
16890992415,2cyclictest21-21ksoftirqd/11
16890992414,3cyclictest21-21ksoftirqd/11
1689899233,6cyclictest20511-21gltestperf2
16898992310,10cyclictest31667-21date2
1689899223,5cyclictest7291-21munin-run2
1689899223,17cyclictest548-21latency_hist2
1689899222,6cyclictest3022-21seq2
1689899222,6cyclictest28-21ksoftirqd/22
1689899222,6cyclictest0-21swapper/22
1689899222,5cyclictest0-21swapper/22
16898992215,4cyclictest5247-21sh2
16898992215,4cyclictest5247-21sh2
16898992214,5cyclictest9739-21munin-run2
1689899221,3cyclictest3114-1kworker/2:2H2
1689899221,2cyclictest0-21swapper/22
1689899221,2cyclictest0-21swapper/22
16890992218,2cyclictest21-21ksoftirqd/11
16890992217,3cyclictest21-21ksoftirqd/11
16890992213,3cyclictest21-21ksoftirqd/11
16885992215,4cyclictest23527-21processes0
16885992210,3cyclictest101002cpuspeed0
103032220,2sleep20-21swapper/22
16903992116,3cyclictest25939-21sed3
16903992115,3cyclictest2875-21rt-features3
16903992115,3cyclictest2875-21rt-features3
16903992115,3cyclictest1037-21timerwakeupswit3
16903992115,3cyclictest1037-21timerwakeupswit3
16903992113,5cyclictest505-21dbus-daemon3
1689899214,9cyclictest28-21ksoftirqd/22
1689899214,9cyclictest28-21ksoftirqd/22
1689899213,16cyclictest29560-21latency_hist2
16898992118,2cyclictest271rcuc/22
16898992116,3cyclictest20518-21perf2
16898992115,4cyclictest17787-21missed_timers2
16898992115,3cyclictest24318-21idleruntime-cro2
1689899210,5cyclictest28-21ksoftirqd/22
1689899210,19cyclictest9019-21perf2
1689899210,18cyclictest27689-21latency_hist2
1689099219,3cyclictest111rcu_preempt1
1689099219,3cyclictest111rcu_preempt1
1689099215,4cyclictest21-21ksoftirqd/11
16890992116,3cyclictest21-21ksoftirqd/11
16890992116,3cyclictest201rcuc/11
16890992115,4cyclictest7834-21sed1
16890992115,4cyclictest19911-21sed1
16890992115,3cyclictest8776-21needreboot1
16890992115,3cyclictest24816-21acpi1
16890992114,5cyclictest25826-21/usr/sbin/munin1
16890992114,4cyclictest18506-21basename1
16890992110,3cyclictest21-21ksoftirqd/11
16885992116,3cyclictest24486-21latency0
16885992115,4cyclictest32689-21diskstats0
16885992114,4cyclictest6796-21sh0
16903992016,2cyclictest9876-21acpi3
16903992015,3cyclictest6018-21cpu3
16903992015,3cyclictest5919-21missed_timers3
16903992015,3cyclictest5646-21aten2.4-expect3
16903992015,3cyclictest4266-21ls3
16903992015,3cyclictest28632-21sh3
16903992015,3cyclictest23955-21timerandwakeup3
16903992015,3cyclictest20806-21threads3
16903992015,3cyclictest20806-21threads3
16903992015,3cyclictest14006-21users3
16903992015,3cyclictest13262-21seq3
16903992014,4cyclictest851-21seq3
16903992014,4cyclictest6516-21if_err_enp2s03
16903992014,4cyclictest23824-21hostname3
16903992014,4cyclictest17513-21awk3
16903992014,4cyclictest17513-21awk3
16903992014,4cyclictest1604-21idleruntime-cro3
16903992014,3cyclictest10533-21unixbench-2d3
16903992013,4cyclictest505-21dbus-daemon3
16903992013,4cyclictest21556-21date3
16903992013,4cyclictest19139-21cat3
1689899204,8cyclictest28-21ksoftirqd/22
1689899202,6cyclictest28-21ksoftirqd/22
1689899202,6cyclictest28-21ksoftirqd/22
1689899202,6cyclictest28-21ksoftirqd/22
1689899202,5cyclictest28-21ksoftirqd/22
1689899202,5cyclictest28-21ksoftirqd/22
1689899201,6cyclictest28454-21runrttasks2
1689899201,6cyclictest0-21swapper/22
1689899201,3cyclictest3114-1kworker/2:2H2
16898992013,4cyclictest29597-21vmstat2
1689899201,17cyclictest24575-21munin-run2
1689899201,16cyclictest32004-21munin-run2
1689899200,18cyclictest11682-21cut2
1689099205,5cyclictest665-21runrttasks1
1689099203,3cyclictest21-21ksoftirqd/11
16890992017,2cyclictest21-21ksoftirqd/11
16890992017,2cyclictest21-21ksoftirqd/11
16890992016,2cyclictest21-21ksoftirqd/11
16890992016,2cyclictest21-21ksoftirqd/11
16890992015,3cyclictest27779-21/usr/sbin/munin1
16890992015,3cyclictest21-21ksoftirqd/11
16890992015,3cyclictest21-21ksoftirqd/11
16890992015,3cyclictest21-21ksoftirqd/11
16890992015,3cyclictest21-21ksoftirqd/11
16890992014,4cyclictest8504-21awk1
16890992014,4cyclictest3351-21sed1
16890992014,4cyclictest24165-21expr1
16890992014,4cyclictest18272-21sed1
16890992014,4cyclictest1441-21seq1
16890992014,4cyclictest1441-21seq1
16890992013,5cyclictest8113-21seq1
16890992013,4cyclictest30963-21sendmail1
16890992013,4cyclictest24284-21cron1
16885992015,3cyclictest7379-21sed0
16885992015,3cyclictest5512-21cstates0
16885992015,3cyclictest20870-21needreboot0
16885992015,3cyclictest19727-21/usr/sbin/munin0
16885992015,3cyclictest18723-21/usr/sbin/munin0
16885992015,3cyclictest16132-21cron0
16885992015,3cyclictest1430-21/usr/sbin/munin0
16885992015,3cyclictest14047-21aten2_r9power_p0
16885992014,4cyclictest24392-21seq0
16885992014,3cyclictest11171-21ntp_offset0
1688599200,18cyclictest30177-21kworker/0:30
16903991915,2cyclictest25342-21timerwakeupswit3
16903991915,2cyclictest1868-21df_inode3
16903991915,2cyclictest1451-21irqstats3
16903991915,2cyclictest1451-21irqstats3
16903991914,3cyclictest7641-21expr3
16903991914,3cyclictest30184-21/usr/sbin/munin3
16903991914,3cyclictest29915-21aten2_r9power_p3
16903991914,3cyclictest29254-21swap3
16903991914,3cyclictest26677-21nfs4_client3
16903991914,3cyclictest26305-21ls3
16903991914,3cyclictest22570-21ntpq3
16903991914,3cyclictest21044-21if_enp2s03
16903991914,3cyclictest19301-21cat3
16903991914,3cyclictest17731-21aten2_r9power_c3
16903991914,3cyclictest12088-21turbostat3
16903991913,4cyclictest9452-21seq3
16903991913,4cyclictest8999-21expr3
16903991913,4cyclictest32087-21ntp_kernel_pll_3
16903991913,4cyclictest2819-21date3
16903991913,4cyclictest2252-21diskstats3
16903991913,4cyclictest13120-21timerwakeupswit3
1689899197,10cyclictest19926-21cpuspeed2
1689899194,9cyclictest28-21ksoftirqd/22
1689899194,8cyclictest28-21ksoftirqd/22
1689899193,8cyclictest28-21ksoftirqd/22
1689899192,6cyclictest28-21ksoftirqd/22
1689899192,5cyclictest28-21ksoftirqd/22
1689899192,5cyclictest28-21ksoftirqd/22
1689899191,6cyclictest28-21ksoftirqd/22
1689899191,6cyclictest28-21ksoftirqd/22
1689899191,6cyclictest28-21ksoftirqd/22
1689899191,6cyclictest28-21ksoftirqd/22
1689899191,5cyclictest28-21ksoftirqd/22
16898991915,2cyclictest2462-21irqstats2
16898991914,3cyclictest25076-21cat2
16898991914,3cyclictest22886-21sed2
16898991913,3cyclictest14207-21cpuspeed_turbos2
16898991912,4cyclictest2948-21aten2.4-expect2
16898991912,4cyclictest20608-21cut2
1689899190,6cyclictest28-21ksoftirqd/22
1689099199,2cyclictest21-21ksoftirqd/11
1689099192,15cyclictest23640-21cut1
16890991916,2cyclictest21-21ksoftirqd/11
16890991916,2cyclictest21-21ksoftirqd/11
16890991915,2cyclictest21-21ksoftirqd/11
16890991915,2cyclictest12491-21open_files1
16890991914,3cyclictest4077-21cat1
16890991914,3cyclictest4077-21cat1
16890991914,3cyclictest30223-21/usr/sbin/munin1
16890991914,3cyclictest21-21ksoftirqd/11
16890991914,3cyclictest21-21ksoftirqd/11
16890991914,3cyclictest20466-21/usr/sbin/munin1
16890991914,3cyclictest201rcuc/11
16890991914,3cyclictest17707-21/usr/sbin/munin1
16890991914,3cyclictest16918-21sed1
16890991914,3cyclictest16759-21cat1
16890991913,4cyclictest24195-21cut1
16890991913,4cyclictest19768-21cut1
16890991913,4cyclictest19768-21cut1
16890991913,4cyclictest11565-21seq1
16885991916,2cyclictest0-21swapper/00
16885991915,2cyclictest8234-21/usr/sbin/munin0
16885991915,2cyclictest27628-21apt-get0
16885991915,2cyclictest19600-21aten2_r9power_e0
16885991915,2cyclictest19600-21aten2_r9power_e0
16885991914,3cyclictest884-21sh0
16885991914,3cyclictest884-21sh0
16885991914,3cyclictest665-21runrttasks0
16885991914,3cyclictest30761-21seq0
16885991914,3cyclictest2406-21if_enp2s00
16885991914,3cyclictest2406-21if_enp2s00
16885991914,3cyclictest23402-21seq0
16885991914,3cyclictest19494-21idleruntime-cro0
16885991914,3cyclictest16407-21acpi0
16885991914,3cyclictest16407-21acpi0
16885991914,3cyclictest16334-21seq0
16885991914,3cyclictest15984-21acpi0
16885991914,3cyclictest13753-21cpu0
16885991913,4cyclictest25437-21cat0
16885991913,4cyclictest23402-21grep0
16885991913,4cyclictest12375-21expr0
16885991913,3cyclictest9317-21latency_hist0
16885991913,3cyclictest18885-21sh0
16885991912,4cyclictest12553-21ls0
1690399188,5cyclictest27797-21apt-get3
16903991814,2cyclictest22104-21/usr/sbin/munin3
16903991813,3cyclictest28927-21load3
16903991813,3cyclictest21752-21find3
16903991813,3cyclictest19870-21seq3
16903991813,3cyclictest17257-21ls3
16903991813,3cyclictest16058-21expr3
16903991813,3cyclictest14313-21expr3
16903991813,2cyclictest3466-21acpi3
16903991813,2cyclictest3466-21acpi3
16903991812,4cyclictest24771-21awk3
16903991812,4cyclictest21491-21load3
16903991812,4cyclictest14007-21expr3
16903991812,3cyclictest29427-21cat3
1689899183,8cyclictest28-21ksoftirqd/22
1689899181,5cyclictest28-21ksoftirqd/22
1689899181,5cyclictest28-21ksoftirqd/22
1689899181,5cyclictest28-21ksoftirqd/22
16890991814,2cyclictest4846-21ps1
16890991814,2cyclictest12317-21/usr/sbin/munin1
16890991813,3cyclictest4681-21latency_hist1
16890991813,3cyclictest32274-21expr1
16890991813,2cyclictest24307-21if_enp2s01
16890991812,4cyclictest21895-21sh1
1689099181,16cyclictest0-21swapper/11
16890991811,4cyclictest0-21swapper/11
16890991810,4cyclictest26865-21apt-get1
1689099180,16cyclictest0-21swapper/11
1688599182,10cyclictest25773-21apt-get0
16885991814,2cyclictest18025-21/usr/sbin/munin0
16885991814,2cyclictest11293-21apt-config0
16885991813,3cyclictest665-21runrttasks0
16885991813,3cyclictest482-21seq0
16885991813,3cyclictest31514-21seq0
16885991813,3cyclictest31001-21needreboot0
16885991813,3cyclictest28894-21cat0
16885991813,3cyclictest26610-21missed_timers0
16885991813,3cyclictest23030-21cat0
16885991813,3cyclictest18820-21dump-pmu-power0
16885991813,3cyclictest18376-21seq0
16885991813,3cyclictest1613-21cat0
16885991813,3cyclictest1613-21cat0
16885991813,3cyclictest13022-21expr0
16885991813,3cyclictest10616-21cstates0
16885991812,4cyclictest9694-21seq0
16885991812,4cyclictest4585-21cat0
16885991811,4cyclictest28234-21cut0
16885991811,4cyclictest24318-21cpuspeed0
16885991810,6cyclictest1-21systemd0
1688599180,16cyclictest4635-21sed0
1688599180,16cyclictest4635-21sed0
16903991712,3cyclictest14574-21ls3
16903991712,3cyclictest12695-21expr3
16903991711,4cyclictest15461-21cat3
16890991713,2cyclictest30184-21/usr/sbin/munin1
16890991712,3cyclictest18832-21expr1
1689099170,16cyclictest0-21swapper/11
16885991715,1cyclictest0-21swapper/00
16885991713,2cyclictest1805-21/usr/sbin/munin0
16885991712,3cyclictest665-21runrttasks0
16885991712,3cyclictest30780-21idleruntime0
16885991712,3cyclictest17086-21uptime0
16885991711,3cyclictest9498-21cpuspeed_turbos0
16903991611,3cyclictest21418-21sed3
16903991610,4cyclictest30565-21seq3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional