You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-12 - 15:37
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2 (updated Fri Dec 12, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
171882315279,23sleep30-21swapper/33
172172306267,26sleep10-21swapper/11
171952297230,53sleep00-21swapper/00
173282243172,23sleep20-21swapper/22
1751199229219,8cyclictest0-21swapper/33
1750499191183,6cyclictest10294-21munin-run1
1750799168160,5cyclictest10322-21basename2
1750099109101,6cyclictest10307-21sendmail0
317122560,2sleep21750799cyclictest2
173962520,2sleep30-21swapper/33
246832510,3sleep30-21swapper/33
325682470,1sleep10-21swapper/11
231212430,1sleep30-21swapper/33
135572400,1sleep00-21swapper/00
1750799286,20cyclictest0-21swapper/22
1750799234,17cyclictest15539-21cat2
1750799233,18cyclictest2082-21systemd-journal2
17504992316,4cyclictest2082-21systemd-journal1
17511992214,6cyclictest20577-21cron3
1750799229,10cyclictest27047-21kernelversion2
1750799228,11cyclictest18497-21sort2
1750799223,17cyclictest7233-21cat2
1750799223,17cyclictest20875-21latency_hist2
1750799223,17cyclictest0-21swapper/22
17507992217,3cyclictest29319-21open_inodes2
17507992216,4cyclictest6338-21perf2
17507992216,4cyclictest25745-21seq2
17500992217,3cyclictest17840-21idleruntime-cro0
17500992216,3cyclictest934-21sh0
165082220,1sleep30-21swapper/33
17511992115,4cyclictest32537-21dump-pmu-power3
17511992114,4cyclictest28171-21idleruntime-cro3
1750799218,11cyclictest1-21systemd2
1750799213,15cyclictest0-21swapper/22
1750799212,17cyclictest940-21turbostat2
1750799212,17cyclictest22781-21cat2
17507992115,4cyclictest5078-21cut2
17507992114,4cyclictest22794-21seq2
1750799211,18cyclictest12428-21munin-run2
1750799211,18cyclictest0-21swapper/22
1750799210,19cyclictest5760-21kworker/2:22
1750799210,19cyclictest15559-1kworker/2:0H2
17504992116,3cyclictest29640-21sed1
17504992115,4cyclictest24781-21seq1
17504992115,4cyclictest20820-21seq1
17504992114,4cyclictest4828-21cat1
17504992114,4cyclictest2082-21systemd-journal1
1750499210,18cyclictest16049-21apt-get1
1750099218,8cyclictest665-21runrttasks0
17500992116,3cyclictest9-21ksoftirqd/00
17511992017,2cyclictest0-21swapper/33
17511992015,3cyclictest17826-21latency_hist3
17511992014,4cyclictest20984-21ntpq3
17511992014,3cyclictest24609-21df3
17511992013,4cyclictest11875-21grep3
1750799207,11cyclictest28-21ksoftirqd/22
1750799207,11cyclictest0-21swapper/22
1750799202,16cyclictest28263-21cat2
17507992016,2cyclictest2696-21cstates2
17507992015,3cyclictest7636-21sendmail_mailst2
17507992015,3cyclictest26079-21ntp_offset2
17507992015,3cyclictest24228-21sendmail_mailst2
17507992015,3cyclictest19157-21cstates2
17507992015,3cyclictest17564-21missed_timers2
17507992015,3cyclictest13927-21cat2
17507992015,3cyclictest13004-21unixbench_singl2
17507992015,3cyclictest10391-21latency_hist2
17507992015,3cyclictest10391-21latency_hist2
17507992014,4cyclictest19076-21expr2
17507992014,4cyclictest18527-21fw_packets2
1750799201,3cyclictest28603-21munin-run2
1750799201,3cyclictest28603-21munin-run2
1750799201,17cyclictest26565-1kworker/2:2H2
1750799201,17cyclictest24553-21latency_hist2
1750799201,17cyclictest23998-21cat2
1750799201,17cyclictest22505-21latency_hist2
1750799201,15cyclictest0-21swapper/22
1750799200,17cyclictest8273-21munin-run2
17504992015,3cyclictest20812-21seq1
17504992015,3cyclictest18586-21sed1
17504992015,3cyclictest17907-21cpuspeed_turbos1
17504992014,4cyclictest23095-21cut1
17504992014,4cyclictest16639-21date1
17504992014,4cyclictest12996-21df1
17504992014,4cyclictest1166-21seq1
17504992014,3cyclictest22064-21sendmail1
1750099203,15cyclictest24657-21grep0
17500992015,3cyclictest355-21cpuspeed0
17500992015,3cyclictest30599-21sendmail_mailst0
17500992015,3cyclictest18315-21seq0
17500992014,4cyclictest25898-21expr0
17500992014,4cyclictest22501-21sh0
17500992014,4cyclictest15143-21expr0
17500992013,5cyclictest665-21runrttasks0
17500992013,5cyclictest665-21runrttasks0
17511991916,2cyclictest0-21swapper/33
17511991915,2cyclictest3211-21/usr/sbin/munin3
17511991914,3cyclictest5228-21/usr/sbin/munin3
17511991914,3cyclictest325-21cpuspeed3
17511991914,3cyclictest28843-21/usr/sbin/munin3
17511991914,3cyclictest23544-21ls3
17511991914,3cyclictest21073-21cstates3
17511991914,3cyclictest19938-21forks3
17511991914,3cyclictest19657-21idleruntime3
17511991914,3cyclictest1897-21sed3
17511991914,3cyclictest11002-21expr3
17511991914,2cyclictest14665-21processes3
17511991913,4cyclictest551-21cut3
17511991913,4cyclictest18732-21sed3
17511991912,5cyclictest505-21dbus-daemon3
17511991912,4cyclictest18446-21cron3
17507991915,2cyclictest28-21ksoftirqd/22
17507991914,3cyclictest9465-21date2
17507991914,3cyclictest30428-21ntpq2
17507991914,3cyclictest29404-21basename2
17507991914,3cyclictest14703-21/usr/sbin/munin2
17507991913,4cyclictest23603-21load2
17507991913,4cyclictest10630-21sh2
1750799191,16cyclictest32566-21cat2
1750799191,16cyclictest0-21swapper/22
1750799191,13cyclictest12585-21apt-get2
1750799190,17cyclictest1-21systemd2
1750799190,16cyclictest29413-21ntp_states2
17504991915,2cyclictest28527-21/usr/sbin/munin1
17504991915,2cyclictest2359-21/usr/sbin/munin1
17504991915,2cyclictest22856-21/usr/sbin/munin1
17504991915,2cyclictest10727-21aten2_r9power_p1
17504991914,3cyclictest8615-21/usr/sbin/munin1
17504991914,3cyclictest8256-21cut1
17504991914,3cyclictest7697-21sed1
17504991914,3cyclictest6953-21expr1
17504991914,3cyclictest4435-21/usr/sbin/munin1
17504991914,3cyclictest4220-21seq1
17504991914,3cyclictest28398-21/usr/sbin/munin1
17504991914,3cyclictest26973-21cpu1
17504991914,3cyclictest26973-21cpu1
17504991914,3cyclictest24573-21dump-pmu-power1
17504991914,3cyclictest22324-21/usr/sbin/munin1
17504991914,3cyclictest2176-21/usr/sbin/munin1
17504991914,3cyclictest11650-21/usr/sbin/munin1
17504991914,3cyclictest10447-21grep1
17504991913,4cyclictest5672-21cat1
17504991913,4cyclictest14501-21basename1
17504991912,4cyclictest20574-21grep1
17500991915,2cyclictest28527-21/usr/sbin/munin0
17500991915,2cyclictest2359-21/usr/sbin/munin0
17500991914,3cyclictest4608-21expr0
17500991914,3cyclictest28461-21cut0
17500991914,3cyclictest27163-21cstates0
17500991914,3cyclictest27163-21cstates0
17500991914,3cyclictest26077-21seq0
17500991914,3cyclictest25431-21ls0
17500991914,3cyclictest24949-21sed0
17500991914,3cyclictest20187-21sed0
17500991914,3cyclictest18697-21seq0
17500991914,3cyclictest15198-21expr0
17500991914,3cyclictest13665-21/usr/sbin/munin0
17500991914,3cyclictest12085-21df_inode0
17500991913,4cyclictest5732-21cat0
17500991913,4cyclictest5647-21cat0
17500991913,4cyclictest32221-21seq0
17500991913,4cyclictest19304-21cat0
17500991913,4cyclictest18269-21ls0
1751199182,1cyclictest0-21swapper/33
17511991816,1cyclictest0-21swapper/33
17511991816,1cyclictest0-21swapper/33
17511991816,1cyclictest0-21swapper/33
17511991814,2cyclictest6236-21/usr/sbin/munin3
17511991814,2cyclictest31722-21aten2_r9power_v3
17511991813,3cyclictest9606-21/usr/sbin/munin3
17511991813,3cyclictest9142-21sed3
17511991813,3cyclictest6869-21expr3
17511991813,3cyclictest665-21runrttasks3
17511991813,3cyclictest4285-21latency_hist3
17511991813,3cyclictest35-21ksoftirqd/33
17511991813,3cyclictest29729-21grep3
17511991813,3cyclictest25343-21idleruntime3
17511991813,3cyclictest2235-21cut3
17511991813,3cyclictest18572-21pluginstate3
17511991813,3cyclictest18484-21cat3
17511991812,4cyclictest5253-21uname3
17511991812,4cyclictest29578-21cut3
17511991812,4cyclictest28938-21cat3
17511991812,4cyclictest19251-21basename3
17511991811,4cyclictest10333-21gdbus3
17507991814,2cyclictest4435-21/usr/sbin/munin2
17507991814,2cyclictest16856-21apt-config2
17507991813,3cyclictest466-21basename2
17507991813,3cyclictest4225-21apt-get2
17507991813,3cyclictest1994-21latency_hist2
17507991813,3cyclictest15184-21basename2
17507991810,4cyclictest2519-21apt-get2
1750799180,2cyclictest3076-21wc2
1750799180,16cyclictest0-21swapper/22
17504991816,1cyclictest0-21swapper/11
17504991816,1cyclictest0-21swapper/11
17504991815,2cyclictest21-21ksoftirqd/11
17504991814,2cyclictest3211-21/usr/sbin/munin1
17504991814,2cyclictest30893-21/usr/sbin/munin1
17504991814,2cyclictest18698-21/usr/sbin/munin1
17504991814,2cyclictest16769-21/usr/sbin/munin1
17504991814,2cyclictest12685-21/usr/sbin/munin1
17504991813,3cyclictest29652-21aten2_r9power_p1
17504991813,3cyclictest27434-21mailstats1
17504991813,3cyclictest25402-21seq1
17504991813,3cyclictest24911-21cat1
17504991813,3cyclictest23167-21gzip1
17504991813,3cyclictest21-21ksoftirqd/11
17504991813,3cyclictest2105-21date1
17504991813,3cyclictest13795-21aten2_r9power_v1
17504991813,3cyclictest10655-21/usr/sbin/munin1
17504991812,4cyclictest610-21grep1
17504991812,4cyclictest18953-21cat1
17504991811,4cyclictest32548-21ls1
17504991811,4cyclictest28295-21idleruntime-cro1
17500991816,1cyclictest0-21swapper/00
17500991816,1cyclictest0-21swapper/00
17500991814,2cyclictest289902sleep00
17500991814,2cyclictest22770-21/usr/sbin/munin0
17500991814,2cyclictest2176-21/usr/sbin/munin0
17500991814,2cyclictest20836-21/usr/sbin/munin0
17500991814,2cyclictest17650-21/usr/sbin/munin0
17500991813,3cyclictest7325-21cat0
17500991813,3cyclictest665-21runrttasks0
17500991813,3cyclictest665-21runrttasks0
17500991813,3cyclictest6533-21sh0
17500991813,3cyclictest6216-21latency_hist0
17500991813,3cyclictest4097-21seq0
17500991813,3cyclictest30893-21/usr/sbin/munin0
17500991813,3cyclictest24164-21ps0
17500991813,3cyclictest24115-21dump-pmu-power0
17500991813,3cyclictest21609-21seq0
17500991813,3cyclictest2082-21systemd-journal0
17500991813,3cyclictest20278-21seq0
17500991813,3cyclictest15405-21sed0
17500991813,3cyclictest12567-21/usr/sbin/munin0
17500991813,3cyclictest10254-21interrupts0
17500991812,4cyclictest29685-21grep0
1751199173,9cyclictest12703-21apt-get3
1751199171,5cyclictest0-21swapper/33
1751199171,5cyclictest0-21swapper/33
17511991715,1cyclictest0-21swapper/33
17511991712,3cyclictest9576-21pmu-power3
17511991712,3cyclictest9576-21pmu-power3
17511991712,3cyclictest35-21ksoftirqd/33
17511991712,3cyclictest2586-21cpuspeed3
17511991712,3cyclictest23644-21ntp_kernel_pll_3
17511991712,3cyclictest11212-21basename3
17511991711,3cyclictest15220-21cut3
17511991710,4cyclictest27676-21fw_packets3
17507991712,3cyclictest28561-21awk2
1750499175,10cyclictest1806-21unixbench_multi1
17504991713,2cyclictest6236-21/usr/sbin/munin1
17504991712,3cyclictest737-21seq1
17504991712,3cyclictest6130-21awk1
17504991712,3cyclictest25539-21cat1
17500991715,1cyclictest0-21swapper/00
17500991715,1cyclictest0-21swapper/00
17500991712,3cyclictest8726-21aten2.4-expect0
17500991712,3cyclictest6677-21diskstats0
17500991712,3cyclictest3812-21if_enp3s00
17500991712,3cyclictest22020-21ntpq0
17500991712,3cyclictest19559-21gltestperf0
17500991712,3cyclictest12157-21seq0
17500991711,4cyclictest10707-21aten2_r9power_e0
17511991612,2cyclictest12401-21load3
17511991611,3cyclictest7030-21expr3
17511991611,3cyclictest13417-21memory3
17504991611,3cyclictest665-21runrttasks1
17504991611,3cyclictest22544-21idleruntime-cro1
17500991612,2cyclictest665-21runrttasks0
17500991612,2cyclictest22117-21/usr/sbin/munin0
17511991513,1cyclictest0-21swapper/33
17511991510,3cyclictest665-21runrttasks3
17504991510,3cyclictest8895-21tr1
17504991510,3cyclictest8895-21tr1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional