You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-30 - 17:52
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Sun Nov 30, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
176032315276,26sleep10-21swapper/11
191862302265,25sleep30-21swapper/33
190772260203,44sleep00-21swapper/00
192282233195,25sleep20-21swapper/22
1952299214210,2cyclictest0-21swapper/33
1951599210205,3cyclictest0-21swapper/11
1951799188182,4cyclictest23223-21strings2
1951499142138,2cyclictest0-21swapper/00
2092921400,1sleep00-21swapper/00
279322300,7sleep327935-21pmu-power3
1952299297,20cyclictest0-21swapper/33
19515992720,4cyclictest5855-21idleruntime-cro1
11902270,4sleep0101rcuc/00
19522992518,4cyclictest505-21dbus-daemon3
19517992519,4cyclictest29374-21expr2
19517992513,10cyclictest10281-21cat2
19522992417,4cyclictest6617-21cat3
19522992417,3cyclictest23866-21tr3
19517992411,11cyclictest7509-21users2
1952299235,6cyclictest2082-21systemd-journal3
1952299233,19cyclictest0-21swapper/33
19522992315,5cyclictest505-21dbus-daemon3
1951799232,20cyclictest0-21swapper/22
19517992310,10cyclictest16774-21expr2
19515992312,6cyclictest8891-21apt-get1
19522992215,4cyclictest21792-21dpkg3
19522992210,7cyclictest665-21runrttasks3
1951799223,17cyclictest25620-21cat2
1951799223,17cyclictest25620-21cat2
19517992214,5cyclictest11941-21seq2
1951799221,3cyclictest26639-21munin-run2
1951799221,3cyclictest20132-21munin-run2
1951799221,18cyclictest27543-21munin-run2
1951799221,18cyclictest15530-21diskstats2
1951799220,4cyclictest21624-21cut2
19515992216,4cyclictest26658-21idleruntime-cro1
19515992215,4cyclictest8690-21seq1
19515992215,4cyclictest6209-21cat1
19515992215,4cyclictest1714-21proc_pri1
133842220,4sleep21951799cyclictest2
265882211,8sleep20-21swapper/22
1952299215,4cyclictest0-21swapper/33
1952299214,9cyclictest6113-21apt-get3
19522992112,5cyclictest12821-21sh3
1952299211,17cyclictest28248-21grep3
1951799219,3cyclictest21039-21expr2
1951799212,17cyclictest8832-21cat2
19517992116,3cyclictest6282-21aten2_r9power_c2
19517992116,3cyclictest312-21cpuspeed_turbos2
19517992116,3cyclictest28-21ksoftirqd/22
19517992116,3cyclictest16518-21timerwakeupswit2
19517992115,4cyclictest2168-21df_inode2
19517992115,4cyclictest11471-21diskstats2
19517992115,3cyclictest2191-21acpi2
19517992114,4cyclictest2568-21date2
1951799211,3cyclictest16059-21awk2
1951799211,18cyclictest505-21dbus-daemon2
1951799211,18cyclictest10837-21procmail2
1951799210,3cyclictest29859-21munin-run2
1951799210,3cyclictest23164-21munin-run2
1951799210,3cyclictest18289-21awk2
1951799210,18cyclictest6580-21munin-run2
19515992115,4cyclictest6073-21seq1
19515992115,3cyclictest21145-21missed_timers1
1951599210,19cyclictest0-21swapper/11
19514992116,3cyclictest22285-21gdbus0
19514992115,4cyclictest11991-21basename0
19514992114,4cyclictest14104-21which0
1952299205,2cyclictest0-21swapper/33
1952299204,13cyclictest23980-21tr3
1952299204,13cyclictest23980-21tr3
1952299203,4cyclictest0-21swapper/33
1952299203,10cyclictest22893-21apt-get3
19522992017,2cyclictest0-21swapper/33
19522992016,3cyclictest35-21ksoftirqd/33
19522992015,3cyclictest35-21ksoftirqd/33
19522992014,4cyclictest22392-21latency_hist3
19522992014,4cyclictest1937-21sh3
19522992013,4cyclictest8612-21idleruntime-cro3
19522992012,5cyclictest31477-21tail3
1951799209,9cyclictest5845-21latency_hist2
1951799202,2cyclictest0-21swapper/22
19517992016,3cyclictest28-21ksoftirqd/22
19517992016,2cyclictest24001-21timerandwakeup2
19517992015,3cyclictest9628-21missed_timers2
19517992015,3cyclictest25552-21/usr/sbin/munin2
19517992015,3cyclictest24656-21switchtime2
19517992015,3cyclictest16714-21diskstats2
19517992015,3cyclictest15795-21uptime2
19517992014,4cyclictest5917-21seq2
19517992014,3cyclictest32328-21grep2
1951799201,3cyclictest22007-21cat2
19517992013,4cyclictest28210-21wc2
1951799201,2cyclictest21783-21apt-get2
1951799201,17cyclictest30465-1kworker/2:0H2
1951799200,3cyclictest29369-21diskstats2
1951799200,3cyclictest28235-21cron2
1951799200,18cyclictest24955-21kworker/2:32
19515992018,1cyclictest0-21swapper/11
1951599201,4cyclictest30701-21cron1
19515992014,4cyclictest6964-21sed1
19515992014,4cyclictest22214-21sort1
19515992014,4cyclictest19016-21seq1
19515992014,4cyclictest15354-21cat1
19515992014,4cyclictest11209-21/usr/sbin/munin1
19514992016,2cyclictest0-21swapper/00
19514992015,3cyclictest5734-21seq0
19514992015,3cyclictest10334-21acpi0
19514992014,4cyclictest25837-21seq0
19514992014,4cyclictest21264-21cat0
1951499201,16cyclictest6592-21dump-pmu-power0
240632190,9sleep09-21ksoftirqd/00
1952299192,4cyclictest0-21swapper/33
1952299192,10cyclictest2212-21taskset3
1952299191,5cyclictest0-21swapper/33
19522991915,2cyclictest26539-21sed3
19522991914,3cyclictest4610-21expr3
19522991914,3cyclictest32219-21sed3
19522991913,4cyclictest18357-21cut3
19522991913,4cyclictest16767-21ls3
19522991912,4cyclictest21258-21open_files3
19522991912,4cyclictest17647-21grep3
19522991911,5cyclictest505-21dbus-daemon3
19522991911,5cyclictest505-21dbus-daemon3
19522991910,5cyclictest26192-21munin-plugin-st3
1951799193,14cyclictest8645-21sendmail-mta2
19517991914,3cyclictest908-21ls2
19517991914,3cyclictest21042-21latency2
19517991914,3cyclictest12889-21latency2
19517991914,3cyclictest12141-21cut2
19517991914,3cyclictest11744-21sed2
19517991913,4cyclictest28104-21wc2
19517991913,4cyclictest26391-21cut2
19517991912,4cyclictest32489-21expr2
1951799190,3cyclictest14817-1kworker/2:1H2
1951799190,17cyclictest14875-21latency_hist2
19515991915,2cyclictest6820-21/usr/sbin/munin1
19515991915,2cyclictest26984-21/usr/sbin/munin1
19515991915,2cyclictest14382-21/usr/sbin/munin1
19515991915,2cyclictest13051-21/usr/sbin/munin1
19515991914,3cyclictest8126-21/usr/sbin/munin1
19515991914,3cyclictest30953-21/usr/sbin/munin1
19515991914,3cyclictest2567-21expr1
19515991914,3cyclictest23529-21/usr/sbin/munin1
19515991914,3cyclictest19987-21/usr/sbin/munin1
19515991914,3cyclictest18460-21/usr/sbin/munin1
19515991914,3cyclictest16271-21/usr/sbin/munin1
19515991914,3cyclictest12353-21/usr/sbin/munin1
19515991913,4cyclictest494-21df_inode1
19515991913,4cyclictest17644-21expr1
19515991913,4cyclictest10872-21expr1
19515991913,3cyclictest26648-21switchtime1
19515991913,3cyclictest1871-21aten2.4-expect1
19515991912,4cyclictest27417-21gltestperf1
19514991916,2cyclictest0-21swapper/00
19514991915,2cyclictest3802-21processes0
19514991915,2cyclictest24968-21/usr/sbin/munin0
19514991915,2cyclictest17200-21aten2_r9power_p0
19514991914,3cyclictest665-21runrttasks0
19514991914,3cyclictest5752-21seq0
19514991914,3cyclictest3501-21awk0
19514991914,3cyclictest28477-21seq0
19514991914,3cyclictest27851-21latency_hist0
19514991914,3cyclictest2332-21seq0
19514991914,3cyclictest22283-21sh0
19514991914,3cyclictest21941-21diskstats0
19514991913,4cyclictest9955-21basename0
19514991913,4cyclictest31291-21ls0
19514991913,4cyclictest12666-21seq0
19514991912,4cyclictest24655-21grep0
19514991912,4cyclictest24655-21grep0
19514991911,2cyclictest30729-21perf0
1952299183,8cyclictest759-21apt-get3
19522991816,1cyclictest0-21swapper/33
19522991816,1cyclictest0-21swapper/33
19522991816,1cyclictest0-21swapper/33
19522991816,1cyclictest0-21swapper/33
19522991814,2cyclictest23896-21sendmail_mailst3
19522991813,3cyclictest35-21ksoftirqd/33
19522991813,3cyclictest27671-21grep3
19522991813,3cyclictest24968-21/usr/sbin/munin3
19522991813,3cyclictest2338-21cat3
19522991813,3cyclictest17894-21if_enp2s03
19522991813,3cyclictest14835-21latency_hist3
19522991812,4cyclictest7356-21ls3
19522991812,4cyclictest1-21systemd3
19522991812,3cyclictest16090-21processes3
19522991811,4cyclictest32232-21cut3
19522991811,4cyclictest11533-21timerandwakeup3
19517991813,3cyclictest3635-21ntp_kernel_pll_2
19517991813,3cyclictest31165-21kernelversion2
19517991813,3cyclictest28801-21grep2
19517991813,3cyclictest20330-21latency_hist2
19515991815,2cyclictest0-21swapper/11
19515991814,2cyclictest30502-21/usr/sbin/munin1
19515991814,2cyclictest22831-21/usr/sbin/munin1
19515991813,3cyclictest4849-21seq1
19515991813,3cyclictest3545-21cut1
19515991813,3cyclictest32532-21expr1
19515991813,3cyclictest31802-21seq1
19515991813,3cyclictest31033-21/usr/sbin/munin1
19515991813,3cyclictest28187-21cut1
19515991813,3cyclictest27362-21awk1
19515991813,3cyclictest25513-21sendmail1
19515991813,3cyclictest25513-21sendmail1
19515991813,3cyclictest19606-21ls1
19515991813,3cyclictest11434-21cat1
19515991812,4cyclictest533-21awk1
19515991812,4cyclictest29821-21awk1
19515991812,4cyclictest20500-21find1
19515991812,4cyclictest15024-21cron1
19515991812,3cyclictest18925-21if_err_enp2s01
1951599181,16cyclictest0-21swapper/11
19515991811,4cyclictest6204-21aten2.4-expect1
19514991816,1cyclictest0-21swapper/00
19514991816,1cyclictest0-21swapper/00
19514991816,1cyclictest0-21swapper/00
19514991816,1cyclictest0-21swapper/00
19514991816,1cyclictest0-21swapper/00
19514991814,2cyclictest28080-21/usr/sbin/munin0
19514991814,2cyclictest13237-21/usr/sbin/munin0
19514991813,3cyclictest6820-21/usr/sbin/munin0
19514991813,3cyclictest6357-21aten2.4-expect0
19514991813,3cyclictest29537-21expr0
19514991813,3cyclictest28595-21seq0
19514991813,3cyclictest27472-21expr0
19514991813,3cyclictest25757-21awk0
19514991813,3cyclictest25324-21idleruntime-cro0
19514991813,3cyclictest2486-21sed0
19514991813,3cyclictest21250-21cron0
19514991813,3cyclictest19352-21ntpq0
19514991813,3cyclictest18680-21expr0
19514991813,3cyclictest15994-21awk0
19514991813,3cyclictest13974-21seq0
19514991813,3cyclictest11051-21seq0
19514991813,3cyclictest10361-21seq0
19514991812,4cyclictest665-21runrttasks0
19514991812,4cyclictest5406-21cat0
19514991812,4cyclictest3054-21sed0
19514991812,4cyclictest17905-21cat0
19514991812,4cyclictest16665-21expr0
19514991812,3cyclictest30997-21sh0
19522991713,2cyclictest30502-21/usr/sbin/munin3
19522991712,3cyclictest872-21cstates3
19522991712,3cyclictest665-21runrttasks3
19522991712,3cyclictest5622-21sed3
19522991712,3cyclictest30745-21interrupts3
19522991711,4cyclictest11052-21ntp_kernel_pll_3
19522991710,4cyclictest6974-21aten2_r9power_c3
1951599174,7cyclictest19458-21apt-get1
19515991713,2cyclictest25757-21/usr/sbin/munin1
19515991713,2cyclictest21381-21/usr/sbin/munin1
19515991712,3cyclictest8853-21if_enp2s01
19515991712,3cyclictest29063-21sh1
19515991712,3cyclictest24887-21grep1
19515991712,3cyclictest10450-21tr1
19515991711,4cyclictest15273-21awk1
19515991711,4cyclictest12324-21cut1
19515991711,3cyclictest16667-21cpuspeed_turbos1
1951599170,1cyclictest0-21swapper/11
19514991715,1cyclictest0-21swapper/00
19514991712,3cyclictest3321-21cat0
19514991712,3cyclictest25552-21/usr/sbin/munin0
19514991712,3cyclictest16971-21basename0
19514991712,3cyclictest12279-21cut0
1951499171,15cyclictest0-21swapper/00
19514991710,4cyclictest8772-21grep0
19522991611,3cyclictest13326-21which3
1951799163,7cyclictest759-21apt-get2
19514991611,3cyclictest7137-21cpuspeed0
1952299152,10cyclictest9397-21tail3
1952299149,3cyclictest0-21swapper/33
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional