You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-19 - 18:17
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Fri Apr 19, 2024 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
278732312252,47sleep00-21swapper/00
262372309271,25sleep30-21swapper/33
2814399285277,5cyclictest2241-21perf1
2814399285277,5cyclictest2241-21perf1
277832253214,25sleep10-21swapper/11
271702232190,16sleep20-21swapper/22
2813899181174,4cyclictest2246-21awk0
2813899181174,4cyclictest2246-21awk0
2814799174170,3cyclictest0-21swapper/22
2814799174170,3cyclictest0-21swapper/22
1306021350,2sleep2271rcuc/22
2955221230,3sleep32815299cyclictest3
281529910398,3cyclictest2222-21munin-run3
281529910398,3cyclictest2222-21munin-run3
322072500,2sleep00-21swapper/00
248192460,1sleep00-21swapper/00
28143993613,4cyclictest7289-21grep1
28143993513,4cyclictest6787-21cat1
28143993413,4cyclictest30382-21seq1
28143993413,3cyclictest16094-21awk1
28143993412,4cyclictest424-21cat1
28143993412,4cyclictest424-21cat1
2814399340,16cyclictest186212sleep11
2814399332,11cyclictest16028-21grep1
28143993314,3cyclictest16676-21/usr/sbin/munin1
28143993312,3cyclictest21798-21cat1
28143993311,4cyclictest23438-21gltestperf1
28143993311,3cyclictest21383-21sed1
28143993311,3cyclictest15051-21expr1
2814399322,8cyclictest8655-21apt-get1
28143993211,3cyclictest4464-21expr1
28143993211,3cyclictest2260-21awk1
28143993210,4cyclictest27697-21grep1
2814399311,9cyclictest10903-21apt-get1
28143993112,3cyclictest665-21runrttasks1
28143993110,3cyclictest24530-21latency_hist1
28143993013,2cyclictest16612-21/usr/sbin/munin1
28143993013,2cyclictest12885-21/usr/sbin/munin1
326492290,1sleep00-21swapper/00
326492290,1sleep00-21swapper/00
2814399291,7cyclictest18915-21apt-get1
2814399287,20cyclictest0-21swapper/11
2814399283,6cyclictest2478-21apt-get1
2814399282,7cyclictest30931-21apt-get1
309222260,4sleep12814399cyclictest1
137592250,10sleep09-21ksoftirqd/00
28147992416,4cyclictest29315-21apt-get2
2814799241,20cyclictest10333-21gdbus2
2814799241,19cyclictest2882-21apt-get2
28143992414,1cyclictest0-21swapper/11
28138992419,3cyclictest9-21ksoftirqd/00
28138992419,3cyclictest9-21ksoftirqd/00
2814799232,18cyclictest0-21swapper/22
2814799231,2cyclictest111rcu_preempt2
2814799231,19cyclictest28382-21munin-run2
2814799231,18cyclictest32169-21perf2
28147992311,10cyclictest20725-21latency_hist2
28138992315,5cyclictest22909-21apt-get0
28152992216,3cyclictest2289-21aten2_r9power_p3
2814799224,16cyclictest22747-21awk2
2814799223,17cyclictest15395-21cat2
2814799223,17cyclictest10747-21cat2
2814799222,19cyclictest0-21swapper/22
2814799222,17cyclictest0-21swapper/22
28147992217,3cyclictest4252-21cut2
28147992215,4cyclictest3963-21apt-get2
28147992214,4cyclictest505-21dbus-daemon2
2814799221,3cyclictest8660-21awk2
2814799221,3cyclictest8053-1kworker/2:2H2
2814799220,4cyclictest32664-21turbostat.cron2
28138992218,2cyclictest9-21ksoftirqd/00
28138992217,3cyclictest30920-21grep0
28152992115,4cyclictest23337-21diskstats3
28152992115,3cyclictest28096-21aten2_r9power_c3
2814799213,16cyclictest4258-21procmail2
2814799213,11cyclictest28319-21taskset2
28147992116,3cyclictest28-21ksoftirqd/22
28147992116,3cyclictest18386-21open_inodes2
28147992115,4cyclictest22322-21seq2
2814799211,3cyclictest6343-21apt-config2
2814799211,3cyclictest18426-21munin-run2
2814799211,18cyclictest1-21systemd2
2814799211,17cyclictest28673-21munin-run2
28143992116,3cyclictest24667-21aten2.4-expect1
2813899213,16cyclictest22719-21cron0
28138992115,4cyclictest2773-21sed0
28138992115,4cyclictest14092-21irqstats0
28138992112,5cyclictest12608-21apt-get0
2815299203,2cyclictest25399-21taskset3
28152992015,3cyclictest6621-21sh3
28152992015,3cyclictest24713-21sh3
28152992014,3cyclictest25618-21processes3
28152992013,4cyclictest7724-21ntpq3
2814799203,15cyclictest32375-21latency_hist2
2814799203,12cyclictest6025-21apt-get2
2814799202,16cyclictest6615-21latency_hist2
28147992016,2cyclictest5118-21irqstats2
28147992015,3cyclictest16344-21ntpq2
28147992014,4cyclictest15079-21df_inode2
28147992013,5cyclictest7707-21awk2
2814799201,17cyclictest18378-21apt2
2814799201,17cyclictest0-21swapper/22
2814799201,16cyclictest14847-21tr2
2814799200,3cyclictest24374-21run-parts2
2814799200,3cyclictest14352-21perf2
2814799200,18cyclictest28926-21gpgv2
2814799200,18cyclictest21209-21munin-run2
2814799200,18cyclictest20644-21cron2
28143992015,3cyclictest5357-21sh1
28143992015,3cyclictest13437-21/usr/sbin/munin1
28143992013,5cyclictest25503-21cron1
2813899202,16cyclictest17122-21grep0
28138992018,1cyclictest0-21swapper/00
28138992015,3cyclictest8581-21/usr/sbin/munin0
28138992015,3cyclictest15392-21gltestperf0
28138992015,3cyclictest10647-21/usr/sbin/munin0
28138992014,4cyclictest8646-21find0
28152991916,2cyclictest0-21swapper/33
28152991914,3cyclictest590-21expr3
28152991914,3cyclictest590-21expr3
28152991914,3cyclictest31815-21open_inodes3
28152991914,3cyclictest27724-21needreboot3
28152991914,3cyclictest25741-21memory3
28152991914,3cyclictest2164-21cat3
28152991914,3cyclictest21384-21head3
28152991914,3cyclictest18984-21apt3
28152991914,3cyclictest18885-21date3
28152991914,3cyclictest18740-21cat3
28152991914,3cyclictest12910-21ls3
28152991914,3cyclictest11995-21ntp_kernel_pll_3
28152991914,3cyclictest11513-21pluginstate3
28152991914,3cyclictest10746-21cut3
28152991914,3cyclictest10695-21aten2.4-expect3
28152991913,4cyclictest7222-21df3
28152991913,4cyclictest5284-21needreboot3
28152991913,4cyclictest4277-21cut3
28152991913,4cyclictest31512-21uname3
28152991913,4cyclictest31361-21diskstats3
28152991913,4cyclictest31114-21sed3
28152991913,4cyclictest16490-21seq3
28152991913,4cyclictest15185-21sh3
28152991913,4cyclictest1486-21cat3
2814799192,15cyclictest3919-21cat2
2814799192,15cyclictest0-21swapper/22
28147991915,2cyclictest1707-21sendmail2
28147991914,3cyclictest651-21fw_packets2
28147991914,3cyclictest651-21fw_packets2
28147991914,3cyclictest30386-21latency_hist2
28147991914,3cyclictest22013-21ls2
28147991914,3cyclictest21996-21sed2
28147991914,3cyclictest1661-21missed_timers2
28147991914,3cyclictest12638-21munin-run2
28147991913,4cyclictest26402-21seq2
28147991913,4cyclictest20111-21seq2
28147991913,3cyclictest13776-21sh2
2814799190,17cyclictest0-21swapper/22
2814799190,17cyclictest0-21swapper/22
28143991914,3cyclictest665-21runrttasks1
28143991914,3cyclictest4516-21apt1
28143991914,3cyclictest32048-21cut1
28143991914,3cyclictest25003-21apt-get1
28143991913,4cyclictest8644-21readlink1
28143991913,4cyclictest356-21diskstats1
28143991913,4cyclictest356-21diskstats1
28143991913,4cyclictest30731-21cat1
28143991913,4cyclictest29741-21diskstats1
28143991913,4cyclictest28629-21expr1
28143991913,4cyclictest27932-21date1
28143991913,4cyclictest18858-21cat1
28143991913,4cyclictest11836-21cat1
2813899192,15cyclictest6832-21needreboot0
28138991917,1cyclictest0-21swapper/00
28138991915,2cyclictest6791-21/usr/sbin/munin0
28138991915,2cyclictest28916-21/usr/sbin/munin0
28138991915,2cyclictest26974-21/usr/sbin/munin0
28138991915,2cyclictest20896-21/usr/sbin/munin0
28138991915,2cyclictest19357-21sh0
28138991914,3cyclictest6778-21expr0
28138991914,3cyclictest31021-21aten2_r9power_v0
28138991914,3cyclictest28695-21snmpd0
28138991913,4cyclictest30904-21expr0
28138991913,4cyclictest29549-21sed0
2813899191,2cyclictest0-21swapper/00
28152991816,1cyclictest0-21swapper/33
28152991816,1cyclictest0-21swapper/33
28152991816,1cyclictest0-21swapper/33
28152991816,1cyclictest0-21swapper/33
28152991816,1cyclictest0-21swapper/33
28152991816,1cyclictest0-21swapper/33
28152991814,2cyclictest31649-21unixbench-2d3
28152991814,2cyclictest25327-21expr3
28152991814,2cyclictest21028-21expr3
28152991814,2cyclictest14643-21/usr/sbin/munin3
28152991813,3cyclictest9629-21rt-features3
28152991813,3cyclictest4929-21df3
28152991813,3cyclictest4601-21interrupts3
28152991813,3cyclictest35-21ksoftirqd/33
28152991813,3cyclictest29061-21expr3
28152991813,3cyclictest27222-21cat3
28152991813,3cyclictest26679-21aten2_r9power_e3
28152991813,3cyclictest15681-21switchtime3
28152991812,4cyclictest9807-21ls3
28147991816,1cyclictest0-21swapper/22
28147991814,2cyclictest25515-21ntp_states2
28147991812,4cyclictest26158-21cat2
28147991811,5cyclictest14157-21seq2
2814799180,1cyclictest0-21swapper/22
28143991814,2cyclictest8881-21/usr/sbin/munin1
28143991814,2cyclictest28072-21/usr/sbin/munin1
28143991813,3cyclictest8870-21expr1
28143991813,3cyclictest6747-21sed1
28143991813,3cyclictest665-21runrttasks1
28143991813,3cyclictest3399-21expr1
28143991813,3cyclictest22714-21sshd1
28143991813,3cyclictest20177-21cat1
28143991813,3cyclictest18574-21sed1
28143991813,3cyclictest14384-21cat1
28143991813,3cyclictest12548-21cut1
28143991812,4cyclictest26292-21grep1
28143991812,4cyclictest19466-21expr1
28143991812,3cyclictest29083-21diskstats1
2813899189,5cyclictest18986-21apt-get0
2813899183,12cyclictest15446-21apt-get0
28138991813,3cyclictest665-21runrttasks0
28138991813,3cyclictest5203-21cat0
28138991813,3cyclictest4238-21idleruntime-cro0
28138991813,3cyclictest3614-21load0
28138991813,3cyclictest26714-21cat0
28138991813,3cyclictest26066-21cat0
28138991813,3cyclictest22894-21tr0
28138991813,3cyclictest11307-21cat0
28138991813,3cyclictest10199-21uptime0
28138991812,4cyclictest640-21sshd0
28138991812,4cyclictest22265-21cat0
28138991812,3cyclictest505-21dbus-daemon0
28138991812,3cyclictest2909-21latency0
28138991811,4cyclictest15015-21df_inode0
28138991811,4cyclictest1010-21cut0
28152991715,1cyclictest0-21swapper/33
28152991715,1cyclictest0-21swapper/33
28152991712,3cyclictest9570-21load3
28152991712,3cyclictest7690-21ls3
28152991712,3cyclictest3093-21cpuspeed3
28152991712,3cyclictest22594-21/usr/sbin/munin3
28152991712,3cyclictest16014-21basename3
28152991711,4cyclictest17378-21wc3
28147991712,3cyclictest23822-21aten2_r9power_e2
28147991710,4cyclictest30679-21sh2
2814799170,15cyclictest0-21swapper/22
28143991712,3cyclictest29250-21expr1
28143991712,3cyclictest26993-21apt-get1
28143991712,3cyclictest20902-21basename1
28143991712,3cyclictest14877-21/usr/sbin/munin1
28143991712,3cyclictest14430-21idleruntime-cro1
28143991711,4cyclictest26901-21expr1
28138991715,1cyclictest0-21swapper/00
28138991715,1cyclictest0-21swapper/00
28138991715,1cyclictest0-21swapper/00
28138991713,2cyclictest4868-21/usr/sbin/munin0
28138991713,2cyclictest31729-21sh0
28138991713,2cyclictest25512-21cut0
28138991713,2cyclictest19549-21aten2_r9power_p0
28138991712,3cyclictest9-21ksoftirqd/00
28138991712,3cyclictest665-21runrttasks0
28138991712,3cyclictest29612-21awk0
28138991712,3cyclictest27800-21ntp_states0
28138991712,3cyclictest18619-21apt-get0
28138991712,3cyclictest12650-21/usr/sbin/munin0
28138991712,3cyclictest10032-21cat0
28152991612,2cyclictest18800-21cpuspeed3
28152991612,2cyclictest143612chrt3
28152991611,3cyclictest35-21ksoftirqd/33
28152991611,3cyclictest11301-21expr3
2815299160,15cyclictest0-21swapper/33
28143991612,2cyclictest8134-21cron1
2814399160,15cyclictest0-21swapper/11
2813899162,9cyclictest20623-21apt-get0
28138991611,3cyclictest5073-21if_enp3s00
28152991513,1cyclictest0-21swapper/33
28138991511,2cyclictest665-21runrttasks0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional