You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-09-30 - 18:05
/usr/bin/Xorg /usr/bin/Xorg

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2 (updated Fri Sep 30, 2022 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
243222322252,25sleep10-21swapper/11
244122320283,24sleep00-21swapper/00
244662278241,25sleep20-21swapper/22
241942246171,26sleep30-21swapper/33
118872510,4sleep00-21swapper/00
24657995013,19cyclictest29031-21cat0
321502460,1sleep30-21swapper/33
24657993317,13cyclictest25325-21awk0
24657993316,14cyclictest17303-21aten2_r9power_c0
24657993316,14cyclictest12113-21/usr/sbin/munin0
24657993313,17cyclictest24506-21perf0
36162320,2sleep00-21swapper/00
2465799329,21cyclictest14851-21ls0
2465799322,27cyclictest17781-21grep0
24657993212,17cyclictest10643-21munin-plugin-st0
24657993116,13cyclictest13711-21cat0
24657993110,19cyclictest29391-21cut0
2465799309,19cyclictest25059-21seq0
24657993011,17cyclictest4431-21cat0
24657993010,17cyclictest3208-21expr0
24657993010,17cyclictest22987-21munin-run0
24666992912,4cyclictest28-21ksoftirqd/22
2465799297,19cyclictest15915-21cat0
2465799292,24cyclictest10344-21cut0
24657992912,14cyclictest21315-21idleruntime0
24657992910,17cyclictest15054-21cron0
24657992910,16cyclictest12000-21timerandwakeup0
24666992815,11cyclictest28-21ksoftirqd/22
2465799289,17cyclictest0-21swapper/00
2465799288,18cyclictest7746-21expr0
2465799287,4cyclictest26259-21tr0
2465799281,5cyclictest16294-21munin-run0
2465799279,15cyclictest938-21aten2_r9power_e0
2465799279,15cyclictest938-21aten2_r9power_e0
2465799279,15cyclictest28489-21idleruntime0
2465799279,15cyclictest15151-21cstates0
2465799278,16cyclictest31192-21aten2_r9power_c0
2465799278,16cyclictest30108-21cpuspeed0
2465799278,16cyclictest0-21swapper/00
2465799277,17cyclictest7664-21processes0
2465799271,6cyclictest1967-21munin-run0
2465799271,6cyclictest1967-21munin-run0
2465799271,24cyclictest30423-21sshd0
24657992712,13cyclictest9307-21latency0
24657992712,13cyclictest9307-21latency0
24657992711,14cyclictest30682-21/usr/sbin/munin0
2465799270,6cyclictest9886-21awk0
24666992617,2cyclictest28-21ksoftirqd/22
2465799268,15cyclictest16877-21cut0
2465799268,15cyclictest16877-21cut0
2465799267,17cyclictest32564-21unixbench-2d0
2465799267,16cyclictest20467-21forks0
2465799267,16cyclictest10885-21tr0
2465799266,4cyclictest4021-21unixbench_singl0
2465799266,2cyclictest24994-21basename0
2465799265,2cyclictest0-21swapper/00
2465799264,4cyclictest4112-21latency_hist0
2465799262,5cyclictest7153-21munin-run0
2465799261,5cyclictest10237-21grep0
2466699259,3cyclictest28-21ksoftirqd/22
24666992515,8cyclictest271rcuc/22
24661992520,3cyclictest14914-21expr1
2465799259,13cyclictest12956-21aten2_r9power_v0
2465799257,15cyclictest23126-21uname0
2465799256,3cyclictest25690-21gltestperf0
2465799256,17cyclictest19478-21pmu-power0
2465799256,16cyclictest8202-21unixbench_multi0
2466699247,3cyclictest111rcu_preempt2
24666992419,3cyclictest28-21ksoftirqd/22
24666992417,4cyclictest17329-21tr2
2465799247,15cyclictest1548-21cut0
2465799246,3cyclictest19923-21kernelversion0
2465799245,2cyclictest0-21swapper/00
2465799244,3cyclictest24943-21gltestperf0
2465799244,3cyclictest24943-21gltestperf0
2465799241,5cyclictest7893-21cron0
2465799241,5cyclictest5853-21timerwakeupswit0
2465799240,8cyclictest0-21swapper/00
60832230,1sleep30-21swapper/33
263722230,3sleep32467099cyclictest3
2466699231,19cyclictest28862-1kworker/2:2H2
24666992310,4cyclictest28-21ksoftirqd/22
24666992310,4cyclictest28-21ksoftirqd/22
24666992310,11cyclictest20322-21date2
24661992317,4cyclictest7166-21ls1
2465799235,3cyclictest0-21swapper/00
2465799233,3cyclictest1642-21pmu-power0
2465799231,5cyclictest22464-21gltestperf0
2465799231,4cyclictest26736-21munin-node0
2465799231,4cyclictest19011-21grep0
2465799231,3cyclictest322-21systemd-journal0
183782230,2sleep10-21swapper/11
34132220,1sleep10-21swapper/11
2466699228,5cyclictest111rcu_preempt2
2466699227,2cyclictest111rcu_preempt2
2466699223,6cyclictest28-21ksoftirqd/22
2466699223,6cyclictest28-21ksoftirqd/22
2466699222,7cyclictest28-21ksoftirqd/22
2466699222,7cyclictest28-21ksoftirqd/22
2466699222,17cyclictest24473-21cron2
2466699222,10cyclictest28-21ksoftirqd/22
24666992218,3cyclictest28-21ksoftirqd/22
24666992217,3cyclictest28-21ksoftirqd/22
24666992217,3cyclictest28-21ksoftirqd/22
24666992217,3cyclictest271rcuc/22
2466699221,5cyclictest0-21swapper/22
2466699221,5cyclictest0-21swapper/22
2466699221,18cyclictest2449-21sendmail2
2466699221,18cyclictest11122-21sendmail2
2466699220,19cyclictest3931-21munin-run2
2465799221,5cyclictest5627-21latency0
316952210,1sleep20-21swapper/22
24670992116,3cyclictest7753-21threads3
24670992116,3cyclictest19514-21missed_timers3
2466699213,16cyclictest22984-21latency_hist2
2466699212,6cyclictest28-21ksoftirqd/22
2466699212,6cyclictest28-21ksoftirqd/22
2466699212,6cyclictest28-21ksoftirqd/22
2466699212,6cyclictest28-21ksoftirqd/22
2466699212,5cyclictest0-21swapper/22
2466699212,3cyclictest28-21ksoftirqd/22
2466699212,17cyclictest24266-21cat2
24666992117,3cyclictest28-21ksoftirqd/22
2466699211,6cyclictest28-21ksoftirqd/22
2466699211,6cyclictest28-21ksoftirqd/22
2466699211,6cyclictest0-21swapper/22
24666992115,4cyclictest30779-21ntp_kernel_pll_2
24666992115,3cyclictest28798-21ntpq2
2466699211,3cyclictest7550-1kworker/2:2H2
2466699211,17cyclictest4688-21munin-run2
24666992111,2cyclictest111rcu_preempt2
2466699211,10cyclictest28-21ksoftirqd/22
24661992116,3cyclictest4198-21/usr/sbin/munin1
24661992116,3cyclictest26658-21latency1
24670992015,3cyclictest880-21/usr/sbin/munin3
24670992015,3cyclictest880-21/usr/sbin/munin3
24670992015,3cyclictest7587-21latency3
24670992015,3cyclictest3718-21ntp_states3
24670992015,3cyclictest26029-21hostname3
24670992015,3cyclictest23245-21missed_timers3
24670992015,3cyclictest20491-21cat3
24670992015,3cyclictest18039-21/usr/sbin/munin3
24670992015,3cyclictest16268-21proc_pri3
24670992015,3cyclictest12908-21hostname3
24670992015,3cyclictest10805-21latency3
24670992014,4cyclictest9301-21df3
24670992014,4cyclictest505-21dbus-daemon3
24670992014,4cyclictest24918-21cat3
24670992014,4cyclictest2054-21cat3
24670992014,4cyclictest2054-21cat3
24670992014,3cyclictest21607-21cat3
2466699203,5cyclictest0-21swapper/22
2466699202,5cyclictest28-21ksoftirqd/22
2466699202,5cyclictest28-21ksoftirqd/22
2466699202,5cyclictest28-21ksoftirqd/22
2466699201,6cyclictest28-21ksoftirqd/22
2466699201,6cyclictest28-21ksoftirqd/22
2466699201,6cyclictest28-21ksoftirqd/22
2466699201,6cyclictest28-21ksoftirqd/22
2466699201,6cyclictest28-21ksoftirqd/22
2466699201,6cyclictest0-21swapper/22
2466699201,5cyclictest28-21ksoftirqd/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
2466699201,5cyclictest0-21swapper/22
24666992015,3cyclictest28-21ksoftirqd/22
2466699200,6cyclictest28-21ksoftirqd/22
24661992016,2cyclictest12857-21/usr/sbin/munin1
24661992015,3cyclictest29933-21/usr/sbin/munin1
24661992015,3cyclictest28568-21cat1
24661992015,3cyclictest25802-21cat1
24661992015,3cyclictest23513-21gzip1
24661992015,3cyclictest1924-21gltestperf1
24661992014,4cyclictest18208-21seq1
24661992014,4cyclictest18208-21seq1
24661992014,4cyclictest11246-21cat1
24670991914,3cyclictest9492-21cpu3
24670991914,3cyclictest6944-21cat3
24670991914,3cyclictest6523-21ls3
24670991914,3cyclictest31411-21memory3
24670991914,3cyclictest30231-21uname3
24670991914,3cyclictest27539-21nfs4_client3
24670991914,3cyclictest21538-21sed3
24670991914,3cyclictest14447-21expr3
24670991914,3cyclictest1285-21cat3
24670991913,4cyclictest23409-21cat3
24670991913,3cyclictest21301-21grep3
24670991912,4cyclictest8385-21sort3
2467099191,16cyclictest0-21swapper/33
2467099191,16cyclictest0-21swapper/33
24666991912,4cyclictest20109-21aten2_r9power_p2
2466199198,9cyclictest20134-21aten2_r9power_p1
24661991915,2cyclictest31156-21/usr/sbin/munin1
24661991915,2cyclictest14080-21/usr/sbin/munin1
24661991914,3cyclictest8470-21cat1
24661991914,3cyclictest3844-21expr1
24661991914,3cyclictest3483-21irqstats1
24661991914,3cyclictest32275-21expr1
24661991914,3cyclictest30682-21/usr/sbin/munin1
24661991914,3cyclictest29365-21/usr/sbin/munin1
24661991914,3cyclictest27560-21cat1
24661991914,3cyclictest25266-21expr1
24661991914,3cyclictest25206-21/usr/sbin/munin1
24661991914,3cyclictest24703-21expr1
24661991914,3cyclictest24703-21expr1
24661991914,3cyclictest21369-21ntp_states1
24661991914,3cyclictest15677-21expr1
24661991914,3cyclictest12113-21/usr/sbin/munin1
24661991914,3cyclictest11752-21awk1
24661991914,3cyclictest10813-21wc1
24661991914,3cyclictest10233-21sh1
24661991913,4cyclictest8184-21seq1
24661991913,4cyclictest6154-21cat1
24661991913,4cyclictest31446-21cut1
24670991814,2cyclictest700-21/usr/sbin/munin3
24670991814,2cyclictest11362-21/usr/sbin/munin3
24670991813,3cyclictest665-21runrttasks3
24670991813,3cyclictest665-21runrttasks3
24670991813,3cyclictest3486-21cat3
24670991813,3cyclictest3235-21basename3
24670991813,3cyclictest29933-21/usr/sbin/munin3
24670991813,3cyclictest28796-21ntp_kernel_err3
24670991813,3cyclictest27718-21expr3
24670991813,3cyclictest25309-21sed3
24670991813,3cyclictest23977-21unixbench-2d3
24670991813,3cyclictest20952-21expr3
24670991813,3cyclictest18471-21cat3
24670991813,3cyclictest14842-21aten2_r9power_c3
24670991813,3cyclictest12638-21idleruntime3
24670991813,3cyclictest12125-21unixbench_multi3
24670991813,3cyclictest10942-21ls3
24670991812,3cyclictest3666-21cpuspeed_turbos3
24670991812,3cyclictest23208-21timerwakeupswit3
24670991811,4cyclictest30923-21dump-pmu-power3
2467099180,16cyclictest0-21swapper/33
24661991816,1cyclictest0-21swapper/11
24661991815,2cyclictest0-21swapper/11
24661991814,3cyclictest18533-21/usr/sbin/munin1
24661991813,3cyclictest8298-21pluginstate1
24661991813,3cyclictest5092-21df_inode1
24661991813,3cyclictest3184-21gltestperf1
24661991813,3cyclictest27964-21/usr/sbin/munin1
24661991813,3cyclictest23339-21grep1
24661991813,3cyclictest23115-21expr1
24661991813,3cyclictest21850-21seq1
24661991813,3cyclictest1961-21latency_hist1
24661991813,3cyclictest1961-21latency_hist1
24661991813,3cyclictest19284-21/usr/sbin/munin1
24661991813,3cyclictest19143-21expr1
24661991813,3cyclictest18137-21aten2_r9power_v1
24661991813,3cyclictest15199-21cat1
24661991813,3cyclictest12056-21wc1
24661991812,4cyclictest16298-21cat1
24661991812,4cyclictest15153-21sed1
2466199181,14cyclictest9128-21grep1
2466199181,14cyclictest9128-21grep1
2467099178,6cyclictest0-21swapper/33
24670991712,3cyclictest7478-21cut3
24670991712,3cyclictest5555-21cat3
24670991712,3cyclictest5427-21acpi3
24670991712,3cyclictest32173-21ntpq3
24670991712,3cyclictest30657-21date3
24670991712,3cyclictest16887-21aten2_r9power_p3
24670991712,3cyclictest16887-21aten2_r9power_p3
24670991712,3cyclictest12983-21expr3
24670991711,4cyclictest17214-21grep3
24670991711,3cyclictest2582-21expr3
2466199179,6cyclictest1192-21cut1
2466199179,6cyclictest1192-21cut1
24661991713,2cyclictest700-21/usr/sbin/munin1
24661991712,3cyclictest7255-21expr1
24661991712,3cyclictest665-21runrttasks1
24661991712,3cyclictest6512-21expr1
24661991712,3cyclictest28932-21seq1
24661991712,3cyclictest23657-21forks1
24661991711,4cyclictest26792-21aten2_r9power_p1
24661991711,4cyclictest13636-21cat1
24670991612,2cyclictest16851-21cstates3
24670991611,3cyclictest27818-21if_err_enp3s03
24661991611,3cyclictest17485-21cat1
2466199160,1cyclictest0-21swapper/11
24670991510,3cyclictest18987-21gltestperf3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional