You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-08-05 - 06:46

Intel(R) Atom(TM) Processor E3950 @ 1.60GHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rack9slot2 (updated Thu Aug 05, 2021 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
159232290207,68sleep00-21swapper/00
159212273193,44sleep30-21swapper/33
174952240205,23sleep20-21swapper/22
175492229192,24sleep10-21swapper/11
19712620,2sleep30-21swapper/33
155882580,3sleep31779099cyclictest3
97462450,4sleep09609-21latency_hist0
206492430,2sleep00-21swapper/00
223242420,1sleep30-21swapper/33
17788993327,4cyclictest4201-21sendmail2
17788993125,4cyclictest4897-21sh2
1778899261,6cyclictest27988-21sendmail-msp2
250132250,1sleep10-21swapper/11
17790992520,3cyclictest19589-21/usr/sbin/munin3
17788992518,4cyclictest23484-21cron2
17788992518,4cyclictest18776-21perf2
17775992520,3cyclictest14430-21tr0
1778899243,18cyclictest25644-21cat2
1778899243,17cyclictest0-21swapper/22
1778899243,17cyclictest0-21swapper/22
17788992418,4cyclictest12143-21awk2
17788992416,5cyclictest31418-21basename2
1778899241,4cyclictest5674-21perf2
1778899241,19cyclictest22253-21munin-run2
17790992317,4cyclictest505-21dbus-daemon3
1778899234,17cyclictest9455-21cat2
1778899234,17cyclictest11611-21awk2
1778899231,4cyclictest7661-21perf2
1778899231,4cyclictest7472-21date2
1778899231,19cyclictest26725-21munin-run2
1778899231,18cyclictest3434-40logrotate2
1778899230,5cyclictest29438-21sendmail2
219172220,1sleep00-21swapper/00
1778899223,17cyclictest1520-21cat2
1778899223,17cyclictest1520-21cat2
1778899221,3cyclictest505-21dbus-daemon2
1778899221,3cyclictest11429-21latency_hist2
17788992213,5cyclictest12825-21munin-run2
1778899221,18cyclictest31902-21munin-run2
1778899221,18cyclictest20778-21cron2
1778899221,18cyclictest16779-21munin-run2
1778899220,4cyclictest3578-1kworker/2:1H2
1778399222,18cyclictest32708-21wc1
17783992216,3cyclictest26974-21grep1
1777599222,17cyclictest10490-21uname0
17775992217,3cyclictest11966-21seq0
17790992116,3cyclictest3480-21rt-features3
17790992116,3cyclictest16637-21expr3
17790992115,4cyclictest9989-21expr3
17790992115,4cyclictest4825-21pluginstate3
17790992115,4cyclictest25093-21ntpq3
17790992115,4cyclictest14744-21df3
1778899212,17cyclictest19703-21awk2
1778899212,17cyclictest10967-21cat2
17788992115,4cyclictest27765-21sed2
17788992115,4cyclictest1245-21cut2
17788992114,4cyclictest322-21systemd-journal2
1778899211,3cyclictest12846-1kworker/2:3H2
1778399218,7cyclictest15512-21gltestperf1
17783992115,4cyclictest24012-21seq1
17783992115,4cyclictest19341-21tr1
17783992115,4cyclictest17556-21cron1
17783992115,4cyclictest15380-21wc1
17775992116,3cyclictest9702-21if_err_enp2s00
17775992116,3cyclictest5263-21aten2_r9power_v0
17775992115,4cyclictest5533-21seq0
17775992115,4cyclictest4782-21ls0
17775992115,4cyclictest32478-21seq0
17775992115,4cyclictest21523-21sendmail0
17775992115,4cyclictest21523-21sendmail0
76432200,1sleep30-21swapper/33
17790992016,2cyclictest800-21cstates3
17790992015,3cyclictest9227-21ntpq3
17790992015,3cyclictest8375-21cut3
17790992015,3cyclictest6454-21sed3
17790992015,3cyclictest30805-21kernelversion3
17790992015,3cyclictest30765-21threads3
17790992015,3cyclictest28574-21pluginstate3
17790992015,3cyclictest25381-21open_inodes3
17790992015,3cyclictest23655-21timerandwakeup3
17790992015,3cyclictest23023-21/usr/sbin/munin3
17790992015,3cyclictest18540-21memory3
17790992014,4cyclictest4002-21ntpq3
17790992014,4cyclictest28706-21pluginstate3
17790992014,4cyclictest22410-21users3
17790992014,4cyclictest10459-21users3
17790992013,4cyclictest2630-21ls3
1779099201,16cyclictest22396-21tr3
1778899204,13cyclictest0-21swapper/22
1778899202,16cyclictest28-21ksoftirqd/22
17788992014,4cyclictest25315-21ntpq2
17788992014,4cyclictest20020-21cron2
1778899201,17cyclictest30694-21latency_hist2
1778899201,17cyclictest19626-21cat2
1778899201,17cyclictest16071-21latency_hist2
1778899201,17cyclictest13563-21latency_hist2
1778899201,17cyclictest1037-1kworker/2:0H2
1778899200,4cyclictest14101-21idleruntime-cro2
17783992015,3cyclictest9889-21seq1
17783992015,3cyclictest16322-21/usr/sbin/munin1
17783992014,4cyclictest7862-21seq1
17783992014,4cyclictest7556-21seq1
17783992014,4cyclictest6325-21sed1
17783992014,4cyclictest3428-21latency_hist1
17783992014,4cyclictest31550-21grep1
17783992014,4cyclictest24594-21ntp_states1
17783992014,4cyclictest12319-21sed1
17783992014,4cyclictest11746-21sed1
17783992013,4cyclictest10050-21sh1
17783992011,5cyclictest505-21dbus-daemon1
17775992017,2cyclictest0-21swapper/00
17775992015,3cyclictest28645-21ls0
17775992015,3cyclictest16583-21expr0
17775992014,4cyclictest7347-21seq0
17775992014,4cyclictest24818-21cat0
17775992014,4cyclictest2262-21cat0
17775992014,4cyclictest13578-21cat0
17775992014,4cyclictest13534-21seq0
17775992014,3cyclictest2459-21/usr/sbin/munin0
17775992013,5cyclictest10014-21seq0
17775992013,4cyclictest27253-21expr0
17775992013,4cyclictest22901-21cat0
17775992013,4cyclictest14772-21awk0
17790991915,2cyclictest4632-21cpu3
17790991914,3cyclictest7763-21kernelversion3
17790991914,3cyclictest6777-21ntpq3
17790991914,3cyclictest32662-21expr3
17790991914,3cyclictest32662-21expr3
17790991914,3cyclictest32169-21perf3
17790991914,3cyclictest31985-21wc3
17790991914,3cyclictest29308-21open_files3
17790991914,3cyclictest26571-21expr3
17790991914,3cyclictest25845-21ntp_kernel_pll_3
17790991914,3cyclictest25152-21seq3
17790991914,3cyclictest20485-21load3
17790991914,3cyclictest20485-21load3
17790991914,3cyclictest19025-21memory3
17790991914,3cyclictest18422-21grep3
17790991914,3cyclictest16541-21load3
17790991914,3cyclictest13866-21needreboot3
17790991914,3cyclictest12108-21switchtime3
17790991914,3cyclictest12038-21cpuspeed3
17790991913,4cyclictest19933-21awk3
17790991913,4cyclictest17625-21cat3
17790991913,4cyclictest14215-21cat3
17790991913,4cyclictest12758-21ls3
17788991915,2cyclictest32160-21latency_hist2
17788991914,3cyclictest9265-21ntpq2
17788991913,4cyclictest18523-21grep2
17788991913,4cyclictest16352-21cut2
17788991913,3cyclictest8883-21sendmail-mta2
17788991913,3cyclictest32664-21munin-run2
1778899191,16cyclictest964-21sendmail-mta2
1778899191,16cyclictest3733-21cat2
1778899191,15cyclictest27430-21latency_hist2
17788991910,5cyclictest8169-21idleruntime-cro2
1778899190,16cyclictest22781-21latency_hist2
1778899190,16cyclictest12846-1kworker/2:3H2
1778399192,14cyclictest1892-21wc1
17783991917,1cyclictest0-21swapper/11
17783991916,2cyclictest0-21swapper/11
17783991915,2cyclictest28213-21/usr/sbin/munin1
17783991914,3cyclictest568-21ntp_states1
17783991914,3cyclictest568-21ntp_states1
17783991914,3cyclictest4896-21sendmail1
17783991914,3cyclictest28432-21/usr/sbin/munin1
17783991914,3cyclictest28194-21cut1
17783991914,3cyclictest23423-21sed1
17783991914,3cyclictest21-21ksoftirqd/11
17783991914,3cyclictest18116-21sed1
17783991914,3cyclictest10613-21seq1
17783991913,4cyclictest14194-21expr1
17783991913,4cyclictest13755-21sed1
17783991912,4cyclictest15604-21grep1
1778399191,16cyclictest0-21swapper/11
1778399190,17cyclictest31740-21seq1
17775991916,2cyclictest0-21swapper/00
17775991916,2cyclictest0-21swapper/00
17775991915,2cyclictest26207-21/usr/sbin/munin0
17775991914,3cyclictest8319-21cat0
17775991914,3cyclictest580-21aten2_r9power_v0
17775991914,3cyclictest30432-21/usr/sbin/munin0
17775991914,3cyclictest2237-21wc0
17775991914,3cyclictest20354-21cat0
17775991914,3cyclictest1909-21ls0
17775991914,3cyclictest10014-21expr0
17775991913,4cyclictest8264-21cat0
17775991913,4cyclictest21955-21pluginstate0
17775991913,3cyclictest29580-21latency_hist0
17775991912,4cyclictest25553-21cat0
1777599190,17cyclictest24971-21seq0
1777599190,16cyclictest18644-21cstates0
17790991813,3cyclictest7214-21cat3
17790991813,3cyclictest4086-21expr3
17790991813,3cyclictest28419-21ls3
17790991813,3cyclictest26899-21gltestperf3
17790991813,3cyclictest20652-21expr3
17790991813,3cyclictest1314-21cpu3
17790991813,3cyclictest12530-21cpu3
17790991813,3cyclictest11336-21proc_pri3
17790991813,3cyclictest10590-21missed_timers3
17790991812,4cyclictest29140-21awk3
17790991812,3cyclictest8298-21kernelversion3
17790991812,3cyclictest18724-21timerandwakeup3
1779099180,16cyclictest0-21swapper/33
17788991813,3cyclictest22024-21grep2
17788991813,3cyclictest15577-21latency_hist2
1778899181,1cyclictest0-21swapper/22
17788991811,4cyclictest322-21systemd-journal2
1778899181,14cyclictest29928-21cron2
1778899180,16cyclictest0-21swapper/22
17783991814,2cyclictest7130-21/usr/sbin/munin1
17783991814,2cyclictest26968-21/usr/sbin/munin1
17783991814,2cyclictest25703-21/usr/sbin/munin1
17783991814,2cyclictest18819-21ntp_states1
17783991814,2cyclictest15595-21/usr/sbin/munin1
17783991813,3cyclictest665-21runrttasks1
17783991813,3cyclictest4993-21sed1
17783991813,3cyclictest26207-21/usr/sbin/munin1
17783991813,3cyclictest25576-21if_enp3s01
17783991813,3cyclictest24651-21sh1
17783991813,3cyclictest2459-21/usr/sbin/munin1
17783991813,3cyclictest22436-21seq1
17783991813,3cyclictest22028-21seq1
17783991813,3cyclictest19315-21cpuspeed_turbos1
17783991812,4cyclictest7879-21/usr/sbin/munin1
17783991812,4cyclictest29708-21grep1
17783991811,4cyclictest20298-21acpi1
17775991815,2cyclictest0-21swapper/00
17775991815,2cyclictest0-21swapper/00
17775991814,2cyclictest19865-21munin-node0
17775991813,3cyclictest7351-21cat0
17775991813,3cyclictest28599-21expr0
17775991813,3cyclictest26235-21basename0
17775991813,3cyclictest23257-21ls0
17775991813,3cyclictest17026-21/usr/sbin/munin0
17775991813,3cyclictest15624-21aten2_r9power_c0
17775991813,3cyclictest15548-21sed0
17775991813,3cyclictest11679-21if_err_enp3s00
17775991813,3cyclictest11645-21acpi0
17775991812,4cyclictest26661-21cat0
17775991812,4cyclictest1778-21cat0
17775991812,4cyclictest13403-21cat0
17790991713,2cyclictest31734-21aten2_r9power_v3
17790991713,2cyclictest16291-21latency3
17790991711,4cyclictest26414-21cat3
17788991712,3cyclictest27648-21cat2
17788991712,3cyclictest23277-21sed2
17788991712,3cyclictest22337-21cut2
17788991712,2cyclictest28487-21aten2_r9power_e2
17788991710,4cyclictest6188-21cron2
1778899170,15cyclictest0-21swapper/22
17783991715,1cyclictest0-21swapper/11
17783991713,2cyclictest7664-21/usr/sbin/munin1
17783991713,2cyclictest23023-21/usr/sbin/munin1
17783991712,3cyclictest964-21gltestperf1
17783991712,3cyclictest31444-21sed1
17783991712,3cyclictest2921-21processes1
17783991712,3cyclictest11130-21sed1
1778399171,14cyclictest7440-21ls1
17775991715,1cyclictest0-21swapper/00
17775991715,1cyclictest0-21swapper/00
17775991713,2cyclictest18030-21aten2_r9power_p0
17775991712,3cyclictest5667-21cut0
17775991712,3cyclictest19530-21idleruntime0
17775991712,3cyclictest18678-21sh0
17775991711,4cyclictest30803-21uname0
17775991711,4cyclictest30498-21ntpq0
17783991612,2cyclictest665-21runrttasks1
17783991612,2cyclictest665-21runrttasks1
17783991611,3cyclictest19830-21aten2_r9power_p1
17783991611,3cyclictest19830-21aten2_r9power_p1
17783991611,3cyclictest11628-21if_enp2s01
1777599169,4cyclictest7165-21seq0
17775991611,3cyclictest25077-21sed0
17775991611,3cyclictest14144-21basename0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional