You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2022-01-23 - 18:40

Intel(R) Atom(TM) Processor E3950 @ 1.60GHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of all highest latencies:
System rack9slot2 (updated Sun Jan 23, 2022 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
249742305269,24sleep00-21swapper/00
250772286231,43sleep20-21swapper/22
242712279211,58sleep10-21swapper/11
250782262205,44sleep30-21swapper/33
723121610,2sleep32536199cyclictest3
2270021440,3sleep30-21swapper/33
69982380,1sleep20-21swapper/22
58432370,3sleep20-21swapper/22
25361993114,15cyclictest21394-21cat3
25361993114,15cyclictest1238-21sed3
25361993114,14cyclictest3339-21cat3
25361993114,14cyclictest14044-21grep3
2536199307,20cyclictest11186-21cat3
25361993014,13cyclictest2879-21missed_timers3
25361993013,14cyclictest30622-21if_enp3s03
2536199300,3cyclictest27857-21grep3
2536199298,19cyclictest17902-21sed3
2536199298,18cyclictest20516-21switchtime3
2536199298,18cyclictest15142-21expr3
2536199297,19cyclictest16054-21/usr/sbin/munin3
2536199296,20cyclictest32437-21grep3
25361992914,13cyclictest12992-21ps3
25361992914,12cyclictest27139-21grep3
25361992910,16cyclictest24142-21cat3
2536199290,4cyclictest10154-21aten2_r9power_v3
2536199289,16cyclictest9183-21expr3
2536199288,17cyclictest0-21swapper/33
2536199288,17cyclictest0-21swapper/33
2536199287,19cyclictest555-21processes3
25361992815,11cyclictest22676-21/usr/sbin/munin3
25361992811,14cyclictest19799-21interrupts3
2536199280,2cyclictest7678-21expr3
2536199280,2cyclictest1760-21taskset3
2536199278,16cyclictest14472-21gltestperf3
2536199276,18cyclictest6461-21ntp_kernel_err3
2536199276,18cyclictest4798-21unixbench_multi3
2536199271,23cyclictest25353-21grep3
2536199270,3cyclictest29812-21diskstats3
2536199270,3cyclictest28268-21taskset3
2536199270,3cyclictest1773-21ntp_states3
2536199270,3cyclictest16256-21/usr/sbin/munin3
2536199270,2cyclictest6948-21ntp_states3
2536199270,2cyclictest0-21swapper/33
2535299271,8cyclictest20897-21cat1
2536199269,14cyclictest301382chrt3
2536199268,15cyclictest4717-21if_err_enp3s03
2536199267,17cyclictest322-21systemd-journal3
2536199261,22cyclictest24128-21grep3
25361992611,13cyclictest8784-21load3
25361992610,13cyclictest6015-21timerandwakeup3
2536199260,2cyclictest13972-21memory3
2536199260,2cyclictest109742sleep33
2536199260,2cyclictest0-21swapper/33
2535299261,10cyclictest5969-21cat1
2536199259,13cyclictest21949-21needreboot3
2536199256,16cyclictest27896-21aten2_r9power_c3
2536199250,2cyclictest271172sleep33
2536199250,2cyclictest25539-21/usr/sbin/munin3
2536199248,13cyclictest18815-21ntp_states3
2536199245,16cyclictest5897-21if_enp3s03
2536199245,16cyclictest2666-21unixbench_singl3
2536199245,16cyclictest2666-21unixbench_singl3
2536199241,3cyclictest13271-21munin-run3
25352992419,3cyclictest2649-21grep1
25347992416,5cyclictest1328-21dump-pmu-power0
2536199235,15cyclictest21960-21aten2_r9power_e3
2536199235,15cyclictest19787-21switchtime3
2536199235,15cyclictest17487-21ls3
2536199234,17cyclictest13972-21cat3
2536199234,16cyclictest23930-21grep3
2536199232,17cyclictest31779-21diskstats3
2536199231,4cyclictest12514-21munin-run3
2536199231,3cyclictest21668-21munin-run3
2536199231,3cyclictest21668-21munin-run3
2535799234,17cyclictest4810-21cat2
2535799231,6cyclictest21297-21cat2
25357992315,5cyclictest27203-21cron2
25357992315,5cyclictest27203-21cron2
2535799231,19cyclictest505-21dbus-daemon2
2535799231,19cyclictest19665-21munin-run2
44912220,2sleep20-21swapper/22
299692220,3sleep121-21ksoftirqd/11
2536199223,16cyclictest4585-21sed3
2536199221,4cyclictest505-21dbus-daemon3
2536199221,4cyclictest3190-21cpuspeed_turbos3
2536199221,3cyclictest7684-21/usr/sbin/munin3
2535799227,12cyclictest0-21swapper/22
2535799224,16cyclictest16931-21cron2
2535799223,17cyclictest9165-21cat2
2535799222,17cyclictest25157-21latency_hist2
25357992216,4cyclictest20469-21awk2
2535799221,3cyclictest24466-1kworker/2:2H2
2535299222,6cyclictest20018-21seq1
25352992219,2cyclictest201rcuc/11
25352992219,2cyclictest201rcuc/11
25352992219,2cyclictest201rcuc/11
25352992219,2cyclictest201rcuc/11
25347992216,4cyclictest16828-21seq0
25347992216,3cyclictest1870-21dump-pmu-power0
25347992215,4cyclictest5842-21turbostat.cron0
25347992215,4cyclictest322-21systemd-journal0
2536199211,4cyclictest11588-21cstates3
2535799212,17cyclictest641-21latency_hist2
25357992117,2cyclictest28-21ksoftirqd/22
25357992116,3cyclictest14529-21perf2
25357992115,4cyclictest6357-21load2
25357992114,4cyclictest13650-21df_inode2
25357992114,4cyclictest11764-21sendmail2
2535799211,18cyclictest505-21dbus-daemon2
2535799210,18cyclictest16778-21grep2
25352992118,2cyclictest201rcuc/11
25352992118,2cyclictest201rcuc/11
2535299211,6cyclictest21-21ksoftirqd/11
25352992115,3cyclictest30165-21cat1
25347992114,5cyclictest9035-21dump-pmu-power0
25347992114,4cyclictest6471-21seq0
25347992114,4cyclictest3096-21sendmail0
25347992114,4cyclictest3096-21sendmail0
163002210,2sleep20-21swapper/22
2535799203,16cyclictest0-21swapper/22
2535799202,16cyclictest27064-21cat2
2535799202,16cyclictest24839-21cat2
25357992016,2cyclictest902-21head2
25357992015,3cyclictest9116-21sed2
25357992015,3cyclictest30655-21unixbench_multi2
25357992015,3cyclictest28893-21swap2
25357992015,3cyclictest28261-21ntp_states2
25357992015,3cyclictest28058-21/usr/sbin/munin2
25357992015,3cyclictest25701-21swap2
25357992015,3cyclictest21010-21sed2
25357992015,3cyclictest21010-21sed2
2535799201,4cyclictest20628-21cups-browsed2
25357992014,4cyclictest9638-21expr2
25357992014,3cyclictest9323-21cron2
2535799201,3cyclictest25176-1kworker/2:0H2
2535799201,3cyclictest23186-21munin-run2
25357992013,5cyclictest3112-21idleruntime-cro2
25357992013,5cyclictest3112-21idleruntime-cro2
2535799201,17cyclictest13754-21awk2
2535799200,18cyclictest27667-21cat2
2535299204,5cyclictest21-21ksoftirqd/11
25352992017,2cyclictest201rcuc/11
2535299201,6cyclictest21-21ksoftirqd/11
2535299201,6cyclictest17061-21runrttasks1
25352992015,3cyclictest5633-21/usr/sbin/munin1
25352992015,3cyclictest5274-21cut1
25352992015,3cyclictest2877-21/usr/sbin/munin1
25352992015,3cyclictest25532-21aten2_r9power_v1
25352992015,3cyclictest22676-21/usr/sbin/munin1
25352992015,3cyclictest15468-21seq1
25352992015,3cyclictest14512-21sh1
25352992014,4cyclictest332-21cat1
25352992014,4cyclictest26311-21seq1
25352992014,4cyclictest1569-21/usr/sbin/munin1
25352992014,4cyclictest13768-21idleruntime-cro1
25352992014,4cyclictest13238-21/usr/sbin/munin1
25352992014,3cyclictest11662-21expr1
25352992013,4cyclictest23353-21cat1
25352992013,4cyclictest11279-21grep1
2535299200,6cyclictest21-21ksoftirqd/11
25347992015,3cyclictest31675-21cstates0
25347992014,4cyclictest13981-21seq0
25347992014,4cyclictest13421-21seq0
25347992014,4cyclictest11170-21expr0
25347992014,3cyclictest665-21runrttasks0
25347992014,3cyclictest4298-21missed_timers0
25347992014,3cyclictest2440-21cstates0
25347992013,4cyclictest322-21systemd-journal0
25347992012,5cyclictest7698-21cut0
2534799200,5cyclictest0-21swapper/00
2535799192,15cyclictest5367-21latency_hist2
25357991914,3cyclictest9556-21memory2
25357991914,3cyclictest7105-21rt-features2
25357991914,3cyclictest5657-21seq2
25357991914,3cyclictest26465-21switchtime2
25357991914,3cyclictest19181-21/usr/sbin/munin2
25357991914,3cyclictest11630-21expr2
25357991914,2cyclictest31496-21open_inodes2
25357991913,4cyclictest21509-21cat2
2535799191,16cyclictest31589-21sendmail-mta2
2535799190,17cyclictest12678-21cat2
2535299193,13cyclictest10819-21unixbench-2d1
2535299191,6cyclictest9466-21taskset1
25352991916,2cyclictest201rcuc/11
25352991916,2cyclictest201rcuc/11
25352991916,2cyclictest201rcuc/11
25352991915,2cyclictest32018-21/usr/sbin/munin1
25352991915,2cyclictest31360-21/usr/sbin/munin1
25352991914,3cyclictest7587-21expr1
25352991914,3cyclictest5763-21gltestperf1
25352991914,3cyclictest30727-21grep1
25352991914,3cyclictest30051-21/usr/sbin/munin1
25352991914,3cyclictest27387-21munin-node1
25352991914,3cyclictest21-21ksoftirqd/11
25352991914,3cyclictest2111-21/usr/sbin/munin1
25352991914,3cyclictest19370-21cat1
25352991914,3cyclictest15972-21/usr/sbin/munin1
25352991914,3cyclictest15136-21expr1
25352991914,3cyclictest11551-21/usr/sbin/munin1
25352991913,4cyclictest22031-21cat1
25352991913,3cyclictest19576-21seq1
2535299190,6cyclictest21-21ksoftirqd/11
2535299190,6cyclictest21-21ksoftirqd/11
25347991915,2cyclictest19463-21/usr/sbin/munin0
25347991914,3cyclictest9267-21/usr/sbin/munin0
25347991914,3cyclictest8162-21hostname0
25347991914,3cyclictest6217-21if_enp3s00
25347991914,3cyclictest3216-21cat0
25347991914,3cyclictest28937-21awk0
25347991914,3cyclictest27224-21users0
25347991914,3cyclictest27110-21seq0
25347991914,3cyclictest27110-21seq0
25347991914,3cyclictest16914-21seq0
25347991914,3cyclictest13822-21mii-tool0
25347991914,3cyclictest12207-21awk0
25347991914,3cyclictest11551-21/usr/sbin/munin0
25347991914,3cyclictest11301-21latency_hist0
25347991913,4cyclictest31932-21awk0
25347991913,4cyclictest30865-21seq0
25347991913,4cyclictest24636-21sed0
25347991913,4cyclictest21810-21sed0
25347991913,3cyclictest21484-21aten2_r9power_c0
25347991912,4cyclictest4016-21latency0
25347991912,4cyclictest21590-21gltestperf0
25347991911,5cyclictest18947-21sendmail0
2534799190,8cyclictest20451-21ls0
2535799183,13cyclictest17807-21cpuspeed_turbos2
25357991816,1cyclictest0-21swapper/22
25357991816,1cyclictest0-21swapper/22
25357991813,3cyclictest5674-21needreboot2
25357991813,3cyclictest24579-21latency2
25357991813,3cyclictest21692-21cut2
25357991813,3cyclictest14031-21cut2
25357991812,4cyclictest608-21gltestperf2
25357991812,3cyclictest10520-21pmu-power2
2535799181,15cyclictest292-21jbd2/mmcblk0p2-2
25352991816,1cyclictest201rcuc/11
25352991813,3cyclictest7977-21cat1
25352991813,3cyclictest6082-21/usr/sbin/munin1
25352991813,3cyclictest4887-21cat1
25352991813,3cyclictest28625-21/usr/sbin/munin1
25352991813,3cyclictest16739-21/usr/sbin/munin1
25352991813,3cyclictest10046-21aten2_r9power_c1
25347991816,1cyclictest0-21swapper/00
25347991816,1cyclictest0-21swapper/00
25347991816,1cyclictest0-21swapper/00
25347991814,2cyclictest665-21runrttasks0
25347991814,2cyclictest24650-21/usr/sbin/munin0
25347991814,2cyclictest22676-21/usr/sbin/munin0
25347991814,2cyclictest16120-21users0
25347991813,3cyclictest7768-21pmu-power0
25347991813,3cyclictest665-21runrttasks0
25347991813,3cyclictest28352-21latency_hist0
25347991813,3cyclictest27162-21idleruntime0
25347991813,3cyclictest26498-21cat0
25347991813,3cyclictest25096-21/usr/sbin/munin0
25347991813,3cyclictest23632-21latency_hist0
25347991813,3cyclictest18285-21sed0
25347991813,3cyclictest17942-21/usr/sbin/munin0
25347991812,4cyclictest29888-21cut0
25347991811,4cyclictest25150-21cron0
25357991713,2cyclictest665-21runrttasks2
25357991712,3cyclictest28750-21cpu2
25357991712,3cyclictest16928-21cat2
2535299171,5cyclictest21-21ksoftirqd/11
25352991715,1cyclictest201rcuc/11
25352991712,3cyclictest27566-21awk1
25352991712,3cyclictest25746-21cpuspeed_turbos1
25352991712,3cyclictest25746-21cpuspeed_turbos1
25352991712,3cyclictest25526-21entropy1
2535299170,5cyclictest21-21ksoftirqd/11
2534799173,11cyclictest17298-21sed0
25347991712,3cyclictest665-21runrttasks0
25347991712,3cyclictest27728-21expr0
25347991712,3cyclictest19951-21awk0
25347991712,3cyclictest19951-21awk0
25347991712,3cyclictest13114-21cstates0
2534799170,15cyclictest0-21swapper/00
25347991612,2cyclictest6082-21/usr/sbin/munin0
25347991610,4cyclictest1803-21cpuspeed_turbos0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional