You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2022-01-26 - 05:59

Intel(R) Atom(TM) Processor E3950 @ 1.60GHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rack9slot2 (updated Wed Jan 26, 2022 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
118762313196,76sleep00-21swapper/00
129872282245,24sleep10-21swapper/11
130102231195,24sleep20-21swapper/22
129192229191,25sleep30-21swapper/33
1894121470,2sleep00-21swapper/00
3080421400,2sleep10-21swapper/11
28292670,2sleep10-21swapper/11
261592600,2sleep00-21swapper/00
48742510,1sleep24876-21cat2
48742510,1sleep24876-21cat2
136082510,1sleep20-21swapper/22
80972490,2sleep00-21swapper/00
326372460,2sleep30-21swapper/33
103412430,1sleep00-21swapper/00
13184993612,21cyclictest25797-21grep3
13184993414,17cyclictest29529-21basename3
13184993413,18cyclictest21481-21latency_hist3
118822340,2sleep30-21swapper/33
13184993314,17cyclictest32177-21cat3
13184993314,17cyclictest14748-21cat3
13184993312,19cyclictest20886-21cat3
13184993312,19cyclictest14834-21date3
1317699332,27cyclictest31165-21cron2
13184993214,16cyclictest12242-21cat3
1318499321,28cyclictest5362-21tr3
13184993212,17cyclictest4865-21grep3
13184993212,17cyclictest4865-21grep3
13184993115,14cyclictest30365-21if_err_enp3s03
13184993115,14cyclictest27651-21sed3
13184993115,13cyclictest665-21runrttasks3
13184993114,14cyclictest3043-21basename3
13184993013,14cyclictest27059-21needreboot3
1318499301,26cyclictest6131-21gltestperf3
1318499299,18cyclictest24867-21sed3
1318499292,24cyclictest32465-21grep3
13184992913,14cyclictest21709-21irqstats3
13184992912,14cyclictest13599-21gltestperf3
13184992910,16cyclictest9500-21if_enp3s03
13184992910,16cyclictest3008-21basename3
1317699290,27cyclictest18109-21idleruntime-cro2
142832280,3sleep00-21swapper/00
1318499289,17cyclictest22501-21proc_pri3
1318499289,16cyclictest17975-21ntp_kernel_pll_3
1318499287,3cyclictest2903-21expr3
1318499286,3cyclictest20926-21cut3
13184992812,13cyclictest1553-21idleruntime3
13184992811,14cyclictest27345-21cstates3
1318499278,3cyclictest27909-21forks3
1318499276,3cyclictest10986-21/usr/sbin/munin3
13184992712,13cyclictest7685-21/usr/sbin/munin3
13184992711,14cyclictest10170-21latency_hist3
13184992711,14cyclictest10170-21latency_hist3
13184992710,15cyclictest29505-21aten2_r9power_e3
1317699275,20cyclictest28346-21sed2
1318499269,3cyclictest26102-21sed3
1318499259,14cyclictest0-21swapper/33
1318499258,4cyclictest24763-21cron3
1318499258,3cyclictest24019-21grep3
1318499258,3cyclictest17618-21cat3
1318499258,3cyclictest15731-21grep3
1318499257,3cyclictest505-21dbus-daemon3
1318499257,3cyclictest18283-21expr3
1318499257,2cyclictest29754-21taskset3
1318499255,4cyclictest6463-21basename3
1318499255,4cyclictest15155-21sed3
1318499255,4cyclictest0-21swapper/33
1318499250,11cyclictest6286-21head3
1318499248,2cyclictest21927-21aten2_r9power_p3
1318499247,2cyclictest25461-21diskstats3
1318499241,7cyclictest7291-21cstates3
1317699244,18cyclictest29412-21cat2
1317699244,18cyclictest28-21ksoftirqd/22
1317699244,17cyclictest10788-21cat2
1317699242,19cyclictest16919-21sendmail-mta2
1318499239,2cyclictest9741-21idleruntime3
1318499239,2cyclictest9741-21idleruntime3
1318499236,3cyclictest7189-21taskset3
1318499231,6cyclictest559-21gdbus3
1317699233,17cyclictest8169-21cron2
13176992318,3cyclictest5212-21memory2
13176992317,3cyclictest3025-21sh2
1317699231,19cyclictest27549-21perf2
1317699231,19cyclictest19310-21munin-run2
13176992310,11cyclictest28-21ksoftirqd/22
1317699230,8cyclictest115002cat2
13172992317,4cyclictest22726-21/usr/sbin/munin1
1318499226,3cyclictest4035-21missed_timers3
1318499226,3cyclictest18882-21idleruntime3
1318499226,3cyclictest0-21swapper/33
1318499224,4cyclictest505-21dbus-daemon3
1318499223,4cyclictest0-21swapper/33
1318499222,5cyclictest32139-21diskstats3
1318499220,5cyclictest322-21systemd-journal3
1317699223,17cyclictest31917-21cat2
13176992215,4cyclictest20857-21sendmail-mta2
1317699221,18cyclictest505-21dbus-daemon2
1317699221,18cyclictest25584-1kworker/2:2H2
1317699221,18cyclictest23565-21munin-run2
13172992216,4cyclictest21043-21seq1
13167992215,4cyclictest8389-21seq0
232402210,4sleep09-21ksoftirqd/00
1318499216,2cyclictest29296-21taskset3
1318499214,5cyclictest0-21swapper/33
1318499214,3cyclictest0-21swapper/33
1317699213,16cyclictest28-21ksoftirqd/22
1317699212,17cyclictest8684-21latency_hist2
13176992116,3cyclictest26858-21if_err_enp2s02
13176992116,3cyclictest25591-21sendmail-mta2
13176992116,3cyclictest18766-21ntp_states2
1317699211,3cyclictest7412-21munin-run2
1317699211,18cyclictest32708-21turbostat2
1317699211,17cyclictest4714-21cron2
1317299212,17cyclictest11393-21ls1
13172992116,3cyclictest15619-21/usr/sbin/munin1
13172992114,5cyclictest17135-21/usr/sbin/munin1
13172992110,3cyclictest32732acpi1
1316799212,17cyclictest7404-21cron0
13167992116,3cyclictest9-21ksoftirqd/00
13167992115,4cyclictest30384-21irqstats0
13167992115,4cyclictest13464-21sed0
13167992114,5cyclictest9-21ksoftirqd/00
1316799210,19cyclictest25428-21seq0
61512200,2sleep20-21swapper/22
131982200,1sleep20-21swapper/22
1318499203,4cyclictest0-21swapper/33
13176992016,3cyclictest28-21ksoftirqd/22
13176992015,3cyclictest6606-21vmstat2
13176992015,3cyclictest4990-21latency_hist2
13176992015,3cyclictest30871-21cat2
13176992015,3cyclictest2621-21ntp_states2
13176992015,3cyclictest24619-21cstates2
13176992015,3cyclictest13851-21sed2
13176992015,3cyclictest1068-21sendmail-mta2
13176992014,4cyclictest32384-21cat2
13176992014,4cyclictest10076-21diskstats2
13176992013,4cyclictest647-21cut2
1317699201,17cyclictest27321-21cat2
1317699201,17cyclictest23008-21cat2
1317699200,18cyclictest2797-21latency_hist2
1317699200,17cyclictest322-21systemd-journal2
13172992015,3cyclictest30586-21sed1
13172992015,3cyclictest26854-21switchtime1
13172992015,3cyclictest21996-21seq1
13172992015,3cyclictest19867-21/usr/sbin/munin1
13172992015,3cyclictest16377-21/usr/sbin/munin1
13172992015,3cyclictest14757-21seq1
13172992015,3cyclictest10903-21/usr/sbin/munin1
13172992014,4cyclictest6300-21sed1
13172992014,4cyclictest505-21dbus-daemon1
13172992014,4cyclictest32302-21cat1
13172992014,4cyclictest18456-21ntp_states1
13172992014,4cyclictest13267-21expr1
13172992013,4cyclictest4247-21idleruntime-cro1
13172992013,4cyclictest322-21systemd-journal1
13172992013,4cyclictest13727-21grep1
13167992015,3cyclictest8929-21/usr/sbin/munin0
13167992015,3cyclictest494-21/usr/sbin/munin0
13167992015,3cyclictest32482-21seq0
13167992015,3cyclictest26177-21cat0
13167992015,3cyclictest19298-21cat0
13167992015,3cyclictest17542-21sh0
13167992015,3cyclictest1018-21/usr/sbin/munin0
13167992014,4cyclictest29425-21cut0
13167992014,4cyclictest28205-21cat0
13167992014,4cyclictest27258-21seq0
13167992014,4cyclictest14998-21ls0
13184991913,4cyclictest14223-21cat3
1317699191,4cyclictest0-21swapper/22
13176991914,3cyclictest15224-21munin-node2
13176991913,4cyclictest24763-21sed2
13176991913,4cyclictest11636-21memory2
1317699191,2cyclictest18877-21perf2
1317699191,17cyclictest15317-1kworker/2:1H2
1317699191,16cyclictest25584-1kworker/2:2H2
1317699190,3cyclictest25584-1kworker/2:2H2
1317699190,17cyclictest0-21swapper/22
13172991914,3cyclictest9205-21/usr/sbin/munin1
13172991914,3cyclictest9205-21/usr/sbin/munin1
13172991914,3cyclictest32628-21seq1
13172991914,3cyclictest32557-21cat1
13172991914,3cyclictest31952-21dump-pmu-power1
13172991914,3cyclictest26421-21seq1
13172991914,3cyclictest25297-21seq1
13172991914,3cyclictest23850-21cstates1
13172991914,3cyclictest21078-21/usr/sbin/munin1
13172991914,3cyclictest21007-21cat1
13172991914,3cyclictest17895-21/usr/sbin/munin1
13172991914,3cyclictest15897-21/usr/sbin/munin1
13172991914,3cyclictest12057-21forks1
13172991914,3cyclictest11175-21/usr/sbin/munin1
13172991914,3cyclictest10415-21/usr/sbin/munin1
13172991913,4cyclictest31762-21tr1
13172991913,4cyclictest28972-21sed1
13172991913,4cyclictest24292-21/usr/sbin/munin1
13172991913,4cyclictest1872-21awk1
1317299190,17cyclictest15238-21ntp_states1
1316799192,9cyclictest0-21swapper/00
13167991914,3cyclictest8444-21/usr/sbin/munin0
13167991914,3cyclictest8444-21/usr/sbin/munin0
13167991914,3cyclictest32505-21gzip0
13167991914,3cyclictest29450-21/usr/sbin/munin0
13167991914,3cyclictest24292-21/usr/sbin/munin0
13167991914,3cyclictest2280-21basename0
13167991914,3cyclictest16283-21expr0
13167991914,3cyclictest14902-21basename0
13167991913,4cyclictest7958-21seq0
13167991913,4cyclictest32204-21/usr/sbin/munin0
13167991913,4cyclictest19796-21cat0
13167991913,4cyclictest12305-21sed0
13167991912,4cyclictest30672-21grep0
13167991912,4cyclictest24309-21missed_timers0
13176991816,1cyclictest0-21swapper/22
13176991814,2cyclictest21190-21ntp_states2
13176991813,3cyclictest8492-21aten2_r9power_e2
13176991813,3cyclictest8492-21aten2_r9power_e2
13176991813,3cyclictest774-21sh2
13176991813,3cyclictest29752-21/usr/sbin/munin2
13176991813,3cyclictest24131-21sed2
13176991813,3cyclictest22456-21cpu2
13176991813,3cyclictest11010-21sed2
13176991813,3cyclictest11010-21sed2
13176991811,4cyclictest18847-21gltestperf2
1317299182,4cyclictest0-21swapper/11
13172991816,1cyclictest0-21swapper/11
13172991816,1cyclictest0-21swapper/11
13172991814,2cyclictest8444-21/usr/sbin/munin1
13172991814,2cyclictest8444-21/usr/sbin/munin1
13172991814,2cyclictest7685-21/usr/sbin/munin1
13172991814,2cyclictest4965-21/usr/sbin/munin1
13172991813,3cyclictest665-21runrttasks1
13172991813,3cyclictest5401-21seq1
13172991813,3cyclictest5401-21seq1
13172991813,3cyclictest29752-21/usr/sbin/munin1
13172991813,3cyclictest27764-21expr1
13172991813,3cyclictest25676-21ls1
13172991813,3cyclictest15130-21/usr/sbin/munin1
13172991813,3cyclictest13609-21/usr/sbin/munin1
13172991813,3cyclictest1292-21/usr/sbin/munin1
13172991812,4cyclictest6966-21/usr/sbin/munin1
13172991812,4cyclictest13813-21sed1
13172991812,3cyclictest3020-21hostname1
13167991814,2cyclictest0-21swapper/00
13167991814,2cyclictest0-21swapper/00
13167991813,3cyclictest9758-21if_enp2s00
13167991813,3cyclictest9758-21if_enp2s00
13167991813,3cyclictest5528-21cat0
13167991813,3cyclictest4583-21hostname0
13167991813,3cyclictest29361-21cat0
13167991813,3cyclictest28651-21sh0
13167991813,3cyclictest24179-21sed0
13167991813,3cyclictest22284-21expr0
13167991813,3cyclictest19662-21cut0
13167991813,3cyclictest1319-21aten2_r9power_c0
13167991813,3cyclictest12357-21cat0
13167991812,4cyclictest6938-21seq0
13167991812,4cyclictest21427-21expr0
13167991812,4cyclictest16547-21ls0
1316799181,15cyclictest29193-21cpuspeed0
13176991712,3cyclictest12498-21uname2
13176991712,3cyclictest0-21swapper/22
13172991715,1cyclictest0-21swapper/11
13172991713,2cyclictest19612-21unixbench_multi1
13172991712,3cyclictest665-21runrttasks1
13172991712,3cyclictest6325-21sed1
13172991712,3cyclictest28334-21wget1
13172991710,4cyclictest7641-21forks1
13167991713,2cyclictest665-21runrttasks0
13167991713,2cyclictest2996-21/usr/sbin/munin0
13167991712,3cyclictest7613-21expr0
13167991712,3cyclictest27805-21cat0
13167991712,3cyclictest20320-21expr0
13167991712,3cyclictest16872-21turbostat.cron0
13167991712,3cyclictest14199-21grep0
13167991712,3cyclictest13840-21idleruntime0
13167991712,3cyclictest13265-21sh0
1316799171,14cyclictest3522-21seq0
1317299160,15cyclictest0-21swapper/11
13167991611,3cyclictest31927-21cpuspeed0
13167991611,3cyclictest20363-21aten2_r9power_e0
13167991611,3cyclictest11387-21grep0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional