You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-12-09 - 16:02

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2 (updated Wed Dec 07, 2022 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
19152315277,25sleep30-21swapper/33
20872310274,24sleep00-21swapper/00
21702282244,26sleep10-21swapper/11
20542262189,25sleep20-21swapper/22
233199198193,3cyclictest0-21swapper/11
233999116112,2cyclictest0-21swapper/33
233699115110,3cyclictest0-21swapper/22
23289910096,3cyclictest30309-21strings0
174342530,3sleep30-21swapper/33
233999490,25cyclictest24528-21latency_hist3
233999475,22cyclictest559-21gdbus3
233999461,33cyclictest4622-21threads3
233999431,25cyclictest18727-21grep3
233999431,25cyclictest18727-21grep3
2339994312,22cyclictest665-21runrttasks3
233999430,26cyclictest1262-21chrt3
233999420,28cyclictest1819-21chrt3
233999410,24cyclictest32476-21chrt3
233999401,29cyclictest25092-21taskset3
233999401,26cyclictest4430-21chrt3
233999401,24cyclictest2587-21chrt3
233999400,25cyclictest3926-21chrt3
233999400,25cyclictest32177-21chrt3
233999400,25cyclictest20244-21sed3
233999400,25cyclictest19606-21aten2_r9power_c3
233999400,25cyclictest17186-21chrt3
233999400,24cyclictest12322-21chrt3
233999400,24cyclictest10438-21chrt3
233999391,24cyclictest22284-21taskset3
233999390,28cyclictest0-21swapper/33
233999390,25cyclictest30929-21wc3
233999390,23cyclictest5866-21ntp_states3
233999380,26cyclictest3839-21chrt3
233999380,25cyclictest26449-21chrt3
233999380,24cyclictest5387-21chrt3
233999380,22cyclictest10735-21chrt3
233999380,19cyclictest0-21swapper/33
233999370,23cyclictest14590-21chrt3
233999370,21cyclictest0-21swapper/33
233999370,19cyclictest0-21swapper/33
233999360,23cyclictest18567-21taskset3
233999360,22cyclictest29816-21taskset3
233999360,22cyclictest23909-21taskset3
233999352,30cyclictest20537-21sort3
2339993513,19cyclictest24842-21date3
233999350,22cyclictest13866-21taskset3
233999350,21cyclictest0-21swapper/33
233999350,20cyclictest0-21swapper/33
2339993414,18cyclictest14895-21latency_hist3
2339993411,20cyclictest12881-21sed3
233999340,20cyclictest0-21swapper/33
233999340,19cyclictest0-21swapper/33
241052330,1sleep00-21swapper/00
233999329,20cyclictest15058-21sort3
233999320,18cyclictest0-21swapper/33
233999319,20cyclictest22220-21sed3
233999311,27cyclictest12275-21sed3
233999310,19cyclictest0-21swapper/33
233999310,18cyclictest0-21swapper/33
233699301,10cyclictest19442-21cstates2
233699300,16cyclictest16006-21chrt2
232899300,5cyclictest101rcuc/00
233999299,17cyclictest10212-21idleruntime3
233999286,20cyclictest11477-21wc3
233999280,25cyclictest24884-21aten2_r9power_v3
233699280,9cyclictest21407-21date2
233699280,16cyclictest0-21swapper/22
232899280,6cyclictest101rcuc/00
233999277,18cyclictest15420-21ls3
233999276,18cyclictest15665-21unixbench_multi3
233999272,21cyclictest16019-21ntp_states3
233999271,23cyclictest31903-21/usr/sbin/munin3
233999271,23cyclictest27262-21cpuspeed_turbos3
233999271,22cyclictest28826-21grep3
233999271,22cyclictest20583-21idleruntime-cro3
233999271,22cyclictest1820-21grep3
2339992711,14cyclictest665-21runrttasks3
233699270,16cyclictest0-21swapper/22
233699270,10cyclictest7346-21sh2
2328992722,3cyclictest101rcuc/00
233999262,19cyclictest0-21swapper/33
233999261,22cyclictest8126-21diskstats3
233999260,23cyclictest8414-21sed3
233999260,23cyclictest21594-21/usr/sbin/munin3
233699269,14cyclictest12639-21latency_hist2
2336992614,10cyclictest902-21expr2
233699260,11cyclictest8689-21munin-plugin-st2
233699260,10cyclictest5778-21wget2
232899260,5cyclictest101rcuc/00
228792260,1sleep20-21swapper/22
233699254,18cyclictest4246-21latency_hist2
233699252,9cyclictest0-21swapper/22
233699251,10cyclictest28629-21chrt2
233699250,9cyclictest3914-21chrt2
233699250,9cyclictest304972sleep22
233699250,9cyclictest26146-21chrt2
233699250,10cyclictest6041-21chrt2
233699250,10cyclictest22989-21date2
2328992522,2cyclictest101rcuc/00
2336992418,4cyclictest17165-21tr2
233699241,5cyclictest27270-21perf2
233699240,7cyclictest0-21swapper/22
233699240,10cyclictest697-21ls2
233699240,10cyclictest5470-21munin-plugin-st2
233699240,10cyclictest31855-21chrt2
233699240,10cyclictest1301-21chrt2
232899247,5cyclictest9-21ksoftirqd/00
232899245,10cyclictest9-21ksoftirqd/00
232899244,7cyclictest9-21ksoftirqd/00
232899242,5cyclictest9-21ksoftirqd/00
2328992421,2cyclictest101rcuc/00
2328992421,2cyclictest101rcuc/00
2328992420,2cyclictest101rcuc/00
233699234,17cyclictest744-21cat2
233699234,17cyclictest13519-21cat2
233699232,18cyclictest32535-21sort2
2336992316,4cyclictest31820-21nfs4_client2
233699230,9cyclictest11093-21taskset2
233699230,9cyclictest0-21swapper/22
233699230,9cyclictest0-21swapper/22
233699230,8cyclictest0-21swapper/22
233699230,10cyclictest26149-21grep2
232899233,7cyclictest9-21ksoftirqd/00
2328992320,2cyclictest101rcuc/00
2328992320,2cyclictest101rcuc/00
2328992320,2cyclictest101rcuc/00
2328992319,2cyclictest101rcuc/00
232899230,4cyclictest13657-21/usr/sbin/munin0
233699223,17cyclictest4927-21cat2
233699223,17cyclictest20641-21cat2
233699220,9cyclictest29204-21taskset2
233699220,20cyclictest0-21swapper/22
233699220,20cyclictest0-21swapper/22
232899226,7cyclictest665-21runrttasks0
232899225,6cyclictest9-21ksoftirqd/00
232899224,9cyclictest9-21ksoftirqd/00
232899223,7cyclictest9-21ksoftirqd/00
232899222,5cyclictest9-21ksoftirqd/00
2328992219,2cyclictest101rcuc/00
2328992219,2cyclictest101rcuc/00
2328992219,2cyclictest101rcuc/00
2328992219,2cyclictest101rcuc/00
2328992218,3cyclictest101rcuc/00
232899221,5cyclictest9-21ksoftirqd/00
293642210,2sleep10-21swapper/11
2336992115,4cyclictest13831-21awk2
2336992115,4cyclictest13770-21ntpq2
233699211,4cyclictest4246-21munin-run2
2336992114,4cyclictest7942-21cpuspeed_turbos2
233699211,3cyclictest11035-1kworker/2:2H2
233699211,3cyclictest11035-1kworker/2:2H2
2336992113,5cyclictest12605-21ls2
2331992116,3cyclictest8969-21aten2_r9power_c1
2331992116,3cyclictest31466-21/usr/sbin/munin1
2331992115,4cyclictest4991-21/usr/sbin/munin1
2331992114,4cyclictest26498-21sh1
232899217,7cyclictest9-21ksoftirqd/00
232899216,7cyclictest9-21ksoftirqd/00
232899216,7cyclictest9-21ksoftirqd/00
232899213,6cyclictest9-21ksoftirqd/00
232899212,5cyclictest0-21swapper/00
2328992118,2cyclictest101rcuc/00
2328992118,2cyclictest101rcuc/00
2328992118,2cyclictest101rcuc/00
232899211,6cyclictest9-21ksoftirqd/00
232899211,6cyclictest665-21runrttasks0
232899211,5cyclictest9-21ksoftirqd/00
232899210,5cyclictest9-21ksoftirqd/00
233699207,11cyclictest0-21swapper/22
233699201,7cyclictest0-21swapper/22
2336992015,3cyclictest9658-21if_err_enp3s02
2336992015,3cyclictest9156-21ls2
2336992015,3cyclictest28312-21aten2_r9power_e2
2336992015,3cyclictest21156-21nfs4_client2
2336992015,3cyclictest19332-21processes2
2336992015,3cyclictest16074-21fw_packets2
2336992014,4cyclictest26239-21cat2
233699201,3cyclictest12765-21munin-run2
2336992013,5cyclictest18781-21cat2
2336992013,5cyclictest18781-21cat2
2336992013,4cyclictest7953-21ntpq2
2336992013,4cyclictest17286-21diskstats2
233699201,16cyclictest505-21dbus-daemon2
2331992017,2cyclictest0-21swapper/11
2331992015,3cyclictest9057-21/usr/sbin/munin1
2331992015,3cyclictest8091-21expr1
2331992015,3cyclictest7847-21sed1
2331992015,3cyclictest5739-21/usr/sbin/munin1
2331992015,3cyclictest30989-21/usr/sbin/munin1
2331992015,3cyclictest30728-21sendmail1
2331992015,3cyclictest20837-21/usr/sbin/munin1
2331992015,3cyclictest18280-21latency1
2331992015,3cyclictest18280-21latency1
2331992014,4cyclictest23514-21cat1
2331992014,4cyclictest13071-21hostname1
2331992014,4cyclictest12499-21seq1
2331992013,5cyclictest18146-21tail1
2331992013,4cyclictest7106-21awk1
2331992012,5cyclictest505-21dbus-daemon1
232899208,2cyclictest111rcu_preempt0
232899208,2cyclictest111rcu_preempt0
232899206,7cyclictest9-21ksoftirqd/00
232899206,7cyclictest9-21ksoftirqd/00
232899206,7cyclictest9-21ksoftirqd/00
232899206,7cyclictest665-21runrttasks0
232899206,6cyclictest13186-21taskset0
232899205,8cyclictest9-21ksoftirqd/00
232899205,7cyclictest9-21ksoftirqd/00
232899205,6cyclictest22246-21cron0
232899204,8cyclictest9-21ksoftirqd/00
2328992015,3cyclictest9057-21/usr/sbin/munin0
2328992015,3cyclictest523-21aten2_r9power_c0
2328992015,3cyclictest28367-21users0
2328992012,5cyclictest4053-21cron0
232899200,6cyclictest9-21ksoftirqd/00
232899200,6cyclictest703-21taskset0
232899200,6cyclictest30668-21seq0
232899200,6cyclictest22740-21seq0
2336991914,3cyclictest1444-21entropy2
2336991914,3cyclictest13577-21if_enp3s02
233699190,8cyclictest12024-21runrttasks2
2331991915,2cyclictest30765-21/usr/sbin/munin1
2331991915,2cyclictest26751-21/usr/sbin/munin1
2331991915,2cyclictest25041-21/usr/sbin/munin1
2331991915,2cyclictest17123-21/usr/sbin/munin1
2331991915,2cyclictest13657-21/usr/sbin/munin1
2331991914,3cyclictest8667-21ls1
2331991914,3cyclictest7030-21tr1
2331991914,3cyclictest665-21runrttasks1
2331991914,3cyclictest3879-21awk1
2331991914,3cyclictest32210-21/usr/sbin/munin1
2331991914,3cyclictest3092-21cat1
2331991914,3cyclictest28958-21ls1
2331991914,3cyclictest24295-21/usr/sbin/munin1
2331991914,3cyclictest18837-21/usr/sbin/munin1
2331991914,3cyclictest1755-21/usr/sbin/munin1
2331991914,3cyclictest17266-21sh1
2331991914,3cyclictest16718-21cat1
2331991914,3cyclictest15136-21/usr/sbin/munin1
2331991914,3cyclictest11312-21expr1
2331991914,3cyclictest10074-21expr1
2331991912,4cyclictest28259-21grep1
233199191,16cyclictest0-21swapper/11
232899196,7cyclictest9-21ksoftirqd/00
232899196,6cyclictest9-21ksoftirqd/00
232899193,8cyclictest9-21ksoftirqd/00
2328991914,3cyclictest10396-21sed0
232899190,6cyclictest9838-21seq0
60332180,2sleep10-21swapper/11
2336991813,3cyclictest5438-21expr2
2331991816,1cyclictest0-21swapper/11
2331991816,1cyclictest0-21swapper/11
2331991816,1cyclictest0-21swapper/11
2331991816,1cyclictest0-21swapper/11
2331991815,2cyclictest0-21swapper/11
2331991814,2cyclictest14397-21/usr/sbin/munin1
2331991813,3cyclictest665-21runrttasks1
2331991813,3cyclictest31381-21cat1
2331991813,3cyclictest2549-21expr1
2331991813,3cyclictest25474-21wc1
2331991813,3cyclictest10891-21expr1
2331991813,3cyclictest1017-21/usr/sbin/munin1
2331991812,4cyclictest26439-21cut1
2331991810,5cyclictest23741-21latency1
233199180,16cyclictest0-21swapper/11
2331991713,2cyclictest665-21runrttasks1
2331991712,3cyclictest665-21runrttasks1
2331991712,3cyclictest5730-21unixbench-2d1
2331991712,3cyclictest21288-21sort1
233199170,15cyclictest0-21swapper/11
233199170,15cyclictest0-21swapper/11
233199160,1cyclictest0-21swapper/11
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional