You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-06-06 - 14:11

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2 (updated Tue Jun 06, 2023 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
90522283248,22sleep20-21swapper/22
93102256190,24sleep10-21swapper/11
91632256218,25sleep00-21swapper/00
92062241171,25sleep30-21swapper/33
2213821490,1sleep30-21swapper/33
2705621150,1sleep00-21swapper/00
7972540,1sleep10-21swapper/11
13982520,5sleep2949799cyclictest2
149512480,1sleep00-21swapper/00
149512480,1sleep00-21swapper/00
290232450,2sleep129028-21pmu-power1
258722440,3sleep325874-21sed3
179632410,2sleep10-21swapper/11
122112410,1sleep00-21swapper/00
105182410,1sleep010523-21idleruntime-cro0
948899404,10cyclictest19816-21cut1
199942390,3sleep0948499cyclictest0
9484993715,19cyclictest8471-21expr0
9484993512,19cyclictest16056-21grep0
950399346,16cyclictest665-21runrttasks3
9503993415,17cyclictest20898-21pluginstate3
948499341,8cyclictest20283-21apt-get0
9484993414,18cyclictest30252-21expr0
9484993412,19cyclictest22891-21cat0
948499340,31cyclictest29822-21sh0
948499338,5cyclictest29946-21grep0
9484993311,19cyclictest7314-21ls0
9484993310,4cyclictest28020-21cut0
950399320,3cyclictest22734-21/usr/sbin/munin3
948499329,5cyclictest322-21systemd-journal0
948499328,5cyclictest505-21dbus-daemon0
948499321,8cyclictest26208-21ntpq0
9484993212,3cyclictest6111-21/usr/sbin/munin0
9484993210,3cyclictest8785-21grep0
9503993111,8cyclictest0-21swapper/33
948899316,10cyclictest5485-21sed1
948499319,4cyclictest505-21dbus-daemon0
9484993112,17cyclictest10070-21/usr/sbin/munin0
9503993014,14cyclictest14233-21missed_timers3
9503993013,15cyclictest6819-21grep3
9503993013,15cyclictest13435-21cat3
950399300,4cyclictest9981-21grep3
948499309,3cyclictest13986-21gltestperf0
948499309,3cyclictest12392-21ls0
948499308,4cyclictest17871-21cat0
948499308,3cyclictest21286-21timerandwakeup0
948499306,5cyclictest18279-21cpuspeed_turbos0
948499305,5cyclictest4612-21sendmail-msp0
9484993012,16cyclictest665-21runrttasks0
9484993010,3cyclictest9857-21cstates0
9484993010,3cyclictest665-21runrttasks0
950399299,17cyclictest19748-21ls3
9503992913,13cyclictest6785-21cat3
948499299,3cyclictest21270-21idleruntime0
948499299,3cyclictest1771-21cpuspeed0
948499298,4cyclictest2009-21latency_hist0
948499298,3cyclictest17033-21cstates0
948499298,3cyclictest16888-21latency0
948499298,3cyclictest16888-21latency0
948499296,4cyclictest27654-21sh0
948499296,20cyclictest0-21swapper/00
948499295,20cyclictest0-21swapper/00
948499291,7cyclictest15056-21grep0
948499291,6cyclictest23712-21awk0
948499291,5cyclictest5400-21unixbench-2d0
9484992910,3cyclictest27662-21cstates0
9503992811,15cyclictest9240-21cut3
950399280,4cyclictest332-21ls3
950399280,26cyclictest28434-21tail3
948499289,3cyclictest3964-21idleruntime0
948499288,3cyclictest12162-21latency0
948499287,4cyclictest23010-21expr0
948499286,4cyclictest0-21swapper/00
948499282,6cyclictest10707-21grep0
948499281,7cyclictest1601-21sort0
948499281,6cyclictest25882-21sendmail0
948499281,6cyclictest20300-21cpuspeed_turbos0
948499281,5cyclictest25532-21ntpq0
950399279,15cyclictest25009-21uname3
950399276,18cyclictest25101-21df_inode3
950399276,18cyclictest22118-21latency3
950399275,19cyclictest1851-21/usr/sbin/munin3
950399270,3cyclictest3904-21switchtime3
950399270,3cyclictest31041-21diskstats3
950399270,3cyclictest31041-21diskstats3
950399270,3cyclictest27462-21users3
950399270,3cyclictest2016-21diskstats3
950399270,3cyclictest1730-21ntp_states3
950399270,2cyclictest22376-21df3
950399270,2cyclictest1035-21ntp_states3
9497992710,3cyclictest9823-21latency_hist2
948499277,3cyclictest665-21runrttasks0
948499274,5cyclictest20481-21switchtime0
948499274,4cyclictest32577-21cut0
948499272,5cyclictest505-21dbus-daemon0
950399269,14cyclictest29459-21hostname3
950399267,17cyclictest20539-21cut3
950399267,16cyclictest13708-21pmu-power3
950399266,17cyclictest8428-21sh3
950399266,17cyclictest7372-21if_enp3s03
950399266,17cyclictest32545-21unixbench-2d3
950399265,18cyclictest8761-21expr3
950399265,18cyclictest10611-21basename3
9503992611,13cyclictest18768-21if_enp3s03
950399260,3cyclictest29534-21ntp_states3
950399260,3cyclictest15110-21ntp_states3
950399260,3cyclictest14824-21wget3
950399260,2cyclictest24774-21ntpq3
950399260,2cyclictest17872-21diskstats3
950399260,12cyclictest115992ntp_kernel_pll_3
948899260,8cyclictest0-21swapper/11
950399259,14cyclictest5211-21seq3
950399259,13cyclictest27549-21cpuspeed_turbos3
950399258,15cyclictest19882-21grep3
950399257,15cyclictest3464-21awk3
950399255,17cyclictest9769-21df3
950399252,21cyclictest27694-21awk3
950399251,21cyclictest29837-21idleruntime-cro3
950399251,20cyclictest1182-21munin-run3
9503992510,12cyclictest12652-21sh3
950399250,2cyclictest16956-21memory3
950399250,2cyclictest16956-21memory3
950399250,2cyclictest0-21swapper/33
948899256,16cyclictest7996-21ls1
948899250,10cyclictest0-21swapper/11
948499256,4cyclictest665-21runrttasks0
948499255,4cyclictest642-21ntpd0
948499254,3cyclictest0-21swapper/00
948499253,4cyclictest0-21swapper/00
948499252,4cyclictest0-21swapper/00
950399249,12cyclictest17340-21unixbench_singl3
950399248,14cyclictest21639-21pmu-power3
950399247,15cyclictest14116-21aten2_r9power_p3
950399247,15cyclictest14116-21aten2_r9power_p3
950399245,16cyclictest15223-21latency_hist3
950399242,19cyclictest6372-21ps3
950399241,20cyclictest31845-21latency_hist3
950399241,20cyclictest23886-21gltestperf3
950399240,3cyclictest3581-21cpu3
949799247,15cyclictest21889-21cron2
948899244,17cyclictest14238-21cat1
116002240,1sleep10-21swapper/11
950399237,13cyclictest30717-21cat3
950399233,17cyclictest5429-21grep3
950399233,17cyclictest12433-21expr3
950399231,19cyclictest22649-21grep3
950399231,18cyclictest10538-21ntp_states3
950399230,3cyclictest9314-21idleruntime3
9497992315,5cyclictest6631-21sed2
948899235,15cyclictest15519-21grep1
948499239,2cyclictest89442sleep00
948499231,4cyclictest0-21swapper/00
949799229,11cyclictest28-21ksoftirqd/22
949799225,2cyclictest23794-21cat2
949799223,17cyclictest3392-21cat2
949799223,17cyclictest30406-21awk2
949799223,17cyclictest20586-21cat2
949799223,17cyclictest16600-21cat2
949799223,17cyclictest15317-21cat2
949799223,17cyclictest13323-21cat2
949799223,17cyclictest11885-21cat2
949799223,17cyclictest11362-21cat2
949799222,18cyclictest6652-21cat2
9497992215,5cyclictest15993-21ls2
949799221,4cyclictest322-21systemd-journal2
949799221,19cyclictest7128-21munin-run2
948899220,20cyclictest27671-40mandb1
949799212,17cyclictest4545-21cat2
949799211,4cyclictest12484-21munin-run2
9497992114,4cyclictest17220-21dump-pmu-power2
949799211,18cyclictest28402-21sendmail2
949799211,18cyclictest15774-21munin-run2
949799211,18cyclictest15774-21munin-run2
949799211,18cyclictest14479-21cron2
949799211,17cyclictest31083-21perf2
949799210,4cyclictest1199-21perf2
949799210,3cyclictest10519-21munin-run2
949799210,18cyclictest27735-40systemctl2
948899214,14cyclictest13897-21cat1
948899212,5cyclictest21-21ksoftirqd/11
948899212,5cyclictest21-21ksoftirqd/11
9488992119,1cyclictest201rcuc/11
9488992116,3cyclictest6791-21sed1
9488992116,3cyclictest18515-21cstates1
948899210,9cyclictest0-21swapper/11
948899210,19cyclictest24408-21seq1
948499218,6cyclictest0-21swapper/00
9497992016,3cyclictest0-21swapper/22
9497992015,3cyclictest3896-21perf2
9497992015,3cyclictest28241-21pluginstate2
9497992015,3cyclictest27089-21sh2
9497992015,3cyclictest26526-21diskstats2
9497992015,3cyclictest25860-21latency_hist2
9497992015,3cyclictest24319-21expr2
9497992015,3cyclictest20871-21sh2
9497992014,4cyclictest17804-21seq2
9497992014,4cyclictest17804-21seq2
949799201,17cyclictest7085-1kworker/2:2H2
949799201,17cyclictest7085-1kworker/2:2H2
949799201,17cyclictest21233-21cat2
949799200,3cyclictest7085-1kworker/2:2H2
948899203,6cyclictest21-21ksoftirqd/11
948899202,6cyclictest21-21ksoftirqd/11
948899202,6cyclictest21-21ksoftirqd/11
948899202,6cyclictest21-21ksoftirqd/11
948899202,6cyclictest21-21ksoftirqd/11
948899202,6cyclictest21-21ksoftirqd/11
948899202,6cyclictest21-21ksoftirqd/11
948899201,7cyclictest21-21ksoftirqd/11
9488992016,2cyclictest4834-21/usr/sbin/munin1
9488992016,2cyclictest11498-21/usr/sbin/munin1
9488992015,3cyclictest3550-21cat1
9488992015,3cyclictest3097-21seq1
9488992015,3cyclictest27958-21cat1
9488992015,3cyclictest27336-21/usr/sbin/munin1
9488992015,3cyclictest24024-21aten2_r9power_p1
9488992015,3cyclictest20124-21ls1
9488992015,3cyclictest18151-21ls1
9488992015,3cyclictest18151-21ls1
9488992015,3cyclictest14729-21/usr/sbin/munin1
9488992014,4cyclictest31319-21cat1
9488992014,4cyclictest24930-21seq1
9488992013,4cyclictest9780-21diskstats1
9488992013,4cyclictest20435-21gltestperf1
9488992010,7cyclictest1956-21cat1
9484992015,3cyclictest31689-21sed0
9484992015,3cyclictest31689-21sed0
9484992014,3cyclictest30593-21grep0
9484992011,1cyclictest0-21swapper/00
39652200,1sleep20-21swapper/22
9497991917,1cyclictest0-21swapper/22
9497991916,2cyclictest0-21swapper/22
9497991914,3cyclictest5231-21sed2
9497991914,3cyclictest3963-21expr2
9497991914,3cyclictest31148-21sed2
949799191,3cyclictest19792-21latency_hist2
949799191,16cyclictest3310-1kworker/2:0H2
949799191,16cyclictest18435-21latency_hist2
949799190,5cyclictest590-21cron2
949799190,17cyclictest9113-21perf2
948899192,6cyclictest21-21ksoftirqd/11
948899192,6cyclictest21-21ksoftirqd/11
948899192,6cyclictest21-21ksoftirqd/11
948899192,5cyclictest21-21ksoftirqd/11
948899192,5cyclictest21-21ksoftirqd/11
948899192,5cyclictest21-21ksoftirqd/11
948899192,5cyclictest21-21ksoftirqd/11
9488991915,2cyclictest29075-21df_inode1
9488991914,3cyclictest5398-21/usr/sbin/munin1
9488991914,3cyclictest25778-21cat1
9488991914,3cyclictest21798-21expr1
9488991914,3cyclictest21097-21expr1
9488991914,3cyclictest18708-21aten2_r9power_c1
9488991914,3cyclictest17595-21ntpq1
9488991914,3cyclictest10636-21cat1
9488991913,4cyclictest8194-21hostname1
9488991913,4cyclictest12670-21awk1
9488991913,4cyclictest11637-21munin-node1
9488991913,3cyclictest32395-21expr1
948899191,16cyclictest26232-21tr1
949799183,13cyclictest7296-21latency_hist2
9497991816,1cyclictest0-21swapper/22
9497991816,1cyclictest0-21swapper/22
9497991814,2cyclictest27945-21/usr/sbin/munin2
9497991814,2cyclictest0-21swapper/22
9497991810,5cyclictest9788-21aten2_r9power_v2
949799180,3cyclictest7085-1kworker/2:2H2
949799180,16cyclictest8629-21cat2
949799180,16cyclictest0-21swapper/22
948899182,5cyclictest21-21ksoftirqd/11
948899182,5cyclictest21-21ksoftirqd/11
9488991813,3cyclictest7129-21cstates1
9488991812,4cyclictest644-21cat1
9488991812,4cyclictest25373-21cat1
9497991714,2cyclictest0-21swapper/22
9497991713,2cyclictest19927-21latency_hist2
9497991713,2cyclictest1693-21nfs4_client2
9497991712,3cyclictest23790-21ls2
949799170,16cyclictest0-21swapper/22
949799170,16cyclictest0-21swapper/22
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional