You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-07-07 - 11:57

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 792 highest latencies:
System rack9slot2 (updated Thu Jul 07, 2022 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
315712258186,24sleep10-21swapper/11
300072257184,25sleep20-21swapper/22
314292253181,24sleep00-21swapper/00
315732249183,54sleep30-21swapper/33
2570421320,2sleep13185099cyclictest1
2570421320,2sleep13185099cyclictest1
98522500,2sleep09847-21turbostat0
94052410,1sleep20-21swapper/22
3185599394,10cyclictest357-21munin-run2
3185599380,17cyclictest0-21swapper/22
252682360,1sleep00-21swapper/00
3185599357,17cyclictest322-21systemd-journal2
3185599353,9cyclictest26977-21wc2
3185599334,8cyclictest13157-21sed2
3185599324,16cyclictest27322-21grep2
3185599321,16cyclictest0-21swapper/22
3185599320,15cyclictest0-21swapper/22
3185599304,12cyclictest8619-21ntpq2
3185599296,8cyclictest28488-21ntp_states2
3185599295,14cyclictest12563-21sed2
3185599295,10cyclictest29588-21sed2
3185599291,17cyclictest0-21swapper/22
3185599291,17cyclictest0-21swapper/22
3185599283,9cyclictest21852-21latency_hist2
3185599283,10cyclictest5888-21grep2
3185599283,10cyclictest3903-21dump-pmu-power2
324472270,2sleep10-21swapper/11
3185599274,8cyclictest30463-21ntp_states2
3185599273,9cyclictest32338-21grep2
3185599272,5cyclictest0-21swapper/22
151482270,3sleep33186099cyclictest3
31860992616,8cyclictest3515-21users3
3185599265,18cyclictest6331-21latency_hist2
3185599264,7cyclictest3045-21df_inode2
3185599264,6cyclictest988-21taskset2
3185599264,6cyclictest11591-21taskset2
3185599263,9cyclictest15778-21sed2
3185599263,13cyclictest12304-21cpuspeed_turbos2
3185599261,9cyclictest0-21swapper/22
40222250,2sleep10-21swapper/11
3185599254,8cyclictest16802-21sed2
3185599254,7cyclictest6229-21ntp_states2
3185599253,9cyclictest30732-21taskset2
3185599253,9cyclictest24415-21sed2
3185599252,9cyclictest1722-21cstates2
3185599252,8cyclictest16123-21df2
293222250,2sleep00-21swapper/00
3185599244,18cyclictest1087-21cat2
3185599244,17cyclictest23108-21cat2
3185599243,8cyclictest4868-21grep2
3185599243,7cyclictest9121-21ps2
3185599243,7cyclictest1495-21ntp_states2
3185599242,9cyclictest2551-21latency2
31855992416,5cyclictest7861-21munin-run2
3185099242,19cyclictest29856-21cut1
3185599233,6cyclictest0-21swapper/22
3185599231,9cyclictest15414-21cpu2
256352230,3sleep20-21swapper/22
45642220,2sleep00-21swapper/00
31860992218,3cyclictest35-21ksoftirqd/33
3186099220,19cyclictest29176-21ntp_kernel_err3
3185599223,5cyclictest0-21swapper/22
3185599223,16cyclictest8387-21grep2
3185599222,5cyclictest0-21swapper/22
3185599221,6cyclictest28-21ksoftirqd/22
31855992215,4cyclictest505-21dbus-daemon2
3185599221,18cyclictest20211-21perf2
3185099220,10cyclictest189192pmu-power1
8992210,4sleep1201rcuc/11
31860992116,3cyclictest4972-21seq3
31860992116,3cyclictest24027-21ntp_offset3
31860992115,4cyclictest22537-21grep3
31860992115,3cyclictest4710-21ntp_states3
3185599213,6cyclictest14076-21taskset2
3185599212,6cyclictest0-21swapper/22
31855992116,3cyclictest1383-21munin-node2
31855992115,4cyclictest22683-21load2
31850992115,4cyclictest27485-21expr1
31850992114,4cyclictest24634-21grep1
31845992117,3cyclictest9-21ksoftirqd/00
31845992117,2cyclictest9-21ksoftirqd/00
31845992116,3cyclictest17486-21sendmail0
31845992115,4cyclictest24218-21wc0
3184599210,17cyclictest18808-21sed0
31860992015,3cyclictest7206-21date3
31860992015,3cyclictest35-21ksoftirqd/33
31860992015,3cyclictest35-21ksoftirqd/33
31860992015,3cyclictest30823-21unixbench-2d3
31860992015,3cyclictest2245-21ntp_kernel_pll_3
31860992015,3cyclictest20882-21pluginstate3
31860992015,3cyclictest16074-21aten2_r9power_e3
31860992015,3cyclictest15630-21timerandwakeup3
31860992015,3cyclictest10109-21uname3
31860992014,4cyclictest21926-21memory3
31860992014,4cyclictest12257-21cat3
31860992014,3cyclictest31912-21aten2_r9power_e3
31860992013,4cyclictest1973-21awk3
31855992015,3cyclictest20605-21open_inodes2
31855992015,3cyclictest11236-21latency2
3185599201,3cyclictest29496-1kworker/2:0H2
31855992013,4cyclictest322-21systemd-journal2
3185599200,3cyclictest22187-1kworker/2:0H2
3185099209,2cyclictest21-21ksoftirqd/11
31850992015,3cyclictest7745-21sh1
31850992015,3cyclictest5365-21/usr/sbin/munin1
31850992015,3cyclictest4259-21hostname1
31850992015,3cyclictest28864-21which1
31850992015,3cyclictest27904-21seq1
31850992015,3cyclictest15361-21seq1
31850992015,3cyclictest14490-21cat1
31850992015,3cyclictest13928-21seq1
31850992014,4cyclictest9292-21expr1
31850992014,4cyclictest23446-21awk1
31850992014,4cyclictest15561-21seq1
3184599208,9cyclictest505-21dbus-daemon0
31845992015,3cyclictest3899-21sed0
31845992015,3cyclictest26375-21/usr/sbin/munin0
31845992015,3cyclictest1496-21munin-node0
31845992015,3cyclictest1496-21munin-node0
31845992014,4cyclictest31711-21sed0
31845992014,4cyclictest22548-21awk0
31845992013,3cyclictest19832-21latency_hist0
31845992012,5cyclictest17771-21basename0
31845992012,4cyclictest20968-21ls0
31860991915,2cyclictest23653-21/usr/sbin/munin3
31860991914,3cyclictest9089-21cat3
31860991914,3cyclictest8518-21df_inode3
31860991914,3cyclictest5044-21sh3
31860991914,3cyclictest35-21ksoftirqd/33
31860991914,3cyclictest30007-21open_inodes3
31860991914,3cyclictest28325-21entropy3
31860991914,3cyclictest27739-21cat3
31860991914,3cyclictest27628-21find3
31860991914,3cyclictest2608-21memory3
31860991914,3cyclictest20112-21open_files3
31860991914,3cyclictest17265-21needreboot3
31860991914,3cyclictest15689-21forks3
31860991914,3cyclictest13714-21gltestperf3
31860991914,3cyclictest13341-21ntpq3
31860991914,3cyclictest12772-21ps3
31860991913,4cyclictest4991-21cat3
31860991913,4cyclictest32108-21cat3
31860991913,4cyclictest26769-21ntp_states3
31860991913,4cyclictest25103-21expr3
31860991913,4cyclictest21785-21users3
31860991913,3cyclictest7570-21idleruntime-cro3
31860991912,4cyclictest6799-21cat3
31860991912,4cyclictest6687-21if_enp2s03
31860991912,4cyclictest24784-21df3
3186099190,6cyclictest0-21swapper/33
3185599193,14cyclictest25796-21cat2
31855991914,3cyclictest27326-21cat2
31855991914,3cyclictest14105-21cut2
31855991913,4cyclictest18238-21cut2
31855991913,3cyclictest5908-21perf2
3185599191,16cyclictest22187-1kworker/2:0H2
3185599190,6cyclictest28-21ksoftirqd/22
3185099192,15cyclictest32115-21cut1
3185099191,5cyclictest0-21swapper/11
31850991914,3cyclictest9794-21seq1
31850991914,3cyclictest6576-21/usr/sbin/munin1
31850991914,3cyclictest4197-21seq1
31850991914,3cyclictest32019-21/usr/sbin/munin1
31850991914,3cyclictest31506-21seq1
31850991914,3cyclictest29086-21seq1
31850991914,3cyclictest25618-21cat1
31850991914,3cyclictest24204-21swap1
31850991914,3cyclictest23928-21/usr/sbin/munin1
31850991914,3cyclictest22822-21ntp_states1
31850991914,3cyclictest22202-21expr1
31850991914,3cyclictest21047-21cat1
31850991914,3cyclictest20012-21seq1
31850991914,3cyclictest1647-21processes1
31850991914,3cyclictest13168-21cat1
31850991914,3cyclictest12640-21open_files1
31850991913,4cyclictest8062-21cat1
31850991913,4cyclictest2057-21cat1
31850991913,4cyclictest17555-21ls1
31850991912,4cyclictest30330-21acpi1
31850991912,4cyclictest26093-21cat1
31850991912,4cyclictest21746-21awk1
31850991912,4cyclictest19838-21cpu1
3185099191,15cyclictest11191-21timerandwakeup1
3185099190,16cyclictest14561-21grep1
3184599195,5cyclictest9-21ksoftirqd/00
31845991915,2cyclictest25899-21/usr/sbin/munin0
31845991914,3cyclictest890-21seq0
31845991914,3cyclictest7639-21sed0
31845991914,3cyclictest642-21ntpd0
31845991914,3cyclictest23238-21seq0
31845991913,4cyclictest18439-21sed0
31845991913,4cyclictest12376-21sed0
31845991912,4cyclictest322-21systemd-journal0
31845991912,4cyclictest3150-21sendmail0
31845991912,4cyclictest10282-21sh0
31860991816,1cyclictest0-21swapper/33
31860991814,2cyclictest31083-21/usr/sbin/munin3
31860991813,3cyclictest8550-21missed_timers3
31860991813,3cyclictest7941-21if_err_enp3s03
31860991813,3cyclictest32316-21ls3
31860991813,3cyclictest29871-21acpi3
31860991813,3cyclictest22063-21expr3
31860991813,3cyclictest18909-21expr3
31860991813,3cyclictest18131-21expr3
31860991813,3cyclictest17541-21cstates3
31860991813,3cyclictest12467-21ls3
31860991813,3cyclictest10482-21sh3
31860991812,4cyclictest26190-21basename3
31860991812,4cyclictest26190-21basename3
31860991812,3cyclictest25583-21grep3
31860991811,4cyclictest32531-21cat3
3185599180,17cyclictest32089-21awk2
31850991814,3cyclictest639-21snmpd1
31850991814,2cyclictest15248-21/usr/sbin/munin1
31850991813,3cyclictest9591-21expr1
31850991813,3cyclictest8135-21expr1
31850991813,3cyclictest6617-21needreboot1
31850991813,3cyclictest5162-21cat1
31850991813,3cyclictest4243-21expr1
31850991813,3cyclictest30132-21gzip1
31850991813,3cyclictest26000-21ntp_offset1
31850991813,3cyclictest20384-21expr1
31850991813,3cyclictest19132-21seq1
31850991813,3cyclictest17371-21seq1
31850991813,3cyclictest1484-21seq1
31850991813,3cyclictest12296-21basename1
31850991813,3cyclictest11193-21sshd1
31850991812,4cyclictest16573-21cut1
31850991812,3cyclictest28754-21sh1
31850991811,4cyclictest12063-21seq1
3184599187,8cyclictest0-21swapper/00
3184599186,10cyclictest9-21ksoftirqd/00
3184599181,9cyclictest111rcu_preempt0
31845991814,2cyclictest27141-21/usr/sbin/munin0
31845991813,3cyclictest9-21ksoftirqd/00
31845991813,3cyclictest665-21runrttasks0
31845991813,3cyclictest4364-21expr0
31845991813,3cyclictest29751-21sed0
31845991813,3cyclictest22550-21if_err_enp2s00
31845991813,3cyclictest17224-21/usr/sbin/munin0
31845991813,3cyclictest13748-21sed0
3184599181,2cyclictest111rcu_preempt0
31845991812,4cyclictest7270-21grep0
31845991812,4cyclictest15838-21cat0
31845991812,4cyclictest14149-21ntp_states0
3184599180,16cyclictest13988-21cut0
31860991715,1cyclictest0-21swapper/33
31860991713,2cyclictest26451-21aten2_r9power_p3
31860991712,3cyclictest13730-21/usr/sbin/munin3
31860991712,3cyclictest11574-21cut3
31850991711,4cyclictest21859-21latency1
3184599177,9cyclictest9-21ksoftirqd/00
31845991712,3cyclictest7758-21sed0
31845991712,3cyclictest665-21runrttasks0
31845991712,3cyclictest665-21runrttasks0
31845991712,3cyclictest31564-21/usr/sbin/munin0
31845991712,3cyclictest20439-21grep0
31845991712,3cyclictest12304-21cpuspeed_turbos0
31845991711,4cyclictest739-21cut0
31845991711,4cyclictest28145-21sed0
31845991711,4cyclictest24668-21grep0
31845991711,4cyclictest20397-21sed0
31845991711,4cyclictest10487-21df_inode0
31845991711,3cyclictest9373-21aten2_r9power_e0
31845991711,3cyclictest9084-21idleruntime-cro0
3184599171,13cyclictest5461-21cut0
31845991710,4cyclictest23829-21cpuspeed0
3184599163,11cyclictest4600-21/usr/sbin/munin0
3184599161,4cyclictest0-21swapper/00
31845991611,3cyclictest665-21runrttasks0
31845991611,3cyclictest10734-21proc_pri0
31845991611,2cyclictest31141-21cut0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional