You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-01-28 - 07:51

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2 (updated Sat Jan 28, 2023 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3118799282274,5cyclictest3200-21munin-run3
307052273235,25sleep10-21swapper/11
308842250184,52sleep20-21swapper/22
309372244183,47sleep00-21swapper/00
306762243206,25sleep30-21swapper/33
3117999198192,3cyclictest3225-21perf1
3117499162154,6cyclictest0-21swapper/00
3118399142137,3cyclictest3234-21awk2
75922590,3sleep10-21swapper/11
268322560,3sleep30-21swapper/33
3117999391,36cyclictest24365-21kworker/1:21
143682350,1sleep30-21swapper/33
31179992819,3cyclictest21-21ksoftirqd/11
31183992718,6cyclictest16842-40mandb2
31179992718,3cyclictest21-21ksoftirqd/11
199262270,1sleep10-21swapper/11
3118399260,4cyclictest9678-21lockfile-create2
31179992417,4cyclictest816-21ntpq1
31179992417,4cyclictest816-21ntpq1
3117999240,10cyclictest123762tail1
3118399234,17cyclictest9063-21cat2
3118399231,20cyclictest28918-21cat2
3118399231,19cyclictest23006-21munin-run2
31179992317,4cyclictest26552-21grep1
3118399224,16cyclictest11682-21cat2
3118399223,17cyclictest13041-21cat2
3118399220,5cyclictest18841-21taskset2
3118399220,5cyclictest18841-21taskset2
3117999222,4cyclictest21-21ksoftirqd/11
3117999220,9cyclictest315672tr1
31174992217,3cyclictest4463-21sh0
31174992210,10cyclictest1490-21cut0
31187992116,3cyclictest10281-21pluginstate3
31187992115,4cyclictest28919-21date3
31187992115,3cyclictest26399-21cat3
3118799211,17cyclictest31030-21tr3
3118399213,16cyclictest24977-21latency_hist2
3118399212,17cyclictest22367-21cat2
3118399212,17cyclictest15076-21latency_hist2
31183992116,3cyclictest3842-21interrupts2
31183992116,3cyclictest23111-21aten2_r9power_p2
31183992116,3cyclictest20020-21seq2
31183992116,3cyclictest10857-21wc2
31183992115,4cyclictest32046-21ntp_states2
31183992115,4cyclictest29609-21date2
31183992115,4cyclictest12598-21seq2
31183992115,3cyclictest322-21systemd-journal2
3118399211,3cyclictest31015-1kworker/2:2H2
3118399211,17cyclictest322-21systemd-journal2
3118399211,17cyclictest27476-21munin-run2
31179992116,3cyclictest9381-21/usr/sbin/munin1
31179992115,4cyclictest4941-21expr1
3117499212,17cyclictest11120-21sh0
31174992116,3cyclictest21769-21/usr/sbin/munin0
31174992116,3cyclictest16143-21cat0
31174992115,4cyclictest27317-21seq0
31174992115,4cyclictest24146-21seq0
31174992115,3cyclictest1042-21cat0
31174992115,3cyclictest1042-21cat0
31174992114,5cyclictest16662-21seq0
31174992114,4cyclictest7545-21seq0
31174992110,9cyclictest665-21runrttasks0
31187992016,2cyclictest21271-21/usr/sbin/munin3
31187992016,2cyclictest19611-21grep3
31187992015,3cyclictest8043-21ntp_states3
31187992015,3cyclictest570-21cut3
31187992015,3cyclictest30210-21rt-features3
31187992015,3cyclictest28988-21acpi3
31187992015,3cyclictest17506-21cpuspeed3
31187992015,3cyclictest16243-21sh3
31187992015,3cyclictest16024-21latency3
31187992014,4cyclictest4298-21expr3
31187992014,4cyclictest11627-21expr3
3118399202,1cyclictest111rcu_preempt2
3118399202,16cyclictest30178-21latency_hist2
31183992015,3cyclictest7563-21open_files2
31183992015,3cyclictest22638-21cpu2
31183992015,3cyclictest20144-21ntp_kernel_pll_2
31183992015,3cyclictest19394-21seq2
31183992015,3cyclictest13113-21/usr/sbin/munin2
31183992015,3cyclictest1068-21sed2
31183992015,3cyclictest1068-21sed2
31183992015,3cyclictest10336-21timerwakeupswit2
3118399201,17cyclictest5196-21latency_hist2
3118399201,17cyclictest11126-1kworker/2:2H2
3118399201,17cyclictest0-21swapper/22
3118399201,16cyclictest322-21systemd-journal2
3118399200,3cyclictest31015-1kworker/2:2H2
3118399200,2cyclictest13112-21idleruntime-cro2
3118399200,18cyclictest31015-1kworker/2:2H2
31179992016,3cyclictest21-21ksoftirqd/11
31179992016,2cyclictest0-21swapper/11
31179992015,3cyclictest7778-21cat1
31179992015,3cyclictest32311-21head1
31179992015,3cyclictest13350-21/usr/sbin/munin1
31179992015,3cyclictest10641-21/usr/sbin/munin1
31179992014,4cyclictest18056-21cat1
31179992014,3cyclictest21-21ksoftirqd/11
31179992013,4cyclictest5760-21if_enp3s01
31179992012,5cyclictest985-21dump-pmu-power1
31179992011,6cyclictest13965-21tr1
31179992010,3cyclictest111rcu_preempt1
31179992010,2cyclictest21-21ksoftirqd/11
3117499208,10cyclictest32175-21gltestperf0
3117499208,10cyclictest31454-21idleruntime-cro0
3117499206,5cyclictest505-21dbus-daemon0
3117499202,3cyclictest111rcu_preempt0
31174992015,3cyclictest5567-21expr0
31174992015,3cyclictest28449-21/usr/sbin/munin0
31174992015,3cyclictest21287-21aten2_r9power_c0
31174992015,3cyclictest13608-21sh0
31174992015,3cyclictest12367-21unixbench-2d0
31174992015,3cyclictest11704-21sed0
31174992014,4cyclictest4678-21date0
31174992014,4cyclictest29814-21seq0
31174992014,4cyclictest28024-21expr0
31174992014,4cyclictest26835-21date0
31174992014,4cyclictest24550-21seq0
31174992014,4cyclictest20934-21cat0
31174992014,4cyclictest14958-21wc0
31174992014,4cyclictest10657-21missed_timers0
31174992013,4cyclictest22289-21basename0
31174992013,4cyclictest17045-21seq0
3118799192,15cyclictest0-21swapper/33
31187991916,2cyclictest0-21swapper/33
31187991916,2cyclictest0-21swapper/33
31187991916,2cyclictest0-21swapper/33
31187991915,2cyclictest19791-21/usr/sbin/munin3
31187991914,3cyclictest5936-21ls3
31187991914,3cyclictest5618-21cat3
31187991914,3cyclictest3098-21timerandwakeup3
31187991914,3cyclictest3016-21sed3
31187991914,3cyclictest29283-21ntp_kernel_err3
31187991914,3cyclictest25923-21cat3
31187991914,3cyclictest24898-21sh3
31187991914,3cyclictest24345-21unixbench_singl3
31187991914,3cyclictest24036-21seq3
31187991914,3cyclictest21131-21cat3
31187991914,3cyclictest14998-21sh3
31187991914,3cyclictest13222-21aten2_r9power_v3
31187991914,3cyclictest12010-21vmstat3
31187991914,3cyclictest11982-21ntp_kernel_pll_3
31187991914,3cyclictest10108-21cpuspeed_turbos3
31187991913,4cyclictest3260-21idleruntime3
31187991913,4cyclictest26872-21cut3
3118399193,14cyclictest9651-21cut2
31183991915,2cyclictest9147-21munin-run2
31183991915,2cyclictest30958-21/usr/sbin/munin2
31183991914,3cyclictest622-21turbostat2
31183991914,3cyclictest4360-21df_inode2
31183991914,3cyclictest25419-21expr2
31183991914,3cyclictest21518-21cron2
31183991914,3cyclictest17234-21cat2
31183991914,3cyclictest14888-21switchtime2
31183991914,3cyclictest1205-21gltestperf2
31183991914,3cyclictest1205-21gltestperf2
31183991913,4cyclictest26222-21cut2
31183991913,4cyclictest16642-21cut2
31183991913,4cyclictest16642-21cut2
3118399191,16cyclictest20861-21sendmail-mta2
3118399191,16cyclictest12916-21cat2
3117999197,3cyclictest21-21ksoftirqd/11
31179991916,2cyclictest0-21swapper/11
31179991916,2cyclictest0-21swapper/11
31179991915,3cyclictest21-21ksoftirqd/11
31179991915,2cyclictest8559-21latency1
31179991915,2cyclictest23734-21/usr/sbin/munin1
31179991915,2cyclictest19096-21/usr/sbin/munin1
31179991914,3cyclictest3926-21sed1
31179991914,3cyclictest31597-21sh1
31179991914,3cyclictest30354-21sed1
31179991914,3cyclictest28063-21ntpq1
31179991914,3cyclictest26486-21/usr/sbin/munin1
31179991914,3cyclictest24337-21sed1
31179991914,3cyclictest22920-21df1
31179991914,3cyclictest21996-21seq1
31179991914,3cyclictest21726-21cat1
31179991914,3cyclictest21-21ksoftirqd/11
31179991914,3cyclictest18992-21sed1
31179991914,3cyclictest18992-21sed1
31179991914,3cyclictest17302-21/usr/sbin/munin1
31179991914,3cyclictest10902-21dump-pmu-power1
31179991913,4cyclictest28090-21expr1
31179991913,4cyclictest24925-21cat1
31179991913,4cyclictest21-21ksoftirqd/11
31179991913,4cyclictest21148-21cut1
31179991912,4cyclictest25002-21gltestperf1
31174991915,2cyclictest23840-21if_err_enp2s00
31174991914,3cyclictest9729-21wc0
31174991914,3cyclictest8614-21cut0
31174991914,3cyclictest7410-21/usr/sbin/munin0
31174991914,3cyclictest31655-21cat0
31174991914,3cyclictest301-21sed0
31174991914,3cyclictest27389-21cpu0
31174991914,3cyclictest25681-21head0
31174991914,3cyclictest19985-21cat0
31174991914,3cyclictest1980-21/usr/sbin/munin0
31174991914,3cyclictest17937-21cut0
31174991914,3cyclictest17823-21/usr/sbin/munin0
31174991914,3cyclictest15207-21cat0
31174991914,3cyclictest13196-21if_enp3s00
31174991914,2cyclictest21156-21aten2_r9power_p0
31174991913,4cyclictest7687-21cut0
31174991913,4cyclictest5437-21/usr/sbin/munin0
31174991913,4cyclictest5051-21cut0
31174991913,4cyclictest3781-21cat0
31174991913,3cyclictest10399-21perf0
31187991816,1cyclictest0-21swapper/33
31187991816,1cyclictest0-21swapper/33
31187991816,1cyclictest0-21swapper/33
31187991816,1cyclictest0-21swapper/33
31187991813,3cyclictest8409-21turbostat3
31187991813,3cyclictest8276-21ntp_offset3
31187991813,3cyclictest5541-21ntp_kernel_pll_3
31187991813,3cyclictest5109-21ls3
31187991813,3cyclictest3678-21cpuspeed_turbos3
31187991813,3cyclictest32749-21expr3
31187991813,3cyclictest32749-21expr3
31187991813,3cyclictest31486-21switchtime3
31187991813,3cyclictest27968-21sed3
31187991813,3cyclictest24368-21cat3
31187991813,3cyclictest23930-21cat3
31187991813,3cyclictest21904-21vmstat3
31187991813,3cyclictest19607-21switchtime3
31187991813,3cyclictest15212-21cpu3
31187991813,3cyclictest14577-21memory3
31187991812,4cyclictest30091-21df3
31187991812,4cyclictest12416-21basename3
31183991815,2cyclictest0-21swapper/22
31183991814,2cyclictest10497-21cat2
31183991813,3cyclictest6943-21perf2
31183991813,3cyclictest26900-21df_inode2
31183991813,3cyclictest16710-21open_files2
31183991812,3cyclictest22848-21switchtime2
31183991811,4cyclictest5991-21grep2
31179991814,2cyclictest3949-21/usr/sbin/munin1
31179991813,3cyclictest29899-21ls1
31179991813,3cyclictest29417-21proc_pri1
31179991813,3cyclictest27629-21cat1
31179991813,3cyclictest21-21ksoftirqd/11
31179991813,3cyclictest21-21ksoftirqd/11
31179991813,3cyclictest18563-21/usr/sbin/munin1
31179991812,4cyclictest8730-21sed1
31179991812,4cyclictest29423-21fw_packets1
31179991812,4cyclictest26984-21date1
31174991814,2cyclictest19128-21if_enp2s00
31174991814,2cyclictest13113-21/usr/sbin/munin0
31174991813,3cyclictest665-21runrttasks0
31174991813,3cyclictest665-21runrttasks0
31174991813,3cyclictest5091-21wc0
31174991813,3cyclictest30852-21cat0
31174991813,3cyclictest24754-21processes0
31174991813,3cyclictest20888-21cat0
31174991813,3cyclictest15316-21missed_timers0
31174991813,3cyclictest13245-21cut0
31174991812,4cyclictest31964-21cat0
31174991812,4cyclictest1091-21grep0
31174991812,4cyclictest1091-21grep0
31174991812,4cyclictest10066-21open_inodes0
31174991811,4cyclictest30063-21ntpq0
31187991712,3cyclictest665-21runrttasks3
31187991712,3cyclictest665-21runrttasks3
31187991712,3cyclictest28661-21proc_pri3
31187991712,3cyclictest21075-21/usr/sbin/munin3
31187991712,3cyclictest18788-21proc_pri3
31187991711,4cyclictest1447-21cat3
31187991711,4cyclictest1447-21cat3
31183991713,2cyclictest3592-21ntp_states2
31183991713,2cyclictest2071-21nfs4_client2
31183991712,3cyclictest27977-21cat2
31183991711,4cyclictest3721-21turbostat.cron2
31183991711,4cyclictest30129-21grep2
31179991713,3cyclictest21-21ksoftirqd/11
31179991712,3cyclictest3875-21sh1
31179991712,3cyclictest30623-21cat1
31179991712,3cyclictest21-21ksoftirqd/11
31179991712,3cyclictest1416-21latency1
31179991712,3cyclictest1416-21latency1
31179991710,4cyclictest7171-21gltestperf1
31174991713,2cyclictest0-21swapper/00
31174991713,2cyclictest0-21swapper/00
31187991611,3cyclictest7232-21unixbench_singl3
31187991611,3cyclictest12671-21aten2_r9power_e3
31183991611,3cyclictest31673-21acpi2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional