You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-09-17 - 20:58

Intel(R) Atom(TM) Processor E3950 @ 1.60GHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rack9slot2 (updated Fri Sep 17, 2021 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
66372276179,82sleep30-21swapper/33
64772254217,24sleep00-21swapper/00
67812244207,24sleep20-21swapper/22
50622233196,25sleep10-21swapper/11
2819821420,2sleep00-21swapper/00
272522560,2sleep30-21swapper/33
128402520,1sleep30-21swapper/33
145422510,1sleep30-21swapper/33
258842440,2sleep30-21swapper/33
98752400,1sleep30-21swapper/33
6899993614,4cyclictest31140-21ls0
116312360,1sleep00-21swapper/00
6899993512,4cyclictest30727-21cat0
6899993414,4cyclictest19026-21ntpq0
6899993414,3cyclictest23620-21acpi0
6899993414,3cyclictest16897-21cut0
6899993313,3cyclictest12071-21entropy0
6899993311,3cyclictest27696-21sh0
6899993311,3cyclictest17488-21aten2_r9power_p0
6899993211,3cyclictest5421-21cat0
6899993210,4cyclictest22357-21cpuspeed_turbos0
6899993210,3cyclictest21582-21date0
689999320,13cyclictest11381-21cat0
6899993013,2cyclictest1067-21/usr/sbin/munin0
6899992814,3cyclictest639-21snmpd0
6899992712,2cyclictest665-21runrttasks0
6899992712,2cyclictest665-21runrttasks0
689999261,6cyclictest6039-21sed0
6899992519,4cyclictest1680-21tr0
160132250,4sleep1201rcuc/11
690699244,18cyclictest6523-21cat2
690699241,6cyclictest25800-21munin-run2
690699241,5cyclictest3299-21perf2
139672240,1sleep20-21swapper/22
690699234,17cyclictest13933-21latency_hist2
690699234,17cyclictest11514-21cat2
690699233,18cyclictest23073-21latency_hist2
690699231,5cyclictest1307-21sendmail2
690699223,17cyclictest7991-21latency_hist2
690699223,17cyclictest31076-21cat2
690699223,17cyclictest27978-21cat2
690699223,17cyclictest26731-21cat2
690699223,17cyclictest19401-21latency_hist2
690699223,17cyclictest18645-21latency_hist2
690699223,17cyclictest11966-21latency_hist2
690699223,17cyclictest10177-21cat2
690699221,4cyclictest30761-1kworker/2:1H2
6906992214,5cyclictest30541-21dump-pmu-power2
690699221,18cyclictest30761-1kworker/2:1H2
690699221,18cyclictest27357-21tr2
6902992215,4cyclictest21408-21dump-pmu-power1
6902992213,6cyclictest23361-21cron1
6911992115,4cyclictest1486-21diskstats3
6911992114,5cyclictest5446-21df_inode3
691199210,18cyclictest12667-21cat3
690699212,17cyclictest8450-21latency_hist2
690699212,17cyclictest4042-21latency_hist2
690699212,17cyclictest29761-21latency_hist2
690699212,17cyclictest15983-21cat2
6906992118,2cyclictest0-21swapper/22
6906992117,2cyclictest21542-21cat2
6906992116,3cyclictest31281-21munin-run2
6906992116,3cyclictest30012-21/usr/sbin/munin2
6906992115,4cyclictest7243-21dump-pmu-power2
6906992115,3cyclictest26639-21grep2
690699211,4cyclictest30761-1kworker/2:1H2
690699211,3cyclictest8858-21munin-node2
6906992113,4cyclictest322-21systemd-journal2
690699211,17cyclictest30761-1kworker/2:1H2
690299213,16cyclictest19122-21cron1
6899992115,4cyclictest15040-21seq0
6899992110,9cyclictest3393-21switchtime0
691199205,7cyclictest35-21ksoftirqd/33
6911992016,2cyclictest32066-21aten2_r9power_p3
6911992015,3cyclictest6376-21seq3
6911992015,3cyclictest4440-21pmu-power3
6911992015,3cyclictest3138-21aten2_r9power_p3
6911992015,3cyclictest29481-21cpuspeed_turbos3
6911992015,3cyclictest20235-21sed3
6911992015,3cyclictest20235-21sed3
6911992015,3cyclictest12449-21needreboot3
6911992015,3cyclictest1055-21missed_timers3
6911992015,3cyclictest10261-21unixbench_multi3
6911992014,4cyclictest32072-21basename3
6911992014,4cyclictest26229-21seq3
6911992014,4cyclictest22839-21cut3
6911992014,4cyclictest15695-21seq3
6911992014,3cyclictest19286-21savelog3
6911992013,5cyclictest9222-21cron3
6911992013,4cyclictest20098-21diskstats3
6911992012,5cyclictest17243-21switchtime3
6906992017,2cyclictest0-21swapper/22
690699201,3cyclictest9280-21latency_hist2
690699201,3cyclictest30761-1kworker/2:1H2
6906992013,4cyclictest1302-21sed2
690699201,17cyclictest30761-1kworker/2:1H2
690699201,17cyclictest25041-21latency_hist2
690699201,17cyclictest24605-21idleruntime-cro2
690699201,17cyclictest17180-21awk2
690699201,17cyclictest16772-21cat2
690699201,17cyclictest13178-21latency_hist2
690699200,18cyclictest32222-21latency2
690699200,17cyclictest0-21swapper/22
690699200,17cyclictest0-21swapper/22
6902992015,3cyclictest8235-21/usr/sbin/munin1
6902992015,3cyclictest639-21snmpd1
6902992015,3cyclictest639-21snmpd1
6902992015,3cyclictest31127-21expr1
6902992015,3cyclictest25478-21seq1
6902992014,4cyclictest5918-21sh1
6902992014,4cyclictest14659-21switchtime1
6902992014,4cyclictest11450-21/usr/sbin/munin1
6902992013,5cyclictest7179-21cut1
6902992013,4cyclictest505-21dbus-daemon1
690299200,17cyclictest23405-21basename1
6899992015,3cyclictest8559-21seq0
6899992015,3cyclictest28045-21/usr/sbin/munin0
6899992015,3cyclictest14184-21/usr/sbin/munin0
6899992015,3cyclictest11008-21seq0
6899992014,4cyclictest12051-21cat0
6899992013,5cyclictest13872-21grep0
689999201,1cyclictest0-21swapper/00
6911991915,2cyclictest9647-21/usr/sbin/munin3
6911991915,2cyclictest31641-21df_inode3
6911991915,2cyclictest31641-21df_inode3
6911991915,2cyclictest24921-21unixbench_singl3
6911991914,3cyclictest8802-21cat3
6911991914,3cyclictest7559-21idleruntime3
6911991914,3cyclictest30652-21threads3
6911991914,3cyclictest30578-21if_enp2s03
6911991914,3cyclictest26666-21users3
6911991914,3cyclictest26181-21if_err_enp2s03
6911991914,3cyclictest23590-21load3
6911991914,3cyclictest22540-21grep3
6911991914,3cyclictest1932-21timerandwakeup3
6911991914,3cyclictest16711-21threads3
6911991914,3cyclictest12968-21/usr/sbin/munin3
6911991914,3cyclictest12884-21cut3
6911991913,4cyclictest8294-21cat3
6911991913,4cyclictest7141-21diskstats3
6911991913,4cyclictest5856-21ls3
6911991913,4cyclictest28972-21cpuspeed3
6911991913,4cyclictest21989-21cat3
6911991912,4cyclictest322-21systemd-journal3
690699197,11cyclictest0-21swapper/22
6906991915,2cyclictest15349-21latency_hist2
6906991914,3cyclictest19323-21sh2
6906991914,3cyclictest19323-21sh2
6906991914,3cyclictest13374-21latency_hist2
690699191,3cyclictest14682-21cron2
6906991913,4cyclictest21453-21cat2
690699191,15cyclictest0-21swapper/22
6906991910,6cyclictest32508-21dump-pmu-power2
6902991915,2cyclictest3066-21/usr/sbin/munin1
6902991915,2cyclictest2777-21/usr/sbin/munin1
6902991915,2cyclictest22101-21/usr/sbin/munin1
6902991915,2cyclictest21353-21/usr/sbin/munin1
6902991915,2cyclictest17573-21/usr/sbin/munin1
6902991914,3cyclictest9388-21expr1
6902991914,3cyclictest9140-21seq1
6902991914,3cyclictest6853-21ls1
6902991914,3cyclictest6095-21cat1
6902991914,3cyclictest5111-21expr1
6902991914,3cyclictest3448-21sed1
6902991914,3cyclictest30904-21awk1
6902991914,3cyclictest28045-21/usr/sbin/munin1
6902991914,3cyclictest27877-21tr1
6902991914,3cyclictest27247-21sh1
6902991914,3cyclictest25311-21/usr/sbin/munin1
6902991914,3cyclictest19370-21/usr/sbin/munin1
6902991914,3cyclictest16556-21expr1
6902991914,3cyclictest12208-21/usr/sbin/munin1
6902991914,3cyclictest10496-21ntpq1
6902991914,3cyclictest10453-21ls1
6902991913,4cyclictest5120-21seq1
6902991913,4cyclictest3572-21grep1
6902991913,4cyclictest13592-21date1
6902991913,4cyclictest1067-21/usr/sbin/munin1
6902991912,4cyclictest828-21cut1
6902991911,4cyclictest505-21dbus-daemon1
6899991915,2cyclictest9647-21/usr/sbin/munin0
6899991915,2cyclictest7478-21/usr/sbin/munin0
6899991915,2cyclictest7076-21/usr/sbin/munin0
6899991915,2cyclictest3176-21aten2_r9power_v0
6899991915,2cyclictest26831-21/usr/sbin/munin0
6899991914,3cyclictest7289-21cat0
6899991914,3cyclictest6259-21/usr/sbin/munin0
6899991914,3cyclictest4697-21expr0
6899991914,3cyclictest398-21seq0
6899991914,3cyclictest398-21seq0
6899991914,3cyclictest27161-21cat0
6899991914,3cyclictest25231-21expr0
6899991914,3cyclictest23645-21cat0
6899991914,3cyclictest23349-21seq0
6899991914,3cyclictest15771-21expr0
6899991914,3cyclictest15771-21expr0
6899991914,3cyclictest12575-21expr0
6899991913,4cyclictest7263-21basename0
6899991913,4cyclictest20110-21grep0
6899991913,4cyclictest17293-21cat0
6899991912,4cyclictest13556-21cpu0
6911991814,2cyclictest4089-21unixbench_singl3
6911991814,2cyclictest15577-21irqstats3
6911991814,2cyclictest13835-21df3
6911991813,3cyclictest29307-21latency_hist3
6911991813,3cyclictest28138-21ntp_kernel_pll_3
6911991813,3cyclictest27384-21cat3
6911991813,3cyclictest23718-21cat3
6911991813,3cyclictest2326-21acpi3
6911991813,3cyclictest20507-21cat3
6911991813,3cyclictest11035-21needreboot3
6911991812,3cyclictest322-21systemd-journal3
690699182,13cyclictest3071-21tr2
6906991814,2cyclictest32747-21/usr/sbin/munin2
6906991814,2cyclictest11210-21latency_hist2
6906991812,4cyclictest20463-21cat2
690699181,16cyclictest30761-1kworker/2:1H2
690699181,15cyclictest29056-21latency_hist2
6902991814,2cyclictest9479-21/usr/sbin/munin1
6902991814,2cyclictest6259-21/usr/sbin/munin1
6902991814,2cyclictest25584-21/usr/sbin/munin1
6902991813,3cyclictest795-21/usr/sbin/munin1
6902991813,3cyclictest6715-21/usr/sbin/munin1
6902991813,3cyclictest31576-21seq1
6902991813,3cyclictest29026-21cat1
6902991813,3cyclictest25214-21seq1
6902991813,3cyclictest23174-21cstates1
6902991813,3cyclictest21969-21wc1
6902991813,3cyclictest14107-21sed1
6902991813,3cyclictest10996-21/usr/sbin/munin1
6902991812,4cyclictest7963-21awk1
6902991812,4cyclictest20148-21grep1
6902991812,4cyclictest20148-21grep1
6902991812,4cyclictest17447-21cat1
6902991812,4cyclictest15808-21expr1
6902991812,4cyclictest15808-21expr1
690299181,1cyclictest0-21swapper/11
6899991816,1cyclictest0-21swapper/00
6899991814,2cyclictest32747-21/usr/sbin/munin0
6899991814,2cyclictest31527-21/usr/sbin/munin0
6899991813,3cyclictest8460-21cat0
6899991813,3cyclictest5414-21expr0
6899991813,3cyclictest27903-21latency_hist0
6899991813,3cyclictest24071-21/usr/sbin/munin0
6899991813,3cyclictest23252-21expr0
6899991813,3cyclictest2316-21seq0
6899991813,3cyclictest20480-21expr0
6899991813,3cyclictest15912-21which0
6899991813,3cyclictest10056-21cat0
6899991812,4cyclictest31175-21expr0
6899991812,4cyclictest25897-21expr0
6911991715,1cyclictest0-21swapper/33
6911991712,3cyclictest6341-21aten2_r9power_p3
6911991712,3cyclictest5078-21cat3
6911991712,3cyclictest3331-21sed3
6911991712,3cyclictest31198-21entropy3
6911991712,3cyclictest17746-21expr3
6911991712,3cyclictest15514-21aten2_r9power_v3
6911991712,3cyclictest15514-21aten2_r9power_v3
691199170,15cyclictest0-21swapper/33
6906991713,2cyclictest665-21runrttasks2
6906991712,3cyclictest21067-21head2
6906991712,3cyclictest19287-21sed2
690699170,15cyclictest0-21swapper/22
6902991714,2cyclictest0-21swapper/11
6902991712,3cyclictest31983-21/usr/sbin/munin1
6902991711,4cyclictest22073-21sed1
690299170,15cyclictest0-21swapper/11
690299170,15cyclictest0-21swapper/11
6899991712,3cyclictest665-21runrttasks0
6899991712,3cyclictest505-21dbus-daemon0
6899991712,3cyclictest16149-21basename0
690699168,5cyclictest17894-21cron2
6906991612,2cyclictest665-21runrttasks2
6906991611,3cyclictest16622-21processes2
690299161,12cyclictest14651-21grep1
6902991610,4cyclictest26097-21cut1
6902991610,4cyclictest19620-21seq1
6899991612,2cyclictest2844-21aten2_r9power_e0
6899991612,2cyclictest22216-21ntp_states0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional