You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-03-26 - 10:22

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2 (updated Sun Mar 26, 2023 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
295822259188,22sleep10-21swapper/11
296592247181,25sleep30-21swapper/33
287242242178,51sleep20-21swapper/22
296612239178,47sleep00-21swapper/00
2995799177173,2cyclictest0-21swapper/11
2994699160154,3cyclictest1077-21strings0
2996199129125,2cyclictest0-21swapper/22
2996699122118,2cyclictest0-21swapper/33
157522440,2sleep10-21swapper/11
121852440,2sleep10-21swapper/11
325592400,2sleep10-21swapper/11
200562390,1sleep00-21swapper/00
106362260,4sleep22996199cyclictest2
103472250,1sleep30-21swapper/33
29966992417,4cyclictest19840-21dump-pmu-power3
92442230,2sleep19247-21unixbench_multi1
2996199234,17cyclictest17643-21latency_hist2
2996199234,17cyclictest16340-21latency_hist2
2996199233,18cyclictest13834-21cat2
2996199231,5cyclictest15604-21munin-run2
29957992315,5cyclictest17641-21sh1
29946992310,3cyclictest111912/usr/sbin/munin0
246642230,2sleep30-21swapper/33
29966992216,4cyclictest31702-21cron3
29966992216,4cyclictest30214-21df3
2996199223,17cyclictest4060-21cat2
2996199223,17cyclictest2500-21latency_hist2
2996199223,17cyclictest23882-21cat2
2996199223,17cyclictest20311-21latency_hist2
2996199223,17cyclictest17836-21latency_hist2
2996199221,5cyclictest23050-21perf2
29961992215,4cyclictest7833-21df2
2996199221,4cyclictest13131-21munin-run2
29961992214,6cyclictest3914-21cat2
2996199220,10cyclictest307862grep2
29957992217,3cyclictest31198-21/usr/sbin/munin1
29957992217,3cyclictest27601-21idleruntime-cro1
29957992216,3cyclictest16351-21turbostat.cron1
29957992215,4cyclictest18257-21seq1
29957992214,4cyclictest322-21systemd-journal1
150952220,2sleep215113-21munin-run2
145452220,3sleep20-21swapper/22
2996699219,3cyclictest121862aten2_r9power_c3
2996699216,5cyclictest402-21diskstats3
2996699216,13cyclictest8434-21perf3
29966992116,3cyclictest19697-21ls3
29966992115,4cyclictest8379-21which3
29966992114,4cyclictest22362-21cat3
29966992114,4cyclictest21728-21diskstats3
2996199212,17cyclictest8431-21sendmail2
2996199212,17cyclictest5214-21latency_hist2
2996199212,17cyclictest25608-21latency_hist2
2996199212,16cyclictest0-21swapper/22
29961992119,1cyclictest0-21swapper/22
29961992115,4cyclictest28613-21sed2
2996199211,18cyclictest13876-21munin-run2
29957992116,3cyclictest12629-21/usr/sbin/munin1
29957992114,5cyclictest30370-21sort1
29957992114,4cyclictest21800-21cron1
29946992116,3cyclictest8461-21tr0
29946992116,3cyclictest20589-21unixbench_multi0
29946992114,5cyclictest14640-21cat0
29946992114,4cyclictest27225-21cat0
2994699210,19cyclictest16750-21ntpq0
29966992015,3cyclictest6558-21if_err_enp3s03
29966992015,3cyclictest5898-21timerwakeupswit3
29966992015,3cyclictest28343-21threads3
29966992015,3cyclictest25485-21proc_pri3
29966992015,3cyclictest24323-21switchtime3
29966992015,3cyclictest17884-21unixbench_multi3
29966992015,3cyclictest15851-21seq3
29966992015,3cyclictest12387-21munin-plugin-st3
29966992014,4cyclictest23948-21cat3
29966992014,4cyclictest23726-21cat3
29966992014,4cyclictest12881-21cut3
29966992012,5cyclictest30436-21timerwakeupswit3
2996699200,4cyclictest111rcu_preempt3
2996199202,16cyclictest14372-21latency_hist2
29961992015,3cyclictest3366-21sed2
29961992015,3cyclictest30231-21basename2
29961992014,4cyclictest31666-21sed2
29961992014,4cyclictest20755-21sed2
29961992013,5cyclictest9144-21sed2
29961992013,4cyclictest12385-21munin-run2
2996199201,17cyclictest7792-21cat2
2996199201,17cyclictest17503-1kworker/2:0H2
2996199201,17cyclictest15751-1kworker/2:1H2
2996199201,17cyclictest1254-21munin-run2
2996199200,3cyclictest25728-1kworker/2:1H2
2996199200,18cyclictest17503-1kworker/2:0H2
2996199200,18cyclictest11707-21cat2
29957992017,2cyclictest0-21swapper/11
29957992015,3cyclictest9428-21/usr/sbin/munin1
29957992015,3cyclictest21309-21/usr/sbin/munin1
29957992014,4cyclictest3280-21awk1
29957992014,4cyclictest27984-21/usr/sbin/munin1
29957992014,4cyclictest24177-21cut1
29957992014,4cyclictest19080-21cron1
29957992014,3cyclictest25832-21grep1
29957992013,4cyclictest505-21dbus-daemon1
29957992013,4cyclictest15601-21latency_hist1
29946992015,3cyclictest7285-21cut0
29946992015,3cyclictest5944-21/usr/sbin/munin0
29946992015,3cyclictest29013-21gzip0
29946992015,3cyclictest24875-21seq0
29946992015,3cyclictest24723-21nfs4_client0
29946992014,4cyclictest4190-21seq0
29946992014,4cyclictest13551-21seq0
29946992014,3cyclictest7778-21expr0
2994699200,19cyclictest0-21swapper/00
31132190,2sleep30-21swapper/33
2996699192,15cyclictest8961-21cut3
29966991915,2cyclictest2268-21/usr/sbin/munin3
29966991914,3cyclictest8164-21ls3
29966991914,3cyclictest6216-21cat3
29966991914,3cyclictest6216-21cat3
29966991914,3cyclictest457-21cron3
29966991914,3cyclictest30836-21ls3
29966991914,3cyclictest30225-21tr3
29966991914,3cyclictest2620-21threads3
29966991914,3cyclictest25851-21/usr/sbin/munin3
29966991914,3cyclictest24554-21basename3
29966991914,3cyclictest20087-21awk3
29966991914,3cyclictest16522-21sed3
29966991914,3cyclictest15747-21timerandwakeup3
29966991914,3cyclictest14271-21open_inodes3
29966991913,4cyclictest29662-21seq3
29966991913,4cyclictest17825-21date3
29966991913,4cyclictest13737-21cat3
29966991912,4cyclictest32367-21diskstats3
29961991915,2cyclictest31851-21cat2
29961991915,2cyclictest27577-21latency_hist2
29961991914,3cyclictest7959-21idleruntime-cro2
29961991914,3cyclictest7959-21idleruntime-cro2
29961991914,3cyclictest30950-21cron2
29961991914,3cyclictest26507-21awk2
29961991913,4cyclictest5549-21awk2
29961991913,4cyclictest30161-21cut2
29961991913,4cyclictest19938-21sed2
29961991913,4cyclictest18556-21sed2
2996199191,16cyclictest9915-21latency_hist2
2996199191,16cyclictest29720-21latency_hist2
2996199190,3cyclictest17503-1kworker/2:0H2
2996199190,17cyclictest27758-21perf2
2996199190,17cyclictest17503-1kworker/2:0H2
2996199190,17cyclictest17503-1kworker/2:0H2
2995799199,8cyclictest27732-21gltestperf1
2995799192,1cyclictest0-21swapper/11
29957991916,2cyclictest0-21swapper/11
29957991915,2cyclictest29971-21/usr/sbin/munin1
29957991915,2cyclictest28478-21/usr/sbin/munin1
29957991914,3cyclictest6437-21cron1
29957991914,3cyclictest4679-21sed1
29957991914,3cyclictest27944-21sed1
29957991914,3cyclictest25667-21expr1
29957991914,3cyclictest24015-21/usr/sbin/munin1
29957991914,3cyclictest22053-21/usr/sbin/munin1
29957991914,3cyclictest20558-21/usr/sbin/munin1
29957991914,3cyclictest19891-21sed1
29957991914,3cyclictest1516-21/usr/sbin/munin1
29957991914,3cyclictest10734-21aten2_r9power_p1
29957991913,4cyclictest7915-21gltestperf1
29957991913,4cyclictest4172-21cat1
29957991913,4cyclictest29705-21cut1
29957991913,4cyclictest10178-21/usr/sbin/munin1
29957991912,4cyclictest5951-21gltestperf1
29957991912,4cyclictest505-21dbus-daemon1
29957991912,4cyclictest26560-21cut1
29957991911,4cyclictest0-21swapper/11
29946991915,2cyclictest6211-21/usr/sbin/munin0
29946991915,2cyclictest6211-21/usr/sbin/munin0
29946991915,2cyclictest30448-21/usr/sbin/munin0
29946991915,2cyclictest1988-21/usr/sbin/munin0
29946991914,3cyclictest32448-21/usr/sbin/munin0
29946991914,3cyclictest32047-21munin-node0
29946991914,3cyclictest32047-21munin-node0
29946991914,3cyclictest30910-21cat0
29946991914,3cyclictest22935-21seq0
29946991914,3cyclictest20558-21/usr/sbin/munin0
29946991914,3cyclictest18953-21ls0
29946991914,3cyclictest18224-21uname0
29946991914,3cyclictest18067-21seq0
29946991914,3cyclictest16502-21ls0
29946991913,4cyclictest983-21seq0
29946991913,4cyclictest8858-21cpuspeed0
29946991913,4cyclictest3470-21seq0
29946991913,3cyclictest18051-21cpu0
29966991814,2cyclictest773-21/usr/sbin/munin3
29966991814,2cyclictest13859-21/usr/sbin/munin3
29966991813,3cyclictest9483-21aten2_r9power_e3
29966991813,3cyclictest5133-21pluginstate3
29966991813,3cyclictest4380-21expr3
29966991813,3cyclictest3346-21cat3
29966991813,3cyclictest28567-21hostname3
29966991813,3cyclictest28263-21entropy3
29966991813,3cyclictest25674-21expr3
29966991813,3cyclictest17839-21sendmail3
29966991813,3cyclictest17437-21aten2_r9power_p3
29966991813,3cyclictest10253-21expr3
29966991812,4cyclictest9290-21wc3
29966991812,4cyclictest18289-21df3
29966991812,3cyclictest27094-21switchtime3
2996199189,6cyclictest20999-21gltestperf2
29961991816,1cyclictest0-21swapper/22
29961991816,1cyclictest0-21swapper/22
29961991814,3cyclictest26995-21cron2
29961991813,3cyclictest19325-21/usr/sbin/munin2
2996199180,17cyclictest24303-21sendmail-msp2
2995799182,13cyclictest1031-21tr1
29957991814,2cyclictest18099-21/usr/sbin/munin1
29957991813,3cyclictest8358-21sshd1
29957991813,3cyclictest6807-21cat1
29957991813,3cyclictest24497-21sed1
29957991813,3cyclictest15086-21ps1
29957991812,4cyclictest21324-21seq1
29957991812,3cyclictest30691-21sort1
29946991814,2cyclictest4724-21/usr/sbin/munin0
29946991814,2cyclictest22530-21/usr/sbin/munin0
29946991813,3cyclictest31545-21expr0
29946991813,3cyclictest29219-21/usr/sbin/munin0
29946991813,3cyclictest28671-21ntpq0
29946991813,3cyclictest27322-21aten2_r9power_p0
29946991813,3cyclictest26504-21basename0
29946991813,3cyclictest2629-21expr0
29946991813,3cyclictest24699-21cat0
29946991813,3cyclictest23682-21seq0
29946991813,3cyclictest17494-21seq0
29946991813,3cyclictest1626-21ntpq0
29946991813,3cyclictest1516-21/usr/sbin/munin0
29946991813,3cyclictest14933-21cat0
29946991813,3cyclictest14172-21cut0
29946991813,3cyclictest11756-21xargs0
29946991812,4cyclictest30146-21cat0
29946991812,4cyclictest15298-21ls0
2994699181,15cyclictest0-21swapper/00
2994699180,2cyclictest12851-21sed0
60572170,2sleep30-21swapper/33
29966991712,3cyclictest26616-21tr3
29966991712,3cyclictest20432-21expr3
29966991712,3cyclictest11683-21cpuspeed_turbos3
29966991711,4cyclictest19003-21diskstats3
29966991711,3cyclictest22050-21cpu3
29961991713,2cyclictest0-21swapper/22
29961991712,3cyclictest4098-21grep2
29961991712,3cyclictest24015-21/usr/sbin/munin2
2996199170,16cyclictest0-21swapper/22
2996199170,16cyclictest0-21swapper/22
29957991715,1cyclictest0-21swapper/11
29957991715,1cyclictest0-21swapper/11
29957991713,2cyclictest6211-21/usr/sbin/munin1
29957991713,2cyclictest6211-21/usr/sbin/munin1
29957991713,2cyclictest31947-21/usr/sbin/munin1
29957991712,3cyclictest665-21runrttasks1
29957991711,4cyclictest14693-21grep1
29957991711,3cyclictest0-21swapper/11
29946991712,3cyclictest665-21runrttasks0
29946991712,3cyclictest29706-21sed0
29946991712,3cyclictest25845-21if_enp3s00
29946991712,3cyclictest24523-21/usr/sbin/munin0
29946991712,3cyclictest21456-21seq0
29946991712,3cyclictest18934-21ntpq0
29946991712,3cyclictest12952-21cat0
29946991712,3cyclictest10458-21cat0
2994699171,15cyclictest0-21swapper/00
29946991711,4cyclictest27179-21grep0
2994699170,15cyclictest0-21swapper/00
2996199162,12cyclictest18649-21tail2
2995799162,12cyclictest22140-21tr1
29957991611,3cyclictest8198-21cut1
29957991611,3cyclictest665-21runrttasks1
29957991611,3cyclictest28398-21if_enp2s01
29946991611,3cyclictest665-21runrttasks0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional