You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-06-03 - 06:24

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2 (updated Sat Jun 03, 2023 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
50742273242,17sleep00-21swapper/00
56412268186,68sleep20-21swapper/22
610199247239,5cyclictest7985-21munin-run1
46432244199,35sleep30-21swapper/33
56302241205,24sleep10-21swapper/11
609699217209,5cyclictest8011-21idleruntime-cro0
610799211206,3cyclictest8010-21perf2
611199186183,2cyclictest0-21swapper/33
178362480,2sleep10-21swapper/11
240112420,1sleep30-21swapper/33
6111993916,20cyclictest10489-21seq3
6111993716,19cyclictest18223-21cpuspeed_turbos3
6111993614,20cyclictest28138-21awk3
6111993614,19cyclictest13059-21gltestperf3
6111993514,19cyclictest2524-21sed3
6111993514,18cyclictest19359-21cat3
6111993513,19cyclictest6917-21grep3
6111993413,19cyclictest20461-21cat3
6111993413,18cyclictest27129-21cat3
6111993413,18cyclictest18538-21basename3
6111993411,20cyclictest4412-21expr3
6111993312,18cyclictest11239-21sh3
6111993310,20cyclictest5886-21timerwakeupswit3
6111993310,20cyclictest3132-21munin-plugin-st3
6111993212,18cyclictest2003-21/usr/sbin/munin3
6111993211,18cyclictest19970-21missed_timers3
6111993210,19cyclictest14642-21users3
6111993110,19cyclictest29232-21aten2_r9power_e3
611199309,3cyclictest9047-21which3
611199309,3cyclictest5726-21expr3
611199309,3cyclictest24623-21aten2_r9power_p3
611199309,3cyclictest16628-21cat3
611199309,3cyclictest16628-21cat3
611199309,18cyclictest0-21swapper/33
6111993010,3cyclictest24932-21expr3
6111993010,3cyclictest10783-21cat3
611199299,3cyclictest14065-21grep3
611199299,2cyclictest32403-21if_enp2s03
611199299,2cyclictest32186-21sh3
611199298,4cyclictest32650-21aten2_r9power_e3
611199298,4cyclictest32650-21aten2_r9power_e3
611199298,3cyclictest4600-21latency_hist3
611199298,3cyclictest300372chrt3
611199298,2cyclictest313122chrt3
611199297,4cyclictest22391-21gltestperf3
611199297,3cyclictest12576-21cut3
611199292,7cyclictest11730-21diskstats3
611199288,2cyclictest18053-21taskset3
611199287,3cyclictest56342chrt3
611199287,3cyclictest28447-21cut3
611199287,3cyclictest27092-21cat3
611199286,4cyclictest20263-21expr3
611199286,3cyclictest31561-21df_inode3
611199286,3cyclictest31561-21df_inode3
611199285,6cyclictest0-21swapper/33
300542280,1sleep00-21swapper/00
611199279,2cyclictest14347-21cstates3
611199277,3cyclictest6900-21cpuspeed_turbos3
611199277,3cyclictest16062-21sed3
611199276,3cyclictest17327-21aten2_r9power_e3
611199276,18cyclictest0-21swapper/33
611199275,5cyclictest16995-21sendmail3
611199275,5cyclictest16995-21sendmail3
611199275,4cyclictest9705-21expr3
6111992710,15cyclictest665-21runrttasks3
610799271,5cyclictest16516-21munin-run2
6062270,2sleep00-21swapper/00
611199266,3cyclictest6598-21kernelversion3
611199266,3cyclictest13838-21latency_hist3
611199265,3cyclictest9866-21timerwakeupswit3
611199265,3cyclictest31386-21pmu-power3
611199264,5cyclictest0-21swapper/33
610799263,20cyclictest25653-21latency_hist2
6107992617,5cyclictest14548-21perf2
611199256,2cyclictest22951-21idleruntime-cro3
6101992517,5cyclictest7096-21sh1
609699259,3cyclictest224592sh0
611199245,3cyclictest0-21swapper/33
610799245,17cyclictest8489-21cat2
610799244,18cyclictest29708-21cat2
610799244,18cyclictest28341-21cat2
610799234,17cyclictest11064-21latency_hist2
610799233,17cyclictest28924-21latency_hist2
610799232,18cyclictest21745-21sort2
6107992317,3cyclictest6423-21munin-run2
610799231,19cyclictest17007-21munin-run2
610799231,19cyclictest17007-21munin-run2
610799231,18cyclictest24321-21latency_hist2
6101992318,3cyclictest22454-21sh1
6101992313,6cyclictest7855-21idleruntime-cro1
94052220,2sleep20-21swapper/22
610799224,15cyclictest21109-21cat2
610799223,17cyclictest31656-21cat2
610799223,17cyclictest30314-21cat2
610799223,17cyclictest20584-21cat2
610799223,17cyclictest12730-21cat2
610799223,17cyclictest1133-21latency_hist2
610799221,5cyclictest22484-21sendmail-mta2
6107992215,4cyclictest5896-21sed2
610799221,18cyclictest23141-1kworker/2:2H2
610799220,19cyclictest9862-21sendmail-mta2
610799220,19cyclictest1943-21latency_hist2
610799220,19cyclictest1943-21latency_hist2
6101992214,5cyclictest505-21dbus-daemon1
6101992214,5cyclictest505-21dbus-daemon1
609699225,3cyclictest204142cat0
297622220,1sleep10-21swapper/11
26482220,3sleep10-21swapper/11
611199218,2cyclictest242112sleep33
610799212,17cyclictest18987-21latency_hist2
6107992116,3cyclictest25531-21ntp_states2
6107992116,3cyclictest19209-21timerwakeupswit2
6107992115,4cyclictest26472-21sed2
6107992115,3cyclictest24436-21perf2
6107992115,3cyclictest18480-21cron2
610799211,4cyclictest9115-21sendmail-mta2
6107992114,4cyclictest7837-21latency_hist2
6107992114,4cyclictest12368-21sh2
610799211,3cyclictest16085-21taskset2
6107992113,5cyclictest28392-21turbostat.cron2
6107992113,5cyclictest15764-21munin-run2
610799211,17cyclictest23141-1kworker/2:2H2
610799211,17cyclictest20317-21munin-run2
610799210,3cyclictest22292-21perf2
610799210,19cyclictest0-21swapper/22
6101992114,4cyclictest505-21dbus-daemon1
6096992115,4cyclictest9625-21seq0
6096992115,4cyclictest505-21dbus-daemon0
6096992115,4cyclictest30173-21seq0
6096992115,3cyclictest15769-21sh0
6096992114,5cyclictest8917-21seq0
6096992114,4cyclictest26501-21cat0
6096992114,4cyclictest23887-21cat0
238532210,1sleep10-21swapper/11
6111992014,4cyclictest28215-21cat3
610799202,16cyclictest5690-21taskset2
610799202,16cyclictest17794-21sendmail-mta2
610799202,16cyclictest17794-21sendmail-mta2
6107992017,2cyclictest0-21swapper/22
6107992014,3cyclictest30901-21munin-run2
6107992013,5cyclictest3851-21latency_hist2
6107992012,5cyclictest24942-21tr2
6107992012,4cyclictest6417-21grep2
6107992011,7cyclictest665-21runrttasks2
610799201,17cyclictest5605-1kworker/2:1H2
610799201,17cyclictest10597-21sendmail2
610799201,16cyclictest429-21sendmail2
610799201,16cyclictest429-21sendmail2
610799200,6cyclictest30864-21grep2
610799200,19cyclictest0-21swapper/22
610799200,18cyclictest5133-21sendmail-mta2
610799200,17cyclictest2856-1kworker/2:0H2
6101992017,2cyclictest0-21swapper/11
6101992016,2cyclictest18759-21/usr/sbin/munin1
6101992015,3cyclictest8695-21ntp_states1
6101992015,3cyclictest8432-21sed1
6101992015,3cyclictest28717-21nfs4_client1
6101992015,3cyclictest28494-21/usr/sbin/munin1
6101992015,3cyclictest26661-21/usr/sbin/munin1
6101992015,3cyclictest26518-21/usr/sbin/munin1
6101992015,3cyclictest14029-21/usr/sbin/munin1
6101992014,4cyclictest21822-21cat1
6101992014,4cyclictest10830-21/usr/sbin/munin1
6101992013,4cyclictest11075-21perf1
6101992011,6cyclictest505-21dbus-daemon1
6101992011,6cyclictest505-21dbus-daemon1
6101992010,6cyclictest505-21dbus-daemon1
6096992015,4cyclictest9-21ksoftirqd/00
6096992015,4cyclictest9-21ksoftirqd/00
6096992015,3cyclictest4107-21cpu0
6096992015,3cyclictest2825-21seq0
6096992015,3cyclictest25549-21ls0
6096992015,3cyclictest19507-21seq0
6096992015,3cyclictest14239-21seq0
6096992014,4cyclictest6411-21expr0
6096992014,4cyclictest3614-21ls0
6096992014,4cyclictest27962-21unixbench_singl0
6096992014,4cyclictest20643-21cat0
6096992014,4cyclictest18788-21seq0
6096992014,4cyclictest17610-21seq0
6096992014,4cyclictest17610-21seq0
6096992013,4cyclictest620-21cat0
6096992013,4cyclictest620-21cat0
6096992013,4cyclictest24854-21grep0
609699200,6cyclictest7638-21ps0
611199196,3cyclictest29250-21/usr/sbin/munin3
6111991914,3cyclictest23933-21unixbench-2d3
6111991912,4cyclictest21130-21df3
610799192,16cyclictest0-21swapper/22
6107991912,5cyclictest30351-21cron2
6107991912,4cyclictest4052-21sed2
610799190,18cyclictest0-21swapper/22
610799190,17cyclictest27718-21wc2
610799190,16cyclictest17523-21cut2
610199192,13cyclictest2267-21ntp_kernel_pll_1
6101991917,1cyclictest0-21swapper/11
6101991916,2cyclictest0-21swapper/11
6101991916,2cyclictest0-21swapper/11
6101991916,2cyclictest0-21swapper/11
6101991915,2cyclictest31836-21/usr/sbin/munin1
6101991914,3cyclictest5248-21sed1
6101991914,3cyclictest28635-21/usr/sbin/munin1
6101991914,3cyclictest27204-21/usr/sbin/munin1
6101991914,3cyclictest25923-21/usr/sbin/munin1
6101991914,3cyclictest24663-21/usr/sbin/munin1
6101991914,3cyclictest22827-21sh1
6101991914,3cyclictest20838-21ntp_states1
6101991914,3cyclictest19670-21cat1
6101991914,3cyclictest15166-21expr1
6101991914,3cyclictest14590-21/usr/sbin/munin1
6101991913,4cyclictest3574-21ntp_states1
6101991912,4cyclictest17514-21grep1
6101991912,4cyclictest13850-21grep1
6096991916,1cyclictest0-21swapper/00
6096991914,3cyclictest5665-21cstates0
6096991914,3cyclictest4854-21cut0
6096991914,3cyclictest479-21expr0
6096991914,3cyclictest479-21expr0
6096991914,3cyclictest32741-21pmu-power0
6096991914,3cyclictest29060-21timerwakeupswit0
6096991914,3cyclictest28967-21latency_hist0
6096991914,3cyclictest27553-21seq0
6096991914,3cyclictest2515-21expr0
6096991914,3cyclictest23607-21cat0
6096991914,3cyclictest22179-21ps0
6096991914,3cyclictest20904-21seq0
6096991914,3cyclictest18015-21seq0
6096991914,3cyclictest13819-21latency_hist0
6096991914,3cyclictest13725-21pmu-power0
6096991914,3cyclictest13006-21seq0
6096991914,3cyclictest11065-21entropy0
6096991913,4cyclictest8770-21tr0
6096991913,4cyclictest8557-21basename0
6096991913,4cyclictest32238-21seq0
6096991913,4cyclictest29381-21awk0
6096991913,4cyclictest16271-21seq0
6096991913,3cyclictest17020-21expr0
6111991813,3cyclictest7714-21expr3
610799189,7cyclictest32558-21aten2_r9power_p2
6107991813,3cyclictest14470-21sed2
610799180,16cyclictest0-21swapper/22
6101991816,1cyclictest0-21swapper/11
6101991814,2cyclictest32581-21/usr/sbin/munin1
6101991814,2cyclictest32581-21/usr/sbin/munin1
6101991813,3cyclictest8797-21tr1
6101991813,3cyclictest31587-21latency_hist1
6101991813,3cyclictest20541-21/usr/sbin/munin1
6101991813,3cyclictest18413-21expr1
6101991812,4cyclictest4067-21cut1
6101991812,4cyclictest18532-21basename1
6101991810,5cyclictest25873-21latency1
6101991810,5cyclictest25862-21grep1
6096991815,2cyclictest0-21swapper/00
6096991814,2cyclictest2710-21/usr/sbin/munin0
6096991813,3cyclictest9315-21seq0
6096991813,3cyclictest5997-21aten2_r9power_e0
6096991813,3cyclictest4902-21ls0
6096991813,3cyclictest27550-21swap0
6096991813,3cyclictest24563-21cat0
6096991813,3cyclictest22518-21seq0
6096991813,3cyclictest22464-21expr0
6096991813,3cyclictest20202-21cat0
6096991813,3cyclictest14573-21seq0
6096991813,3cyclictest11707-21sh0
6096991813,3cyclictest10666-21if_err_enp2s00
129052180,2sleep10-21swapper/11
6111991712,3cyclictest4108-21load3
6107991712,3cyclictest2889-21seq2
6101991712,3cyclictest741-21/usr/sbin/munin1
6101991712,3cyclictest4688-21/usr/sbin/munin1
6101991712,3cyclictest23623-21grep1
6101991712,3cyclictest2155-21/usr/sbin/munin1
6101991712,3cyclictest13457-21ntpq1
6101991711,4cyclictest16246-21ls1
6101991711,4cyclictest16246-21ls1
6096991712,3cyclictest2003-21/usr/sbin/munin0
6096991711,4cyclictest31078-21date0
6101991614,1cyclictest0-21swapper/11
6101991611,3cyclictest6896-21cat1
6101991611,3cyclictest4042-21latency1
6101991611,3cyclictest19883-21sed1
6101991610,4cyclictest10138-21cut1
610199160,15cyclictest0-21swapper/11
6096991611,3cyclictest21116-21if_enp3s00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional