You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-02-08 - 04:35

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the alll highest latencies:
System rack9slot2 (updated Wed Feb 08, 2023 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
571799274269,3cyclictest12160-21munin-run1
572899266260,4cyclictest12156-21perf3
53522258222,24sleep30-21swapper/33
54452253215,25sleep10-21swapper/11
53462251181,56sleep20-21swapper/22
54392245184,48sleep00-21swapper/00
571299143138,3cyclictest0-21swapper/00
2790621380,2sleep20-21swapper/22
731121160,4sleep2572399cyclictest2
572399107101,3cyclictest12169-21awk2
293352630,3sleep029340-21unixbench_multi0
295372590,3sleep0571299cyclictest0
97312550,2sleep10-21swapper/11
21612470,1sleep20-21swapper/22
130732410,2sleep20-21swapper/22
291352350,1sleep30-21swapper/33
5728993314,4cyclictest2123-21basename3
5728993215,3cyclictest32324-21ntp_kernel_pll_3
5728993214,3cyclictest2807-21basename3
5728993116,2cyclictest333-21irqstats3
5728993116,2cyclictest333-21irqstats3
5728993014,3cyclictest4763-21switchtime3
5728992914,3cyclictest20784-21latency3
311422280,2sleep30-21swapper/33
5712992621,3cyclictest1760-21basename0
5723992520,3cyclictest797-21ls2
572399251,20cyclictest17892-21munin-run2
571299249,12cyclictest322-21systemd-journal0
571299242,20cyclictest12842-21head0
572399238,12cyclictest30001-21sort2
572399234,17cyclictest13398-21awk2
572399233,19cyclictest23687-21kworker/2:22
572399233,17cyclictest0-21swapper/22
5717992317,4cyclictest15121-21/usr/sbin/munin1
5717992316,5cyclictest17906-21idleruntime-cro1
572399224,16cyclictest20610-21latency_hist2
572399223,17cyclictest31239-21latency_hist2
572399223,17cyclictest31239-21latency_hist2
572399223,17cyclictest21564-21cat2
572399223,17cyclictest20177-21cat2
572399223,17cyclictest12679-21latency_hist2
572399223,17cyclictest0-21swapper/22
572399222,3cyclictest0-21swapper/22
5723992214,5cyclictest26563-21idleruntime-cro2
572399221,3cyclictest10723-21perf2
5728992115,4cyclictest28059-21unixbench_multi3
5728992115,4cyclictest13539-21cat3
5728992115,4cyclictest13539-21cat3
572399219,3cyclictest20466-21expr2
572399218,11cyclictest1471-21cron2
572399218,11cyclictest1471-21cron2
572399213,16cyclictest10232-21cat2
5723992116,3cyclictest27623-21aten2_r9power_p2
5723992115,4cyclictest22072-21idleruntime-cro2
5723992115,3cyclictest23862-21tr2
572399211,4cyclictest514-21avahi-daemon2
572399211,4cyclictest25838-21cron2
572399211,3cyclictest3523-1kworker/2:2H2
572399211,3cyclictest19679-1kworker/2:0H2
572399211,18cyclictest8729-21sh2
572399211,18cyclictest18133-21latency_hist2
572399211,18cyclictest18133-21latency_hist2
572399211,17cyclictest4040-1kworker/2:1H2
572399211,17cyclictest16779-21latency_hist2
572399210,5cyclictest15888-21cron2
572399210,3cyclictest7663-21munin-node2
572399210,19cyclictest4771-21perf2
571799213,16cyclictest20606-21grep1
5717992116,3cyclictest24135-21aten2_r9power_c1
5717992116,3cyclictest23257-21seq1
5717992114,4cyclictest3151-21sh1
5717992113,5cyclictest505-21dbus-daemon1
5712992110,9cyclictest8715-21latency_hist0
224542210,2sleep10-21swapper/11
5728992016,2cyclictest2370-21irqstats3
5728992015,3cyclictest27584-21aten2_r9power_e3
5728992015,3cyclictest22098-21acpi3
5728992015,3cyclictest16099-21timerwakeupswit3
5728992015,3cyclictest13293-21open_inodes3
5728992014,4cyclictest720-21df_inode3
5728992014,4cyclictest28960-21memory3
5728992014,4cyclictest25582-21find3
5728992014,4cyclictest16120-21turbostat.cron3
5728992014,4cyclictest16088-21fw_packets3
5728992014,4cyclictest10320-21aten2_r9power_v3
572899200,7cyclictest10724-21turbostat3
57252200,2sleep00-21swapper/00
572399208,10cyclictest14907-21idleruntime2
5723992015,3cyclictest5448-21grep2
5723992015,3cyclictest23222-21seq2
5723992015,3cyclictest16249-21if_err_enp2s02
572399201,3cyclictest3523-1kworker/2:2H2
5723992013,4cyclictest15437-21latency_hist2
572399201,17cyclictest9415-21munin-run2
572399201,17cyclictest6746-21latency_hist2
572399201,17cyclictest19679-1kworker/2:0H2
572399200,18cyclictest4040-1kworker/2:1H2
5717992015,3cyclictest32512-21expr1
5717992015,3cyclictest32512-21expr1
5717992015,3cyclictest32509-21tr1
5717992015,3cyclictest32027-21/usr/sbin/munin1
5717992015,3cyclictest3021-21/usr/sbin/munin1
5717992015,3cyclictest25408-21timerandwakeup1
5717992015,3cyclictest15942-21expr1
5717992014,4cyclictest32355-21seq1
5717992014,4cyclictest12820-21sed1
571799200,17cyclictest11156-21awk1
571299209,9cyclictest5996-21latency_hist0
5712992016,2cyclictest7962-21cron0
5712992015,3cyclictest8422-21/usr/sbin/munin0
5712992015,3cyclictest24702-21cat0
5712992015,3cyclictest21393-21cat0
5712992014,4cyclictest505-21dbus-daemon0
5712992014,4cyclictest26444-21sh0
5712992014,4cyclictest15904-21sendmail0
5712992013,4cyclictest21827-21cat0
571299200,1cyclictest23841-40mandb0
5728991915,2cyclictest3872-21cstates3
5728991914,3cyclictest8975-21memory3
5728991914,3cyclictest8846-21wc3
5728991914,3cyclictest8163-21gltestperf3
5728991914,3cyclictest6287-21fw_packets3
5728991914,3cyclictest3898-21sh3
5728991914,3cyclictest26815-21missed_timers3
5728991914,3cyclictest26815-21missed_timers3
5728991914,3cyclictest23326-21swap3
5728991914,3cyclictest21302-21gltestperf3
5728991914,3cyclictest2127-21switchtime3
5728991914,3cyclictest20476-21ntp_offset3
5728991914,3cyclictest19191-21ntp_kernel_pll_3
5728991914,3cyclictest12569-21expr3
5728991914,3cyclictest11200-21expr3
5728991913,4cyclictest29330-21grep3
5728991913,4cyclictest24958-21ntp_kernel_pll_3
5728991913,4cyclictest22336-21memory3
5728991913,4cyclictest12684-21switchtime3
5728991911,5cyclictest19338-21timerwakeupswit3
5723991914,3cyclictest31751-21cron2
5723991914,3cyclictest30928-21sed2
5723991914,3cyclictest2954-21sed2
5723991914,3cyclictest27971-21seq2
5723991914,3cyclictest2406-21latency2
5723991914,3cyclictest22511-21wc2
5723991914,3cyclictest17769-21ntpq2
572399190,3cyclictest25459-21latency_hist2
5717991915,2cyclictest5701-21/usr/sbin/munin1
5717991915,2cyclictest25573-21/usr/sbin/munin1
5717991915,2cyclictest18149-21aten2_r9power_c1
5717991915,2cyclictest12927-21/usr/sbin/munin1
5717991915,2cyclictest12927-21/usr/sbin/munin1
5717991914,3cyclictest8246-21/usr/sbin/munin1
5717991914,3cyclictest802-21sed1
5717991914,3cyclictest6461-21if_err_enp3s01
5717991914,3cyclictest3478-21cat1
5717991914,3cyclictest30033-21acpi1
5717991914,3cyclictest29945-21awk1
5717991914,3cyclictest29945-21awk1
5717991914,3cyclictest29507-21wc1
5717991914,3cyclictest28765-21sed1
5717991914,3cyclictest28230-21/usr/sbin/munin1
5717991914,3cyclictest26659-21expr1
5717991914,3cyclictest19585-21ls1
5717991914,3cyclictest1366-21expr1
5717991914,3cyclictest13615-21/usr/sbin/munin1
5717991913,4cyclictest5329-21ls1
5717991913,4cyclictest4802-21basename1
5717991913,4cyclictest26651-21date1
5717991913,4cyclictest14373-21/usr/sbin/munin1
5717991912,4cyclictest22858-21cat1
5712991917,1cyclictest0-21swapper/00
5712991915,2cyclictest28856-21irqstats0
5712991914,3cyclictest935-21grep0
5712991914,3cyclictest502-21cat0
5712991914,3cyclictest22968-21ls0
5712991914,3cyclictest20490-21expr0
5712991914,3cyclictest18225-21sed0
5712991914,3cyclictest18225-21sed0
5712991914,3cyclictest15219-21ls0
5712991914,3cyclictest1336-21expr0
5712991914,3cyclictest11670-21aten2_r9power_c0
5712991913,4cyclictest505-21dbus-daemon0
5712991913,4cyclictest26014-21idleruntime-cro0
5712991913,4cyclictest18871-21grep0
5712991910,7cyclictest665-21runrttasks0
5728991814,2cyclictest16045-21latency_hist3
5728991813,3cyclictest9056-21kernelversion3
5728991813,3cyclictest7502-21unixbench_multi3
5728991813,3cyclictest6242-21unixbench-2d3
5728991813,3cyclictest5443-21latency_hist3
5728991813,3cyclictest4356-21aten2_r9power_v3
5728991813,3cyclictest30370-21ntp_offset3
5728991813,3cyclictest30370-21ntp_offset3
5728991813,3cyclictest26942-21cat3
5728991813,3cyclictest24082-21sed3
5728991813,3cyclictest20115-21unixbench-2d3
5728991813,3cyclictest17921-21expr3
5728991813,3cyclictest16525-21cpuspeed3
5728991813,3cyclictest16525-21cpuspeed3
5728991813,3cyclictest16438-21cut3
5728991812,4cyclictest24786-21cat3
5723991814,2cyclictest28924-21ntp_states2
5723991814,2cyclictest11994-21cat2
5723991813,3cyclictest21450-21if_err_enp2s02
5723991813,3cyclictest18680-21swap2
5723991813,3cyclictest1440-21sed2
5723991813,3cyclictest10064-21expr2
572399181,15cyclictest4081-21idleruntime2
571799184,12cyclictest11917-21tr1
5717991814,2cyclictest7681-21/usr/sbin/munin1
5717991813,3cyclictest7457-21cat1
5717991813,3cyclictest6970-21cut1
5717991813,3cyclictest30649-21tr1
5717991813,3cyclictest28214-21seq1
5717991813,3cyclictest27298-21sed1
5717991813,3cyclictest27298-21sed1
5717991813,3cyclictest23158-21cat1
5717991813,3cyclictest18085-21sed1
5717991813,3cyclictest17878-21cat1
5717991813,3cyclictest17410-21cat1
5717991813,3cyclictest17410-21cat1
5717991813,3cyclictest15460-21if_enp3s01
5717991813,3cyclictest12549-21expr1
5717991813,3cyclictest12394-21/usr/sbin/munin1
5717991813,3cyclictest10060-21expr1
5717991812,4cyclictest8374-21cat1
5717991812,4cyclictest7533-21cat1
5717991812,4cyclictest4241-21sed1
5717991812,4cyclictest3495-21basename1
5712991814,2cyclictest665-21runrttasks0
5712991814,2cyclictest665-21runrttasks0
5712991814,2cyclictest31496-21aten2_r9power_c0
5712991814,2cyclictest31440-21grep0
5712991814,2cyclictest30351-21cstates0
5712991813,3cyclictest665-21runrttasks0
5712991813,3cyclictest665-21runrttasks0
5712991813,3cyclictest665-21runrttasks0
5712991813,3cyclictest3932-21ls0
5712991813,3cyclictest3023-21cat0
5712991813,3cyclictest29511-21/usr/sbin/munin0
5712991813,3cyclictest29511-21/usr/sbin/munin0
5712991813,3cyclictest28404-21ntp_states0
5712991813,3cyclictest26152-21tr0
5712991813,3cyclictest26152-21tr0
5712991813,3cyclictest23243-21sh0
5712991813,3cyclictest19522-21cut0
5712991813,3cyclictest18587-21ls0
5712991813,3cyclictest14428-21aten2_r9power_e0
5712991813,3cyclictest11704-21cat0
5712991813,3cyclictest10140-21cat0
5712991812,4cyclictest10904-21wc0
571299181,16cyclictest0-21swapper/00
571299181,15cyclictest22068-21awk0
571299181,15cyclictest0-21swapper/00
5728991713,2cyclictest24381-21aten2_r9power_v3
5728991712,3cyclictest9674-21/usr/sbin/munin3
5728991712,3cyclictest7404-21cat3
5728991712,3cyclictest30855-21ntp_kernel_err3
5728991712,3cyclictest30834-21interrupts3
5728991712,3cyclictest25391-21cat3
5728991712,3cyclictest21223-21pmu-power3
5728991712,3cyclictest13732-21aten2_r9power_v3
5728991711,4cyclictest17795-21sh3
5723991715,1cyclictest0-21swapper/22
5723991715,1cyclictest0-21swapper/22
5723991711,4cyclictest23563-21missed_timers2
572399170,16cyclictest0-21swapper/22
5717991715,1cyclictest0-21swapper/11
5717991713,2cyclictest23323-21latency_hist1
5717991712,3cyclictest21213-21expr1
5717991712,3cyclictest18717-21expr1
5717991711,4cyclictest28419-21cat1
571299179,5cyclictest505-21dbus-daemon0
5712991712,3cyclictest6901-21expr0
5712991712,3cyclictest665-21runrttasks0
5712991712,3cyclictest665-21runrttasks0
5712991712,3cyclictest32173-21/usr/sbin/munin0
5712991712,3cyclictest32173-21/usr/sbin/munin0
5712991712,3cyclictest10430-21sed0
5712991711,4cyclictest25347-21gltestperf0
5712991711,4cyclictest17423-21unixbench_multi0
5728991611,3cyclictest1325-21latency_hist3
5723991610,4cyclictest27347-21tail2
5723991610,4cyclictest27347-21tail2
5717991611,3cyclictest20114-21/usr/sbin/munin1
571299169,4cyclictest13742-21needreboot0
571299169,4cyclictest13742-21needreboot0
5712991611,3cyclictest3948-21expr0
5712991610,3cyclictest18758-21timerandwakeup0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional