You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-06-26 - 13:01

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rack9slot2 (updated Sun Jun 26, 2022 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
40672331206,89sleep30-21swapper/33
34812288162,13sleep10-21swapper/11
45882231193,25sleep00-21swapper/00
43832231194,24sleep20-21swapper/22
2646521420,2sleep20-21swapper/22
14882820,5sleep1482499cyclictest1
146212500,4sleep20-21swapper/22
159062490,2sleep30-21swapper/33
82252440,1sleep20-21swapper/22
115932390,1sleep00-21swapper/00
4824993213,4cyclictest21-21ksoftirqd/11
4824992919,3cyclictest21-21ksoftirqd/11
4824992823,3cyclictest21-21ksoftirqd/11
144402270,10sleep121-21ksoftirqd/11
482499266,3cyclictest21-21ksoftirqd/11
482499262,4cyclictest21-21ksoftirqd/11
482499262,4cyclictest21-21ksoftirqd/11
4824992521,3cyclictest21-21ksoftirqd/11
4824992520,3cyclictest21-21ksoftirqd/11
135332250,4sleep2482999cyclictest2
482999248,14cyclictest17623-21latency_hist2
482999245,17cyclictest31062-21cat2
4824992419,3cyclictest21-21ksoftirqd/11
482999234,17cyclictest1148-21cat2
4829992318,3cyclictest14181-21cut2
482999231,4cyclictest6979-21perf2
4824992314,6cyclictest8496-21sendmail1
4820992317,4cyclictest25799-21missed_timers0
482099231,3cyclictest505-21dbus-daemon0
4833992216,3cyclictest28008-21cat3
482999223,17cyclictest4969-21latency_hist2
4829992216,4cyclictest4664-21latency2
482999221,3cyclictest27506-21munin-run2
482999220,4cyclictest505-21dbus-daemon2
4824992215,5cyclictest30887-21df1
4824992215,4cyclictest18407-21basename1
4824992214,2cyclictest21-21ksoftirqd/11
4820992217,3cyclictest13208-21grep0
4820992216,4cyclictest12032-21awk0
4820992216,4cyclictest12032-21awk0
301952220,2sleep00-21swapper/00
232392220,3sleep20-21swapper/22
14102220,1sleep00-21swapper/00
14062220,5sleep21412-21needreboot2
482999216,13cyclictest17453-21hostname2
482999212,17cyclictest12491-21procmail2
4829992117,2cyclictest2611-21users2
4829992116,3cyclictest6193-21seq2
4829992115,4cyclictest18265-21df2
4829992115,4cyclictest10647-21timerandwakeup2
482999211,3cyclictest25150-1kworker/2:2H2
482999210,3cyclictest13245-21wc2
482999210,19cyclictest1797-21perf2
482499219,3cyclictest21-21ksoftirqd/11
4824992116,3cyclictest21-21ksoftirqd/11
4824992116,3cyclictest201rcuc/11
4824992115,4cyclictest6450-21sed1
4824992115,3cyclictest30807-21sendmail1
4820992115,4cyclictest639-21snmpd0
4820992115,3cyclictest13933-21grep0
4833992015,3cyclictest9679-21cpu3
4833992015,3cyclictest8077-21cat3
4833992015,3cyclictest6079-21sh3
4833992015,3cyclictest21499-21pmu-power3
4833992015,3cyclictest16164-21cut3
4833992015,3cyclictest1364-21aten2_r9power_v3
4833992014,4cyclictest31380-21seq3
4833992014,4cyclictest10145-21cpuspeed3
483399201,17cyclictest29474-21cron3
483399200,17cyclictest28896-21cat3
482999202,16cyclictest24985-21cat2
482999202,16cyclictest23109-21turbostat.cron2
4829992015,3cyclictest28762-21munin-run2
4829992015,3cyclictest25144-21sendmail-mta2
4829992015,3cyclictest23350-21seq2
4829992015,3cyclictest19038-21df2
4829992015,3cyclictest14608-21cat2
4829992014,4cyclictest29581-21sed2
4829992014,4cyclictest24914-21timerandwakeup2
482999201,3cyclictest25150-1kworker/2:2H2
4829992013,4cyclictest5190-21df_inode2
4829992013,4cyclictest27673-21expr2
482999201,17cyclictest9081-21cat2
482999201,17cyclictest22331-21munin-run2
482999201,17cyclictest16399-21sendmail2
482999201,17cyclictest16399-21sendmail2
482999201,17cyclictest12990-21cat2
482999201,17cyclictest12990-21cat2
482999201,17cyclictest0-21swapper/22
482499208,3cyclictest21-21ksoftirqd/11
482499208,3cyclictest21-21ksoftirqd/11
482499204,7cyclictest21-21ksoftirqd/11
4824992015,3cyclictest9942-21/usr/sbin/munin1
4824992015,3cyclictest9920-21sh1
4824992015,3cyclictest7274-21ntp_states1
4824992015,3cyclictest5975-21/usr/sbin/munin1
4824992015,3cyclictest5208-21/usr/sbin/munin1
4824992015,3cyclictest3995-21/usr/sbin/munin1
4824992015,3cyclictest24438-21irqstats1
4824992015,3cyclictest18821-21cron1
4824992015,3cyclictest14466-21awk1
4824992014,4cyclictest15557-21awk1
4824992014,4cyclictest15557-21awk1
4820992017,2cyclictest0-21swapper/00
4820992016,2cyclictest9942-21/usr/sbin/munin0
4820992015,3cyclictest5067-21cut0
4820992015,3cyclictest30400-21ls0
4820992015,3cyclictest18945-21cat0
4820992015,3cyclictest14051-21if_err_enp2s00
4820992014,4cyclictest505-21dbus-daemon0
4820992014,4cyclictest28263-21cron0
4820992014,4cyclictest22759-21which0
4820992013,4cyclictest28807-21sed0
4820992013,4cyclictest15056-21df0
4820992013,4cyclictest15056-21df0
195702200,1sleep20-21swapper/22
181792200,2sleep30-21swapper/33
171512201,16sleep20-21swapper/22
4833991917,1cyclictest0-21swapper/33
4833991914,3cyclictest9174-21/usr/sbin/munin3
4833991914,3cyclictest7172-21entropy3
4833991914,3cyclictest5986-21cat3
4833991914,3cyclictest4660-21cpu3
4833991914,3cyclictest30652-21cpu3
4833991914,3cyclictest27639-21sed3
4833991914,3cyclictest25704-21timerandwakeup3
4833991914,3cyclictest2427-21expr3
4833991914,3cyclictest24207-21ntpq3
4833991914,3cyclictest22964-21expr3
4833991914,3cyclictest20052-21cpuspeed_turbos3
4833991914,3cyclictest19857-21unixbench-2d3
4833991914,3cyclictest18881-21rt-features3
4833991914,3cyclictest15181-21cron3
4833991914,3cyclictest12663-21cat3
4833991913,4cyclictest25533-21tr3
4833991913,4cyclictest19398-21acpi3
4833991913,4cyclictest12661-21date3
4833991913,3cyclictest32310-21grep3
482999192,1cyclictest28-21ksoftirqd/22
4829991916,2cyclictest0-21swapper/22
4829991916,2cyclictest0-21swapper/22
4829991915,2cyclictest22963-21date2
4829991915,2cyclictest12931-21processes2
4829991914,3cyclictest9108-21expr2
4829991914,3cyclictest30877-21date2
4829991914,3cyclictest2591-21aten2_r9power_c2
4829991914,3cyclictest17045-21expr2
4829991914,3cyclictest10733-21sshd2
4829991912,4cyclictest31273-21cat2
4829991912,4cyclictest29729-21cat2
482999191,16cyclictest26824-21latency_hist2
482999190,3cyclictest25150-1kworker/2:2H2
482499199,8cyclictest553-21dump-pmu-power1
4824991915,3cyclictest201rcuc/11
4824991915,2cyclictest2789-21/usr/sbin/munin1
4824991915,2cyclictest21-21ksoftirqd/11
4824991915,2cyclictest21-21ksoftirqd/11
4824991915,2cyclictest17860-21/usr/sbin/munin1
4824991915,2cyclictest11917-21/usr/sbin/munin1
4824991914,3cyclictest398-21expr1
4824991914,3cyclictest3233-21/usr/sbin/munin1
4824991914,3cyclictest24594-21/usr/sbin/munin1
4824991914,3cyclictest21-21ksoftirqd/11
4824991914,3cyclictest21-21ksoftirqd/11
4824991914,3cyclictest20182-21expr1
4824991914,3cyclictest18705-21cut1
4824991914,3cyclictest17429-21/usr/sbin/munin1
4824991913,4cyclictest9728-21idleruntime-cro1
4824991911,2cyclictest111rcu_preempt1
4820991916,2cyclictest0-21swapper/00
4820991915,2cyclictest2564-21/usr/sbin/munin0
4820991915,2cyclictest23861-21aten2_r9power_e0
4820991915,2cyclictest17642-21perf0
4820991914,3cyclictest9511-21/usr/sbin/munin0
4820991914,3cyclictest8746-21/usr/sbin/munin0
4820991914,3cyclictest7696-21which0
4820991914,3cyclictest6155-21proc_pri0
4820991914,3cyclictest4321-21cat0
4820991914,3cyclictest31894-21cat0
4820991914,3cyclictest31247-21cat0
4820991914,3cyclictest30051-21ls0
4820991914,3cyclictest26520-21ls0
4820991914,3cyclictest2449-21cat0
4820991914,3cyclictest22571-21/usr/sbin/munin0
4820991914,3cyclictest22138-21missed_timers0
4820991914,3cyclictest18110-21cat0
4820991914,3cyclictest17098-21/usr/sbin/munin0
4820991914,3cyclictest15314-21cat0
4820991913,4cyclictest2890-21cut0
4820991913,4cyclictest13355-21cat0
482099191,16cyclictest6853-21ntpq0
4820991910,7cyclictest559-21gdbus0
482099190,5cyclictest0-21swapper/00
4833991816,1cyclictest0-21swapper/33
4833991813,3cyclictest7981-21acpi3
4833991813,3cyclictest7243-21hostname3
4833991813,3cyclictest4868-21cut3
4833991813,3cyclictest4260-21expr3
4833991813,3cyclictest3552-21expr3
4833991813,3cyclictest3260-21expr3
4833991813,3cyclictest29537-21rt-features3
4833991813,3cyclictest29285-21acpi3
4833991813,3cyclictest26212-21ntpq3
4833991813,3cyclictest23402-21cstates3
4833991813,3cyclictest22424-21cat3
4833991813,3cyclictest20371-21unixbench_singl3
4833991813,3cyclictest12581-21threads3
4833991813,3cyclictest1068-21processes3
4833991813,3cyclictest10100-21users3
4833991812,4cyclictest25775-21acpi3
4833991812,4cyclictest17969-21sh3
4833991812,4cyclictest15815-21cat3
4833991812,4cyclictest15815-21cat3
4833991812,4cyclictest1300-21cat3
4833991811,4cyclictest322-21systemd-journal3
4829991815,2cyclictest0-21swapper/22
4829991813,3cyclictest28302-21sendmail-mta2
482999181,16cyclictest0-21swapper/22
482999180,2cyclictest3768-21perf2
482999180,17cyclictest0-21swapper/22
482999180,16cyclictest322-21systemd-journal2
482999180,16cyclictest0-21swapper/22
4824991816,1cyclictest0-21swapper/11
4824991814,2cyclictest4775-21/usr/sbin/munin1
4824991814,2cyclictest31714-21/usr/sbin/munin1
4824991814,2cyclictest31047-21/usr/sbin/munin1
4824991813,3cyclictest30241-21cron1
4824991813,3cyclictest26149-21expr1
4824991813,3cyclictest22957-21ls1
4824991813,3cyclictest20913-21cstates1
4824991813,3cyclictest2019-21/usr/sbin/munin1
4824991813,3cyclictest15133-21/usr/sbin/munin1
482099186,10cyclictest17969-21grep0
4820991816,1cyclictest0-21swapper/00
4820991816,1cyclictest0-21swapper/00
4820991813,3cyclictest9066-21cut0
4820991813,3cyclictest7374-21basename0
4820991813,3cyclictest32757-21expr0
4820991813,3cyclictest24226-21awk0
4820991813,3cyclictest23885-21needreboot0
4820991813,3cyclictest20276-21ls0
4820991813,3cyclictest20176-21seq0
4820991813,3cyclictest19397-21/usr/sbin/munin0
4820991813,3cyclictest15875-21sed0
4820991812,4cyclictest8235-21expr0
482099180,16cyclictest0-21swapper/00
4833991715,1cyclictest0-21swapper/33
4833991715,1cyclictest0-21swapper/33
4833991713,2cyclictest21049-21/usr/sbin/munin3
4833991712,3cyclictest31715-21acpi3
4833991712,3cyclictest24203-21expr3
4833991712,3cyclictest16649-21cat3
4833991712,3cyclictest12998-21cstates3
4833991712,3cyclictest11186-21cut3
4833991712,3cyclictest11186-21cut3
4833991710,4cyclictest1761-21grep3
4829991712,3cyclictest7149-21expr2
482999170,15cyclictest0-21swapper/22
4824991712,3cyclictest9174-21/usr/sbin/munin1
4824991712,3cyclictest28098-21seq1
4824991712,3cyclictest201rcuc/11
4824991712,3cyclictest1255-21/usr/sbin/munin1
482499170,15cyclictest0-21swapper/11
4820991713,2cyclictest20244-21df0
4820991712,3cyclictest9524-21expr0
4820991712,3cyclictest639-21snmpd0
4820991712,3cyclictest5138-21expr0
4820991712,3cyclictest27426-21expr0
4820991712,3cyclictest13460-21expr0
4820991711,4cyclictest25519-21cat0
482499167,2cyclictest111rcu_preempt1
4824991610,4cyclictest0-21swapper/11
4820991610,4cyclictest28284-21processes0
4833991510,3cyclictest665-21runrttasks3
4833991510,3cyclictest665-21runrttasks3
4833991510,3cyclictest21382-21acpi3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional