You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-08-13 - 02:36

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rack9slot2 (updated Fri Aug 12, 2022 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
226472248182,34sleep00-21swapper/00
225112238179,46sleep10-21swapper/11
225482231192,26sleep30-21swapper/33
216672231191,15sleep20-21swapper/22
147102570,3sleep00-21swapper/00
25072550,4sleep00-21swapper/00
60322410,1sleep00-21swapper/00
257182410,1sleep30-21swapper/33
253002370,1sleep30-21swapper/33
22943992722,3cyclictest28904-21/usr/sbin/munin0
22952992612,13cyclictest28-21ksoftirqd/22
2295299261,20cyclictest13168-21munin-run2
22947992616,5cyclictest19937-21idleruntime-cro1
2295299252,16cyclictest28-21ksoftirqd/22
2295299241,19cyclictest17930-21munin-run2
2295299241,19cyclictest17930-21munin-run2
13642240,11sleep228-21ksoftirqd/22
2295299234,17cyclictest25104-21cat2
2295299233,18cyclictest15158-21awk2
2295299233,18cyclictest15158-21awk2
22952992316,4cyclictest24323-21sendmail-mta2
197342230,2sleep30-21swapper/33
126622230,1sleep00-21swapper/00
22957992213,6cyclictest505-21dbus-daemon3
2295799220,20cyclictest5111-21sed3
2295299223,17cyclictest29970-21cat2
2295299223,17cyclictest22706-21latency_hist2
2295299223,16cyclictest28084-21cut2
2295299222,18cyclictest4562-21cat2
2295299222,17cyclictest16776-21latency_hist2
22952992216,3cyclictest4812-21grep2
2295299221,4cyclictest23080-21awk2
22952992214,5cyclictest505-21dbus-daemon2
2295299221,18cyclictest24809-21munin-run2
2295299221,18cyclictest14808-21munin-run2
22947992215,4cyclictest12045-21basename1
22947992215,4cyclictest10855-21sendmail1
22943992215,4cyclictest17207-21cat0
112502220,2sleep00-21swapper/00
327052210,9sleep30-21swapper/33
22957992115,4cyclictest18374-21cpuspeed3
2295299213,16cyclictest2944-21latency_hist2
2295299212,17cyclictest8397-21latency_hist2
2295299212,17cyclictest23868-21latency_hist2
22952992115,3cyclictest13982-21munin-run2
22952992113,5cyclictest18324-21idleruntime-cro2
2295299211,18cyclictest0-21swapper/22
2295299211,17cyclictest2977-1kworker/2:0H2
2294799213,15cyclictest3243-21cut1
2294799212,17cyclictest27392-21sendmail1
22947992116,3cyclictest30954-21cron1
22947992116,3cyclictest20967-21seq1
22947992115,4cyclictest18763-21seq1
22947992114,4cyclictest22312-21idleruntime-cro1
22947992114,4cyclictest13994-21sh1
22947992112,5cyclictest12351-21cron1
2294799211,18cyclictest7554-21tr1
2294799210,18cyclictest322-21systemd-journal1
22943992116,3cyclictest9749-21seq0
22943992116,3cyclictest23085-21grep0
22943992115,4cyclictest24114-21/usr/sbin/munin0
14762210,3sleep121-21ksoftirqd/11
2295799208,3cyclictest126632aten2_r9power_e3
22957992015,3cyclictest8514-21ls3
22957992015,3cyclictest32079-21cat3
22957992015,3cyclictest22467-21ls3
22957992015,3cyclictest15876-21ntp_kernel_err3
22957992015,3cyclictest14177-21timerandwakeup3
22957992014,4cyclictest6395-21open_files3
22957992014,4cyclictest3826-21expr3
22957992014,4cyclictest17565-21cpuspeed3
22957992014,4cyclictest13165-21cron3
22957992014,3cyclictest9746-21cat3
2295799201,17cyclictest23816-21memory3
2295299208,10cyclictest18718-21unixbench_singl2
2295299201,5cyclictest6903-21munin-run2
22952992015,3cyclictest8885-21wc2
22952992015,3cyclictest30112-21ntp_states2
22952992014,4cyclictest26333-21sort2
22952992014,4cyclictest21896-21sh2
22952992014,3cyclictest25574-21sed2
2295299201,17cyclictest2977-1kworker/2:0H2
2295299201,17cyclictest22783-1kworker/2:2H2
2295299201,16cyclictest15010-21gltestperf2
2294799203,15cyclictest29364-21cron1
22947992015,3cyclictest4361-21/usr/sbin/munin1
22947992015,3cyclictest29606-21/usr/sbin/munin1
22947992015,3cyclictest20978-21/usr/sbin/munin1
22947992015,3cyclictest13475-21ntp_states1
22947992014,4cyclictest24598-21seq1
22947992014,3cyclictest374-21grep1
22947992014,3cyclictest16318-21grep1
22947992013,4cyclictest665-21runrttasks1
22947992013,4cyclictest30128-21grep1
22943992015,3cyclictest24385-21cut0
22943992015,3cyclictest20554-21date0
22943992015,3cyclictest18956-21df_inode0
22943992014,4cyclictest28660-21seq0
22943992014,4cyclictest28155-21grep0
22943992014,4cyclictest17774-21seq0
22943992014,4cyclictest17774-21seq0
2294399200,18cyclictest58150irq/130-enp2s00
162072200,2sleep20-21swapper/22
22957991915,2cyclictest28945-21ntp_states3
22957991914,3cyclictest7843-21expr3
22957991914,3cyclictest4109-21vmstat3
22957991914,3cyclictest31866-21date3
22957991914,3cyclictest31049-21seq3
22957991914,3cyclictest29483-21cat3
22957991914,3cyclictest28978-21cron3
22957991914,3cyclictest28949-21unixbench_singl3
22957991914,3cyclictest26023-21expr3
22957991914,3cyclictest21717-21ls3
22957991914,3cyclictest20926-21cat3
22957991914,3cyclictest17883-21ntp_states3
22957991914,3cyclictest16739-21users3
22957991914,3cyclictest1350-21if_err_enp2s03
22957991914,3cyclictest13096-21ntp_kernel_pll_3
22957991914,3cyclictest10638-21cat3
22957991913,4cyclictest7208-21awk3
2295299196,11cyclictest0-21swapper/22
2295299194,12cyclictest0-21swapper/22
22952991915,2cyclictest2318-21cat2
22952991915,2cyclictest11200-21latency_hist2
22952991913,4cyclictest6390-21cut2
22952991913,4cyclictest20080-21sed2
22952991912,5cyclictest12389-21basename2
22952991912,4cyclictest322-21systemd-journal2
22952991912,4cyclictest18768-21idleruntime-cro2
2295299191,16cyclictest9217-21munin-run2
2295299191,16cyclictest3303-21latency_hist2
2295299191,16cyclictest319982chrt2
2295299190,3cyclictest2977-1kworker/2:0H2
2295299190,3cyclictest22783-1kworker/2:2H2
22947991915,3cyclictest17015-21/usr/sbin/munin1
22947991915,2cyclictest5520-21/usr/sbin/munin1
22947991915,2cyclictest28077-21/usr/sbin/munin1
22947991915,2cyclictest25293-21/usr/sbin/munin1
22947991915,2cyclictest19423-21df1
22947991914,3cyclictest7549-21expr1
22947991914,3cyclictest3545-21/usr/sbin/munin1
22947991914,3cyclictest32008-21/usr/sbin/munin1
22947991914,3cyclictest28760-21seq1
22947991914,3cyclictest24503-21expr1
22947991914,3cyclictest22960-21/usr/sbin/munin1
22947991914,3cyclictest1989-21df1
22947991914,3cyclictest16573-21/usr/sbin/munin1
22947991914,3cyclictest14238-21/usr/sbin/munin1
22947991914,3cyclictest11107-21acpi1
22947991913,4cyclictest867-21cut1
22947991913,4cyclictest7256-21grep1
22947991913,4cyclictest13414-21/usr/sbin/munin1
22947991913,4cyclictest13414-21/usr/sbin/munin1
2294799191,16cyclictest22624-21tail1
2294399191,8cyclictest322-21systemd-journal0
22943991915,2cyclictest5520-21/usr/sbin/munin0
22943991915,2cyclictest3212-21/usr/sbin/munin0
22943991914,3cyclictest9-21ksoftirqd/00
22943991914,3cyclictest6335-21find0
22943991914,3cyclictest5156-21needreboot0
22943991914,3cyclictest31906-21cstates0
22943991914,3cyclictest31760-21if_enp2s00
22943991914,3cyclictest30482-21gltestperf0
22943991914,3cyclictest30043-21gltestperf0
22943991914,3cyclictest25353-21cat0
22943991914,3cyclictest24632-21seq0
22943991914,3cyclictest19015-21find0
22943991914,3cyclictest18526-21cat0
22943991914,3cyclictest15681-21timerandwakeup0
22943991914,3cyclictest13414-21/usr/sbin/munin0
22943991914,3cyclictest13414-21/usr/sbin/munin0
22943991914,3cyclictest11454-21expr0
22943991914,3cyclictest11454-21basename0
22943991914,3cyclictest11010-21expr0
22943991913,4cyclictest24464-21cat0
22943991913,4cyclictest2354-21grep0
22943991913,4cyclictest10298-21seq0
22943991913,3cyclictest13326-21expr0
2294399190,17cyclictest1690-21sed0
22957991814,2cyclictest4676-21cstates3
22957991814,2cyclictest23925-21ps3
22957991813,3cyclictest7144-21/usr/sbin/munin3
22957991813,3cyclictest6996-21expr3
22957991813,3cyclictest6419-21grep3
22957991813,3cyclictest4721-21aten2_r9power_c3
22957991813,3cyclictest4296-21date3
22957991813,3cyclictest29828-21if_err_enp2s03
22957991813,3cyclictest26024-21memory3
22957991813,3cyclictest22962-21diskstats3
22957991813,3cyclictest22918-21date3
22957991813,3cyclictest1974-21expr3
22957991813,3cyclictest19012-21/usr/sbin/munin3
22957991813,3cyclictest16917-21expr3
22957991813,3cyclictest16223-21aten2_r9power_c3
22957991813,3cyclictest16223-21aten2_r9power_c3
22957991813,3cyclictest14238-21/usr/sbin/munin3
22957991813,3cyclictest13804-21expr3
22957991813,3cyclictest13804-21expr3
22957991813,3cyclictest1300-21cat3
22957991812,4cyclictest26987-21open_files3
22957991812,4cyclictest11763-21cat3
22952991814,2cyclictest14756-21head2
22952991813,3cyclictest9982-21ntpq2
22952991813,3cyclictest32699-21sed2
22952991813,3cyclictest31997-21sed2
22952991813,3cyclictest19861-21head2
22952991813,3cyclictest10052-21perf2
22952991812,4cyclictest5576-21ntpq2
22952991812,4cyclictest28654-21ls2
22952991811,4cyclictest322-21systemd-journal2
22952991811,4cyclictest23263-21grep2
2294799188,8cyclictest31496-21cpuspeed_turbos1
2294799182,9cyclictest20245-21apt-get1
2294799182,13cyclictest10442-21ps1
22947991813,3cyclictest27266-21cat1
22947991813,3cyclictest21327-21/usr/sbin/munin1
22947991813,3cyclictest21023-21cat1
22947991813,3cyclictest12547-21find1
22947991812,4cyclictest6043-21ntp_states1
22947991812,4cyclictest30165-21cut1
22947991812,4cyclictest14682-21cut1
22947991812,3cyclictest16702-21head1
22947991812,3cyclictest16702-21head1
22943991816,1cyclictest0-21swapper/00
22943991816,1cyclictest0-21swapper/00
22943991814,2cyclictest2740-21/usr/sbin/munin0
22943991814,2cyclictest25293-21/usr/sbin/munin0
22943991814,2cyclictest23210-21cpu0
22943991813,3cyclictest385-21ntpq0
22943991813,3cyclictest3417-21grep0
22943991813,3cyclictest2426-21cut0
22943991813,3cyclictest22552-21cat0
22943991813,3cyclictest21344-21expr0
22943991813,3cyclictest15620-21ls0
22943991813,3cyclictest15455-21sh0
22943991813,3cyclictest10955-21seq0
22943991813,3cyclictest10450-21awk0
22943991812,4cyclictest5220-21head0
22943991812,4cyclictest25978-21expr0
22943991811,5cyclictest505-21dbus-daemon0
22943991811,4cyclictest17392-21acpi0
22957991715,1cyclictest0-21swapper/33
22957991713,2cyclictest11162-21aten2_r9power_e3
22957991712,3cyclictest935-21users3
22957991712,3cyclictest27821-21pluginstate3
22957991712,3cyclictest2120-21latency_hist3
22957991712,3cyclictest19686-21cat3
22957991712,3cyclictest14632-21aten2_r9power_e3
22957991711,4cyclictest32035-21grep3
22952991713,2cyclictest18199-21/usr/sbin/munin2
22952991711,4cyclictest27121-21cut2
22952991711,4cyclictest18635-21aten2_r9power_p2
2295299170,3cyclictest12855-21idleruntime-cro2
2295299170,16cyclictest0-21swapper/22
2294799179,5cyclictest6955-21cpuspeed_turbos1
22947991715,1cyclictest0-21swapper/11
22947991713,2cyclictest4704-21/usr/sbin/munin1
22947991713,2cyclictest23297-21/usr/sbin/munin1
22947991712,3cyclictest665-21runrttasks1
22947991712,3cyclictest3491-21sed1
22947991712,3cyclictest31242-21expr1
22947991712,3cyclictest24925-21/usr/sbin/munin1
22947991711,4cyclictest1-21systemd1
22943991715,1cyclictest0-21swapper/00
22943991712,3cyclictest31654-21needreboot0
22943991712,3cyclictest29509-21grep0
22943991712,3cyclictest29482-21cat0
22943991712,3cyclictest12492-21cat0
22957991611,3cyclictest20278-21aten2_r9power_v3
2295799160,15cyclictest0-21swapper/33
22947991611,3cyclictest28250-21grep1
22947991611,3cyclictest13461-21expr1
2294799160,15cyclictest0-21swapper/11
22943991611,3cyclictest26116-21sort0
2294399160,1cyclictest0-21swapper/00
22952991510,3cyclictest12905-21grep2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional