You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-03-29 - 03:03

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2 (updated Wed Mar 29, 2023 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3032318237,68sleep00-21swapper/00
8192292216,57sleep10-21swapper/11
160799283279,2cyclictest0-21swapper/11
161199253249,2cyclictest0-21swapper/22
12382253185,24sleep20-21swapper/22
160299238232,4cyclictest4288-21memory0
12762229193,23sleep30-21swapper/33
536421420,2sleep30-21swapper/33
125902580,4sleep2161199cyclictest2
256292570,2sleep1201rcuc/11
281632560,4sleep028138-21switchtime0
103642430,2sleep0160299cyclictest0
1602993612,21cyclictest18469-21unixbench_multi0
1602993515,18cyclictest26757-21seq0
1602993514,19cyclictest24642-21ls0
1602993514,19cyclictest24642-21ls0
1602993514,19cyclictest20137-21/usr/sbin/munin0
1602993514,18cyclictest28224-21ls0
1602993414,17cyclictest15867-21cat0
1602993412,19cyclictest26083-21grep0
1602993411,20cyclictest16325-21sh0
1602993314,17cyclictest14214-21/usr/sbin/munin0
1602993312,19cyclictest2215-21awk0
1602993312,19cyclictest2215-21awk0
1602993211,4cyclictest3613-21grep0
1602993211,3cyclictest11052-21sed0
1602993211,19cyclictest21759-21cat0
1602993211,18cyclictest16518-21cstates0
261582310,3sleep2281ksoftirqd/22
160299319,5cyclictest505-21dbus-daemon0
1602993111,3cyclictest7117-21needreboot0
1602993110,4cyclictest21502-21seq0
1602993110,3cyclictest12171-21latency_hist0
160299309,3cyclictest5432-21seq0
160299309,3cyclictest12591-21cat0
160299308,4cyclictest23205-21sed0
160299308,4cyclictest12260-21seq0
160299308,4cyclictest0-21swapper/00
160299308,3cyclictest1040-21seq0
160299302,10cyclictest24421-21gltestperf0
1602993010,3cyclictest22379-21expr0
160299299,3cyclictest7689-21cpuspeed0
160299298,4cyclictest6172-21cpu0
160299298,3cyclictest30682-21pmu-power0
160299298,3cyclictest28412-21date0
160299295,7cyclictest0-21swapper/00
1602992911,16cyclictest665-21runrttasks0
160299290,11cyclictest13681-21cron0
160299288,3cyclictest9778-21seq0
160299288,3cyclictest21213-21latency_hist0
160299287,3cyclictest9331-21sed0
160299287,3cyclictest18454-21expr0
160299287,3cyclictest0-21swapper/00
160299287,3cyclictest0-21swapper/00
160299279,3cyclictest6157-21ntpq0
160299278,3cyclictest23340-21cpuspeed_turbos0
160299278,2cyclictest23065-21pmu-power0
160299277,3cyclictest1759-21aten2_r9power_c0
160299275,3cyclictest0-21swapper/00
160299273,7cyclictest17739-21cstates0
160299271,6cyclictest32248-21munin-run0
160299270,10cyclictest2077-21/usr/sbin/munin0
161462260,1sleep20-21swapper/22
160299261,7cyclictest29528-21cron0
247932250,4sleep1201rcuc/11
247932250,4sleep1201rcuc/11
160299254,4cyclictest0-21swapper/00
161199241,3cyclictest0-21swapper/22
1611992413,9cyclictest8047-21aten2_r9power_e2
172572230,1sleep30-21swapper/33
1615992315,5cyclictest10987-21idleruntime-cro3
161199237,14cyclictest0-21swapper/22
1611992318,3cyclictest9357-21tr2
1611992316,4cyclictest13999-21sendmail-msp2
1611992312,9cyclictest31678-21seq2
1615992216,3cyclictest29067-21tail3
1615992215,4cyclictest322-21systemd-journal3
161599220,5cyclictest0-21swapper/33
161199224,16cyclictest13282-21cat2
161199223,17cyclictest520-21cat2
161199223,17cyclictest30795-21latency_hist2
161199223,17cyclictest25095-21cat2
161199223,17cyclictest17924-21latency_hist2
1611992219,2cyclictest0-21swapper/22
1611992213,4cyclictest4589-21sed2
1602992216,4cyclictest32227-21cpuspeed0
1602992216,4cyclictest26183-21seq0
1615992118,2cyclictest0-21swapper/33
1615992116,3cyclictest532-21sed3
1615992116,3cyclictest23714-21cron3
1615992114,4cyclictest10764-21grep3
161199218,11cyclictest1043-21cron2
161199212,17cyclictest19748-21cat2
161199212,17cyclictest19748-21cat2
1611992117,2cyclictest0-21swapper/22
1611992116,3cyclictest32617-21if_err_enp2s02
1611992116,3cyclictest23105-21proc_pri2
1611992114,4cyclictest7018-21munin-run2
1611992114,4cyclictest20425-21cut2
161199210,18cyclictest1343-1kworker/2:0H2
1607992115,4cyclictest8293-21cut1
1607992114,4cyclictest505-21dbus-daemon1
1602992115,4cyclictest11125-21date0
161599206,12cyclictest30791-21cron3
1615992016,2cyclictest0-21swapper/33
1615992015,3cyclictest430-21sed3
1615992015,3cyclictest17511-21tr3
1615992015,3cyclictest13523-21cstates3
1615992015,3cyclictest11597-21expr3
1615992013,4cyclictest9564-21sshd3
161599200,4cyclictest0-21swapper/33
161199202,3cyclictest0-21swapper/22
1611992015,3cyclictest9126-21ntp_offset2
1611992015,3cyclictest27407-21nfs4_client2
1611992015,3cyclictest14661-21memory2
1611992014,4cyclictest6903-21cat2
1611992014,4cyclictest29773-21cron2
1611992014,4cyclictest26848-21cron2
1611992014,4cyclictest11297-21unixbench_singl2
1611992014,3cyclictest3810-21sh2
161199201,17cyclictest5787-21perf2
161199200,3cyclictest1343-1kworker/2:0H2
161199200,17cyclictest13670-1kworker/2:0H2
1607992014,4cyclictest15731-21grep1
1607992014,4cyclictest10769-21grep1
1602992015,3cyclictest30049-21/usr/sbin/munin0
222782190,2sleep20-21swapper/22
1615991915,2cyclictest8327-21aten2_r9power_e3
1615991915,2cyclictest6879-21ntp_states3
1615991915,2cyclictest24879-21grep3
1615991914,3cyclictest32245-21cat3
1615991914,3cyclictest30456-21sh3
1615991914,3cyclictest28932-21open_files3
1615991914,3cyclictest27578-21perf3
1615991914,3cyclictest25196-21vmstat3
1615991914,3cyclictest24717-21if_err_enp3s03
1615991914,3cyclictest24717-21if_err_enp3s03
1615991914,3cyclictest23231-21sed3
1615991914,3cyclictest1694-21expr3
1615991914,3cyclictest1694-21expr3
1615991913,4cyclictest3526-21date3
1615991913,4cyclictest20116-21wc3
1615991913,4cyclictest18276-21expr3
1615991913,4cyclictest18276-21expr3
1615991913,4cyclictest14359-21cat3
1611991916,2cyclictest0-21swapper/22
1611991916,1cyclictest0-21swapper/22
1611991915,2cyclictest1315-21/usr/sbin/munin2
1611991915,2cyclictest1315-21/usr/sbin/munin2
1611991915,2cyclictest10480-21cpuspeed_turbos2
1611991914,3cyclictest29173-21interrupts2
1611991914,3cyclictest22938-21cat2
1611991914,3cyclictest19921-21cut2
1611991914,3cyclictest15855-21diskstats2
1611991914,3cyclictest15404-21cut2
1611991913,4cyclictest17590-21seq2
161199191,2cyclictest0-21swapper/22
161199191,16cyclictest31500-21cron2
161199190,4cyclictest0-21swapper/22
161199190,17cyclictest25721-21awk2
161199190,17cyclictest1807-21munin-run2
161199190,16cyclictest20439-21cat2
160799197,10cyclictest505-21dbus-daemon1
1607991916,2cyclictest0-21swapper/11
1607991916,2cyclictest0-21swapper/11
1607991915,2cyclictest7990-21/usr/sbin/munin1
1607991915,2cyclictest23981-21/usr/sbin/munin1
1607991915,2cyclictest14214-21/usr/sbin/munin1
1607991915,2cyclictest11219-21/usr/sbin/munin1
1607991914,3cyclictest7516-21/usr/sbin/munin1
1607991914,3cyclictest5280-21/usr/sbin/munin1
1607991914,3cyclictest32148-21timerandwakeup1
1607991914,3cyclictest29283-21ls1
1607991914,3cyclictest28508-21cat1
1607991914,3cyclictest28312-21dump-pmu-power1
1607991914,3cyclictest2464-21expr1
1607991914,3cyclictest23722-21pluginstate1
1607991914,3cyclictest19803-21sed1
1607991914,3cyclictest19803-21sed1
1607991914,3cyclictest19603-21cat1
1607991914,3cyclictest17413-21/usr/sbin/munin1
1607991914,3cyclictest1387-21aten2_r9power_p1
1607991914,3cyclictest1387-21aten2_r9power_p1
1607991914,3cyclictest12023-21aten2_r9power_p1
1607991914,3cyclictest10246-21/usr/sbin/munin1
1607991913,4cyclictest12862-21sed1
1607991913,4cyclictest12322-21ntp_states1
1607991912,5cyclictest26549-21grep1
1607991912,5cyclictest1-21systemd1
1602991914,3cyclictest6780-21unixbench-2d0
1602991914,3cyclictest3914-21expr0
1602991914,3cyclictest28924-21expr0
1602991914,3cyclictest26081-21/usr/sbin/munin0
1602991914,3cyclictest20252-21expr0
1602991913,4cyclictest14148-21which0
1615991814,2cyclictest4066-21missed_timers3
1615991814,2cyclictest13874-21df3
1615991813,3cyclictest9172-21cat3
1615991813,3cyclictest6708-21expr3
1615991813,3cyclictest665-21runrttasks3
1615991813,3cyclictest5636-21expr3
1615991813,3cyclictest23225-21vmstat3
1615991813,3cyclictest20786-21cut3
1615991813,3cyclictest20554-21grep3
1615991813,3cyclictest20053-21ntp_states3
1615991813,3cyclictest2005-21entropy3
1615991813,3cyclictest16227-21cstates3
1615991813,3cyclictest15426-21sed3
1615991813,3cyclictest13682-21cron3
1615991813,3cyclictest13325-21timerandwakeup3
1615991812,4cyclictest23008-21date3
161599180,15cyclictest10492-21tr3
161199187,9cyclictest19903-21load2
1611991813,3cyclictest31301-21sed2
1611991813,3cyclictest28679-21open_files2
1611991813,3cyclictest27501-21expr2
1611991813,3cyclictest17465-21hostname2
1611991813,3cyclictest12338-21expr2
1611991812,4cyclictest5942-21expr2
1611991812,4cyclictest24893-21cat2
1611991812,4cyclictest24893-21cat2
161199180,17cyclictest14958-21awk2
1607991816,1cyclictest0-21swapper/11
1607991814,2cyclictest3303-21/usr/sbin/munin1
1607991814,2cyclictest23835-21/usr/sbin/munin1
1607991814,2cyclictest18170-21/usr/sbin/munin1
1607991814,2cyclictest1571-21/usr/sbin/munin1
1607991813,3cyclictest9857-21cat1
1607991813,3cyclictest5551-21/usr/sbin/munin1
1607991813,3cyclictest4044-21/usr/sbin/munin1
1607991813,3cyclictest32542-21hostname1
1607991813,3cyclictest32141-21expr1
1607991813,3cyclictest29777-21/usr/sbin/munin1
1607991813,3cyclictest28619-21if_enp3s01
1607991813,3cyclictest28534-21seq1
1607991813,3cyclictest28062-21ps1
1607991813,3cyclictest25838-21cat1
1607991813,3cyclictest23130-21acpi1
1607991813,3cyclictest22247-21expr1
1607991813,3cyclictest21871-21latency_hist1
1607991813,3cyclictest17213-21/usr/sbin/munin1
1607991812,4cyclictest753-21sed1
1602991813,3cyclictest29070-21/usr/sbin/munin0
1602991813,3cyclictest14481-21cat0
1602991812,4cyclictest18528-21cat0
1602991812,4cyclictest18528-21cat0
161599172,12cyclictest26149-21cut3
1615991713,2cyclictest28281-21sed3
1615991712,3cyclictest665-21runrttasks3
1615991712,3cyclictest5083-21swap3
1615991712,3cyclictest26349-21basename3
1615991712,3cyclictest21589-21sshd3
1615991712,3cyclictest16565-21sed3
1615991711,4cyclictest5861-21grep3
1615991711,4cyclictest32692-21awk3
1611991715,1cyclictest0-21swapper/22
1611991712,3cyclictest26297-21head2
1607991715,1cyclictest0-21swapper/11
1607991713,2cyclictest640-21sshd1
1607991713,2cyclictest14093-21kernelversion1
1607991712,3cyclictest7583-21cstates1
1607991712,3cyclictest7457-21sed1
1607991712,3cyclictest665-21runrttasks1
1607991712,3cyclictest322-21systemd-journal1
1607991712,3cyclictest30663-21cat1
1607991712,3cyclictest30558-21hostname1
1607991712,3cyclictest1742-21/usr/sbin/munin1
161599168,5cyclictest2149-21cut3
161599162,12cyclictest27078-21grep3
1615991612,2cyclictest28566-21aten2_r9power_c3
161599161,13cyclictest31227-21sort3
161599161,13cyclictest17013-21head3
161199160,1cyclictest0-21swapper/22
160799161,1cyclictest0-21swapper/11
1607991611,3cyclictest6015-21/usr/sbin/munin1
160799160,15cyclictest0-21swapper/11
1602991612,2cyclictest665-21runrttasks0
161599151,11cyclictest15633-21tail3
1607991513,1cyclictest0-21swapper/11
1615991410,2cyclictest30011-21cpuspeed_turbos3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional