You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-06-01 - 14:23

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2 (updated Thu Jun 01, 2023 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
326052296178,78sleep20-21swapper/22
10522283202,44sleep00-21swapper/00
324922263211,40sleep10-21swapper/11
11092256183,38sleep30-21swapper/33
1470521470,2sleep2149399cyclictest2
3269021440,2sleep20-21swapper/22
710021420,3sleep2149399cyclictest2
568021420,1sleep00-21swapper/00
3032021370,1sleep00-21swapper/00
167252450,4sleep3149899cyclictest3
67992420,2sleep00-21swapper/00
262392420,3sleep00-21swapper/00
98842410,1sleep10-21swapper/11
19652410,1sleep10-21swapper/11
149399403,34cyclictest17830-21cat2
1493993815,21cyclictest15138-21munin-run2
1493993815,21cyclictest15138-21munin-run2
1493993814,21cyclictest29443-21cat2
1493993715,20cyclictest12575-21kernelversion2
1493993615,19cyclictest22682-21cat2
1493993615,19cyclictest18989-21seq2
149399361,3cyclictest3251-21munin-run2
1493993514,3cyclictest19061-21timerwakeupswit2
1493993414,3cyclictest14306-21expr2
1493993413,3cyclictest4254-21acpi2
1493993412,3cyclictest20035-21cat2
1493993313,3cyclictest8843-21irqstats2
1493993312,3cyclictest6909-21cat2
1493993212,3cyclictest31377-21pmu-power2
1493993212,2cyclictest32122-21latency_hist2
1493993210,3cyclictest26929-21pluginstate2
1493993210,3cyclictest17876-21ls2
149399320,15cyclictest0-21swapper/22
149399318,4cyclictest0-21swapper/22
1493993112,2cyclictest754-21load2
149399310,12cyclictest23159-21cat2
1493993011,3cyclictest1550-21missed_timers2
149399301,12cyclictest0-21swapper/22
1493993010,2cyclictest12724-21unixbench_singl2
260842270,2sleep3149899cyclictest3
65512260,2sleep00-21swapper/00
149399250,6cyclictest480-21cron2
149399240,5cyclictest10428-21ls2
218282220,2sleep00-21swapper/00
149399223,17cyclictest23062-21latency_hist2
149399223,17cyclictest14388-21latency_hist2
1485992218,2cyclictest30151-21cron0
1485992216,4cyclictest5274-21idleruntime-cro0
1498992115,4cyclictest5329-21cat3
1498992115,4cyclictest18735-21users3
1498992113,6cyclictest505-21dbus-daemon3
149399212,17cyclictest28173-21latency_hist2
149399212,17cyclictest24394-21cat2
1493992116,3cyclictest11660-21idleruntime-cro2
1493992115,4cyclictest4643-21timerandwakeup2
1493992115,4cyclictest30040-21seq2
1493992115,4cyclictest29730-21turbostat2
1493992115,4cyclictest29730-21turbostat2
1493992115,4cyclictest2718-21switchtime2
1493992115,4cyclictest24785-21cstates2
1488992116,3cyclictest7556-21aten2_r9power_p1
1488992115,4cyclictest12031-21awk1
1488992114,4cyclictest3167-21sh1
1488992114,4cyclictest10593-21df1
1485992115,4cyclictest19276-21cat0
1485992115,4cyclictest10491-21grep0
1485992114,4cyclictest14274-21hostname0
149899203,15cyclictest32214-21cron3
1498992015,3cyclictest6706-21load3
1498992015,3cyclictest29572-21cstates3
1498992015,3cyclictest29110-21if_err_enp3s03
1498992015,3cyclictest29110-21if_err_enp3s03
1498992015,3cyclictest17257-21irqstats3
1498992015,3cyclictest11975-21aten2_r9power_e3
1498992015,3cyclictest1148-21ls3
1498992014,4cyclictest7127-21ntpq3
1498992014,4cyclictest31615-21expr3
1498992014,4cyclictest24940-21grep3
1498992014,4cyclictest10608-21cat3
1493992015,3cyclictest4052-21hostname2
1493992014,4cyclictest24619-21cat2
1493992014,4cyclictest21598-21seq2
1493992014,4cyclictest11145-21seq2
149399201,3cyclictest31720-21munin-run2
148899209,3cyclictest38212cstates1
1488992015,3cyclictest7494-21grep1
1488992015,3cyclictest28002-21/usr/sbin/munin1
1488992015,3cyclictest28002-21/usr/sbin/munin1
1488992015,3cyclictest2705-21latency1
1488992015,3cyclictest22361-21cut1
1488992015,3cyclictest19032-21cat1
1488992015,3cyclictest13413-21/usr/sbin/munin1
1488992015,3cyclictest13413-21/usr/sbin/munin1
1488992014,4cyclictest773-21/usr/sbin/munin1
1488992014,4cyclictest7609-21sh1
1488992014,4cyclictest28621-21cat1
1488992014,4cyclictest23263-21cat1
1488992014,4cyclictest21777-21cat1
1488992014,4cyclictest17862-21/usr/sbin/munin1
1488992014,4cyclictest17226-21cat1
1488992014,4cyclictest14957-21ls1
1488992014,3cyclictest23938-21interrupts1
1488992014,3cyclictest11174-21grep1
1488992013,5cyclictest17877-21dump-pmu-power1
1485992016,2cyclictest16369-21cron0
1485992016,2cyclictest12160-21/usr/sbin/munin0
1485992015,3cyclictest5278-21cut0
1485992015,3cyclictest16630-21/usr/sbin/munin0
1485992015,3cyclictest11191-21basename0
1485992014,4cyclictest19611-40mandb0
1485992014,4cyclictest18126-21find0
1485992014,4cyclictest17711-21sed0
1485992013,4cyclictest21088-21idleruntime-cro0
1485992012,6cyclictest6601-21expr0
263072190,2sleep00-21swapper/00
1498991914,3cyclictest9054-21ntp_kernel_pll_3
1498991914,3cyclictest8497-21idleruntime3
1498991914,3cyclictest4860-21uptime3
1498991914,3cyclictest2846-21timerwakeupswit3
1498991914,3cyclictest25579-21seq3
1498991914,3cyclictest22736-21cpu3
1498991914,3cyclictest15548-21pmu-power3
1498991914,3cyclictest14298-21expr3
1498991914,3cyclictest13334-21date3
1498991913,4cyclictest31105-21sed3
1498991913,4cyclictest26685-21cat3
1493991914,3cyclictest6682-21cut2
1493991914,3cyclictest3980-21cat2
1493991914,3cyclictest30197-21seq2
1493991914,3cyclictest30197-21seq2
1493991914,3cyclictest27126-21interrupts2
1493991914,3cyclictest25287-21/usr/sbin/munin2
1493991914,3cyclictest23636-21cstates2
1493991914,3cyclictest21345-21cat2
1493991914,3cyclictest21156-21unixbench_multi2
1493991914,3cyclictest19283-21cat2
1493991914,3cyclictest15466-21nfs4_client2
149399191,16cyclictest9344-21cat2
149399191,16cyclictest1676-21munin-run2
149399190,3cyclictest21889-1kworker/2:1H2
1488991916,2cyclictest0-21swapper/11
1488991915,2cyclictest4252-21/usr/sbin/munin1
1488991915,2cyclictest24924-21ntp_states1
1488991915,2cyclictest13902-21/usr/sbin/munin1
1488991914,3cyclictest8080-21hostname1
1488991914,3cyclictest5221-21expr1
1488991914,3cyclictest31041-21kernelversion1
1488991914,3cyclictest29256-21/usr/sbin/munin1
1488991914,3cyclictest24682-21cat1
1488991914,3cyclictest22968-21expr1
1488991914,3cyclictest19349-21/usr/sbin/munin1
1488991914,3cyclictest18517-21timerandwakeup1
1488991914,3cyclictest18117-21/usr/sbin/munin1
1488991914,3cyclictest17449-21sh1
1488991914,3cyclictest1673-21/usr/sbin/munin1
1488991914,3cyclictest11524-21aten2_r9power_v1
1488991913,4cyclictest32083-21hostname1
1488991913,4cyclictest12278-21hostname1
1488991912,4cyclictest9451-21acpi1
1488991912,4cyclictest20533-21grep1
1485991916,2cyclictest0-21swapper/00
1485991915,2cyclictest32386-21aten2_r9power_c0
1485991914,3cyclictest4016-21/usr/sbin/munin0
1485991914,3cyclictest31644-21sh0
1485991914,3cyclictest30967-21cat0
1485991914,3cyclictest23954-21date0
1485991914,3cyclictest22106-21cat0
1485991914,3cyclictest21613-21seq0
1485991914,3cyclictest1954-21ls0
1485991914,3cyclictest19485-21sh0
1485991914,3cyclictest14275-21ntp_offset0
1485991914,3cyclictest14275-21ntp_offset0
1485991913,4cyclictest9094-21awk0
1485991913,4cyclictest4833-21cat0
1485991913,4cyclictest29593-21seq0
1485991913,4cyclictest29593-21seq0
1485991913,4cyclictest27837-21cat0
1485991913,4cyclictest1843-21cat0
1485991913,3cyclictest322-21systemd-journal0
149899189,6cyclictest505-21dbus-daemon3
1498991813,3cyclictest9204-21sh3
1498991813,3cyclictest665-21runrttasks3
1498991813,3cyclictest6117-21cat3
1498991813,3cyclictest5888-21latency_hist3
1498991813,3cyclictest542-21basename3
1498991813,3cyclictest30387-21ls3
1498991813,3cyclictest26259-21cron3
1498991813,3cyclictest25294-21cat3
1498991813,3cyclictest23507-21cat3
1498991813,3cyclictest2286-21cat3
1498991813,3cyclictest19331-21load3
1498991813,3cyclictest16588-21sed3
1498991813,3cyclictest13944-21latency_hist3
1498991813,3cyclictest11445-21cat3
1498991812,4cyclictest505-21dbus-daemon3
1498991812,4cyclictest32567-21if_err_enp3s03
1498991812,4cyclictest29326-21pluginstate3
1498991812,4cyclictest28543-21cat3
1498991812,4cyclictest28543-21cat3
1498991812,4cyclictest28113-21ntpq3
1498991812,4cyclictest15891-21latency_hist3
1498991812,4cyclictest14243-21nfs4_client3
1498991812,4cyclictest14243-21nfs4_client3
1498991812,4cyclictest13994-21grep3
1498991812,4cyclictest10726-21sed3
1498991812,3cyclictest5984-21grep3
1498991810,5cyclictest505-21dbus-daemon3
149899180,5cyclictest0-21swapper/33
149899180,16cyclictest0-21swapper/33
149899180,16cyclictest0-21swapper/33
149399181,3cyclictest19411-21tail2
1493991813,3cyclictest7992-21cut2
1493991813,3cyclictest6312-21sed2
1493991813,3cyclictest24891-21expr2
1493991813,3cyclictest12526-21expr2
1493991813,3cyclictest10981-21needreboot2
1493991812,4cyclictest27683-21entropy2
1488991814,2cyclictest12668-21/usr/sbin/munin1
1488991813,3cyclictest795-21wc1
1488991813,3cyclictest28498-21/usr/sbin/munin1
1488991813,3cyclictest28498-21/usr/sbin/munin1
1488991813,3cyclictest27781-21latency_hist1
1488991813,3cyclictest24550-21find1
1488991813,3cyclictest23530-21expr1
1488991813,3cyclictest12215-21cut1
1488991812,4cyclictest432-21expr1
1488991812,4cyclictest31906-21sort1
1488991812,4cyclictest28813-21seq1
1488991812,4cyclictest27506-21cat1
1488991812,4cyclictest26487-21date1
1488991812,4cyclictest21904-21basename1
1488991812,4cyclictest16445-21wc1
1488991812,4cyclictest15941-21sed1
1488991812,3cyclictest31585-21seq1
1485991816,1cyclictest0-21swapper/00
1485991814,2cyclictest8711-21acpi0
1485991814,2cyclictest29463-21proc_pri0
1485991814,2cyclictest29463-21proc_pri0
1485991814,2cyclictest24587-21idleruntime0
1485991813,3cyclictest665-21runrttasks0
1485991813,3cyclictest30860-21expr0
1485991813,3cyclictest30428-21cat0
1485991813,3cyclictest27204-21cat0
1485991813,3cyclictest2699-21gzip0
1485991813,3cyclictest23615-21tr0
1485991813,3cyclictest12668-21/usr/sbin/munin0
1485991813,3cyclictest10977-21expr0
1485991812,4cyclictest20907-21expr0
1485991812,4cyclictest17426-21grep0
1485991812,4cyclictest15206-21awk0
1498991715,1cyclictest0-21swapper/33
1498991713,2cyclictest10286-21aten2_r9power_v3
1498991712,3cyclictest9025-21expr3
1498991712,3cyclictest665-21runrttasks3
1498991711,4cyclictest505-21dbus-daemon3
1498991711,4cyclictest17390-21sed3
149899170,16cyclictest0-21swapper/33
149899170,15cyclictest0-21swapper/33
1493991713,2cyclictest16630-21/usr/sbin/munin2
1488991712,3cyclictest665-21runrttasks1
1488991712,3cyclictest25755-21expr1
1488991711,4cyclictest7201-21cat1
1485991715,1cyclictest0-21swapper/00
1485991714,2cyclictest0-21swapper/00
1485991712,3cyclictest8814-21ntpq0
1485991712,3cyclictest665-21runrttasks0
1485991712,3cyclictest32038-21aten2_r9power_p0
1485991712,3cyclictest25398-21aten2_r9power_v0
148599171,15cyclictest0-21swapper/00
1485991710,5cyclictest4503-21sendmail0
1498991611,3cyclictest2398-21expr3
1498991610,4cyclictest20935-21ntp_kernel_pll_3
1493991610,4cyclictest11412-21grep2
1488991614,1cyclictest0-21swapper/11
1488991611,3cyclictest8518-21cpuspeed_turbos1
1488991611,3cyclictest665-21runrttasks1
1485991611,3cyclictest15385-21/usr/sbin/munin0
1485991611,3cyclictest12719-21sed0
148599159,4cyclictest1060-21tr0
1485991510,3cyclictest22229-21latency_hist0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional