You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-07-03 - 06:53

x86 Intel Atom E3950 @1600 MHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of all highest latencies:
System rack9slot2 (updated Sun Jul 03, 2022 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
44342343310,22sleep30-21swapper/33
58582248183,52sleep10-21swapper/11
59892228191,24sleep00-21swapper/00
58292227190,25sleep20-21swapper/22
210262590,4sleep30-21swapper/33
632199480,27cyclictest32488-21grep3
632199461,22cyclictest18152-21sed3
632199460,21cyclictest18603-21cat3
632199460,21cyclictest17356-21latency_hist3
40902450,2sleep30-21swapper/33
51062430,4sleep35108-21grep3
632199420,28cyclictest19524-21awk3
632199410,23cyclictest6615-21sed3
632199410,22cyclictest14601-21sed3
632199410,20cyclictest7868-21sed3
632199408,18cyclictest25580-21tr3
632199391,22cyclictest21803-21chrt3
632199390,21cyclictest8689-21df_inode3
632199381,21cyclictest8739-21taskset3
632199380,23cyclictest18241-21awk3
632199380,22cyclictest9481-21sed3
632199380,22cyclictest31327-21awk3
632199380,22cyclictest31327-21awk3
632199380,22cyclictest11982-21taskset3
632199380,21cyclictest25956-21find3
632199371,23cyclictest5837-21awk3
632199370,22cyclictest24617-21cat3
632199361,21cyclictest19465-21awk3
632199340,30cyclictest27779-21sed3
632199330,19cyclictest7088-21irqstats3
6321993215,14cyclictest5125-21expr3
632199320,18cyclictest0-21swapper/33
632199320,18cyclictest0-21swapper/33
632199320,17cyclictest0-21swapper/33
6321993113,15cyclictest22516-21expr3
632199310,17cyclictest0-21swapper/33
632199310,17cyclictest0-21swapper/33
632199310,17cyclictest0-21swapper/33
6321993013,14cyclictest19117-21awk3
6321993010,17cyclictest505-21dbus-daemon3
632199300,17cyclictest0-21swapper/33
632199300,16cyclictest0-21swapper/33
632199290,16cyclictest0-21swapper/33
632199290,16cyclictest0-21swapper/33
632199290,16cyclictest0-21swapper/33
632199290,16cyclictest0-21swapper/33
632199281,24cyclictest9569-21aten2_r9power_e3
632199281,24cyclictest3315-21munin-run3
632199281,24cyclictest28334-21cpuspeed_turbos3
632199281,24cyclictest2158-21wget3
632199281,24cyclictest2052-21sed3
632199281,24cyclictest14442-21awk3
632199281,24cyclictest12277-21cat3
632199280,25cyclictest4119-21sed3
632199280,25cyclictest12394-21awk3
632199280,16cyclictest0-21swapper/33
632199271,23cyclictest322-21systemd-journal3
632199271,23cyclictest31737-21head3
632199271,23cyclictest29283-21sort3
632199271,23cyclictest28648-21grep3
632199271,23cyclictest25030-21grep3
632199271,23cyclictest23378-21tr3
632199271,23cyclictest14217-21find3
6321992711,13cyclictest6424-21cat3
6321992711,13cyclictest3042-21sort3
6321992710,14cyclictest32409-21expr3
632199270,24cyclictest26841-21ls3
6321992613,11cyclictest665-21runrttasks3
632199261,22cyclictest11958-21sed3
632199260,23cyclictest6300-21find3
632199260,23cyclictest19396-21find3
632199251,22cyclictest519-21cron3
19092251,2sleep21997-21diskstats2
6316992411,11cyclictest28-21ksoftirqd/22
631699234,17cyclictest14759-21sendmail-mta2
631699233,18cyclictest559-21gdbus2
631699231,19cyclictest505-21dbus-daemon2
631299232,19cyclictest0-21swapper/11
631299232,19cyclictest0-21swapper/11
78212220,1sleep07824-21sendmail0
631699223,17cyclictest8172-21cat2
6316992217,3cyclictest20413-21munin-run2
631699220,19cyclictest12443-21munin-run2
6312992217,3cyclictest24408-40mandb1
6312992216,3cyclictest26350-21processes1
6312992215,4cyclictest4357-21seq1
630799222,17cyclictest1339-21cut0
6307992215,4cyclictest30566-21turbostat.cron0
6307992212,6cyclictest505-21dbus-daemon0
631699217,12cyclictest0-21swapper/22
631699212,17cyclictest4670-21cat2
631699212,17cyclictest23852-21latency_hist2
631699212,17cyclictest0-21swapper/22
6316992116,3cyclictest5822-21munin-run2
6316992116,3cyclictest28-21ksoftirqd/22
6316992115,4cyclictest30380-21sed2
6316992115,4cyclictest18587-21df_inode2
6316992115,3cyclictest3042-21pmu-power2
6316992114,4cyclictest7289-21basename2
6316992114,4cyclictest13554-21ntpq2
631699211,2cyclictest13205-21munin-run2
631699210,18cyclictest25825-21munin-run2
631299212,3cyclictest0-21swapper/11
6307992115,4cyclictest1-21systemd0
210112210,2sleep20-21swapper/22
6316992016,3cyclictest28-21ksoftirqd/22
6316992015,3cyclictest8286-21date2
6316992015,3cyclictest3103-21missed_timers2
6316992015,3cyclictest29652-21expr2
6316992015,3cyclictest24642-21cut2
6316992015,3cyclictest21755-21threads2
6316992015,3cyclictest12521-21expr2
6316992014,4cyclictest5184-21open_files2
6316992014,4cyclictest18449-21munin-run2
6316992014,4cyclictest15772-21expr2
6316992014,3cyclictest7433-21latency2
631699201,3cyclictest17947-21sendmail2
631699201,3cyclictest1299-1kworker/2:1H2
6316992013,4cyclictest10466-21cron2
631699201,17cyclictest1299-1kworker/2:1H2
631699201,17cyclictest0-21swapper/22
631699201,17cyclictest0-21swapper/22
631699200,3cyclictest28389-21sendmail2
631699200,18cyclictest27828-21munin-run2
631699200,17cyclictest322-21systemd-journal2
6312992015,3cyclictest21-21ksoftirqd/11
6312992014,4cyclictest9080-21expr1
6312992012,5cyclictest6458-21acpi1
630799207,5cyclictest9-21ksoftirqd/00
6307992018,1cyclictest0-21swapper/00
6307992016,2cyclictest91ksoftirqd/00
6307992016,2cyclictest91ksoftirqd/00
6307992015,3cyclictest27933-21grep0
6307992015,3cyclictest26722-21wc0
6307992015,3cyclictest23578-21awk0
6307992015,3cyclictest22886-21/usr/sbin/munin0
6307992015,3cyclictest10262-21/usr/sbin/munin0
6307992014,4cyclictest3446-21sed0
6307992014,4cyclictest17813-21expr0
6307992013,4cyclictest8635-21ls0
6307992013,4cyclictest665-21runrttasks0
6307992013,4cyclictest32523-21cron0
6316991915,2cyclictest7807-21latency_hist2
6316991914,3cyclictest31341-21unixbench_singl2
6316991914,3cyclictest31341-21unixbench_singl2
6316991914,3cyclictest28062-21/usr/sbin/munin2
6316991914,3cyclictest19918-21processes2
6316991914,3cyclictest19357-21sed2
6316991914,3cyclictest16789-21cat2
6316991914,3cyclictest11363-21threads2
631699191,3cyclictest12756-21munin-run2
6316991913,4cyclictest502-21cat2
6316991913,4cyclictest31987-21wc2
6316991913,4cyclictest27197-21cat2
631699191,16cyclictest30800-1kworker/2:0H2
631699191,16cyclictest26678-21cat2
631699191,16cyclictest0-21swapper/22
631699190,3cyclictest1299-1kworker/2:1H2
6312991916,2cyclictest0-21swapper/11
6312991915,2cyclictest26635-21/usr/sbin/munin1
6312991915,2cyclictest10707-21/usr/sbin/munin1
6312991914,3cyclictest8525-21gzip1
6312991914,3cyclictest665-21runrttasks1
6312991914,3cyclictest665-21runrttasks1
6312991914,3cyclictest6063-21find1
6312991914,3cyclictest2864-21ls1
6312991914,3cyclictest28607-21/usr/sbin/munin1
6312991914,3cyclictest28243-21ls1
6312991914,3cyclictest27409-21hostname1
6312991914,3cyclictest27409-21hostname1
6312991914,3cyclictest26102-21/usr/sbin/munin1
6312991914,3cyclictest24091-21/usr/sbin/munin1
6312991914,3cyclictest2406-21seq1
6312991914,3cyclictest22876-21seq1
6312991914,3cyclictest16051-21date1
6312991914,3cyclictest16008-21cat1
6312991914,3cyclictest12608-21expr1
6312991914,3cyclictest10262-21/usr/sbin/munin1
6312991913,4cyclictest28917-21hostname1
6312991913,3cyclictest13766-21missed_timers1
6312991912,4cyclictest9809-21expr1
6312991912,4cyclictest23001-21awk1
6312991912,4cyclictest11206-21cat1
631299191,16cyclictest0-21swapper/11
631299190,4cyclictest0-21swapper/11
631299190,17cyclictest0-21swapper/11
630799197,8cyclictest0-21swapper/00
630799191,6cyclictest17919-21sendmail0
6307991916,2cyclictest0-21swapper/00
6307991914,3cyclictest665-21runrttasks0
6307991914,3cyclictest3395-21sed0
6307991914,3cyclictest31141-21date0
6307991914,3cyclictest30039-21/usr/sbin/munin0
6307991914,3cyclictest30039-21/usr/sbin/munin0
6307991914,3cyclictest25697-21expr0
6307991914,3cyclictest22436-21sed0
6307991913,4cyclictest27177-21sed0
6307991913,4cyclictest24725-21cut0
6307991913,4cyclictest22064-21sed0
6307991913,4cyclictest19371-21cat0
6307991913,4cyclictest18945-21/usr/sbin/munin0
6307991913,4cyclictest14728-21grep0
6307991913,4cyclictest13846-21sed0
6307991913,3cyclictest9-21ksoftirqd/00
6307991913,3cyclictest4114-21cat0
6307991913,3cyclictest13979-21idleruntime-cro0
6307991912,4cyclictest665-21runrttasks0
6307991912,4cyclictest5512-21seq0
6307991912,4cyclictest18459-21grep0
205242190,1sleep10-21swapper/11
631699182,13cyclictest10766-21sh2
6316991816,1cyclictest0-21swapper/22
6316991815,2cyclictest0-21swapper/22
6316991814,2cyclictest4838-21aten2_r9power_p2
6316991813,3cyclictest11437-21cut2
6316991812,4cyclictest1236-21open_inodes2
6316991811,4cyclictest23398-21head2
631299182,5cyclictest665-21runrttasks1
6312991814,2cyclictest31823-21gzip1
6312991814,2cyclictest31249-21/usr/sbin/munin1
6312991814,2cyclictest1579-21/usr/sbin/munin1
6312991813,3cyclictest9445-21diskstats1
6312991813,3cyclictest9197-21head1
6312991813,3cyclictest5483-21cat1
6312991813,3cyclictest518-21ls1
6312991813,3cyclictest500-21expr1
6312991813,3cyclictest32353-21expr1
6312991813,3cyclictest29279-21/usr/sbin/munin1
6312991813,3cyclictest21261-21expr1
6312991813,3cyclictest20875-21cat1
6312991813,3cyclictest20654-21/usr/sbin/munin1
6312991813,3cyclictest19321-21cat1
6312991813,3cyclictest19039-21expr1
6312991813,3cyclictest17494-21sed1
6312991813,3cyclictest17302-21expr1
6312991813,3cyclictest16714-21/usr/sbin/munin1
6312991813,3cyclictest15412-21cat1
6312991813,3cyclictest15226-21sed1
6312991813,3cyclictest13032-21expr1
6312991812,4cyclictest4518-21cat1
6312991811,4cyclictest6927-21cat1
6307991816,1cyclictest0-21swapper/00
6307991816,1cyclictest0-21swapper/00
6307991814,2cyclictest91ksoftirqd/00
6307991814,2cyclictest23335-21/usr/sbin/munin0
6307991813,3cyclictest4767-21/usr/sbin/munin0
6307991813,3cyclictest22486-21expr0
6307991813,3cyclictest17342-21expr0
6307991813,3cyclictest17185-21dump-pmu-power0
6307991813,3cyclictest1009-21ntp_states0
6307991812,4cyclictest8639-21sed0
6307991812,4cyclictest4091-21/usr/sbin/munin0
6307991812,4cyclictest32766-21/usr/sbin/munin0
6307991812,4cyclictest18958-21grep0
6307991812,3cyclictest32712-21grep0
6307991812,3cyclictest11538-21cut0
6316991713,2cyclictest21437-21aten2_r9power_p2
6316991712,3cyclictest25398-21hostname2
6316991712,3cyclictest14151-21cat2
6312991712,3cyclictest6647-21expr1
6312991712,3cyclictest31341-21missed_timers1
6312991712,3cyclictest2339-21/usr/sbin/munin1
6312991712,3cyclictest15698-21cat1
6312991711,4cyclictest23726-21expr1
630799174,3cyclictest111rcu_preempt0
6307991715,1cyclictest0-21swapper/00
6307991712,3cyclictest9929-21forks0
6307991712,3cyclictest665-21runrttasks0
6307991712,3cyclictest665-21runrttasks0
6307991712,3cyclictest3227-21timerandwakeup0
6307991712,3cyclictest24641-21if_enp2s00
6307991712,3cyclictest11684-21wc0
6307991711,4cyclictest26852-21/usr/sbin/munin0
630799170,15cyclictest0-21swapper/00
631299162,12cyclictest26163-21head1
630799160,15cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional