You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-07-12 - 17:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Thu Jul 11, 2024 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
221162314230,71sleep10-21swapper/11
216622253181,24sleep00-21swapper/00
231302230179,38sleep20-21swapper/22
233712228191,24sleep30-21swapper/33
52072530,3sleep30-21swapper/33
72322510,2sleep30-21swapper/33
299372500,5sleep30-21swapper/33
240032500,1sleep224001-21apt-config2
147192440,1sleep30-21swapper/33
2356699408,14cyclictest4246-21cut3
2355999403,21cyclictest0-21swapper/11
23559994012,19cyclictest665-21runrttasks1
2355999400,2cyclictest27871-21chrt1
23559993912,14cyclictest665-21runrttasks1
23559993812,14cyclictest665-21runrttasks1
2355999379,15cyclictest665-21runrttasks1
2356699347,16cyclictest26141-21timerandwakeup3
2356699337,14cyclictest2531-21/usr/sbin/munin3
2356699337,14cyclictest2531-21/usr/sbin/munin3
2356699336,14cyclictest3362-21chrt3
2356699333,18cyclictest0-21swapper/33
2356499330,6cyclictest28-21ksoftirqd/22
2355999330,3cyclictest24545-21/usr/sbin/munin1
2356699328,9cyclictest11926-21sed3
2356699327,9cyclictest17135-21sed3
2356699327,10cyclictest17927-21awk3
2356699326,7cyclictest14501-21latency_hist3
2356699325,15cyclictest19290-21cstates3
2356699325,15cyclictest16208-21chrt3
2356699324,17cyclictest0-21swapper/33
2356699324,17cyclictest0-21swapper/33
23559993216,13cyclictest505-21dbus-daemon1
2355999321,2cyclictest0-21swapper/11
2356699318,9cyclictest3228-21which3
2356699317,9cyclictest28420-21latency_hist3
2356699317,9cyclictest11081-21grep3
2356699317,10cyclictest8086-21latency_hist3
2356699316,15cyclictest9750-21latency_hist3
2356699316,10cyclictest32556-21cat3
2356699315,9cyclictest15783-21latency_hist3
2356699315,14cyclictest28572-21chrt3
23559993113,15cyclictest29191-21awk1
2356699308,8cyclictest16334-21users3
2356699308,8cyclictest10659-21irqstats3
2356699307,9cyclictest27577-21sed3
2356699306,9cyclictest23260-21cstates3
2356699306,9cyclictest13084-21grep3
2356699303,17cyclictest0-21swapper/33
23564993011,16cyclictest12094-21latency_hist2
23559993014,14cyclictest22702-21ls1
23559993014,14cyclictest15534-21cat1
2356699297,8cyclictest25231-21/usr/sbin/munin3
2356699297,8cyclictest24096-21find3
2356699297,7cyclictest24942-21apt-get3
2356699296,9cyclictest642-21aten2.4-expect3
2356699296,9cyclictest16634-21cstates3
2356699296,8cyclictest7197-21ntpq3
2356699296,8cyclictest505-21dbus-daemon3
2356699295,9cyclictest11814-21sed3
2356699295,13cyclictest8289-21runrttasks3
2356699295,13cyclictest13613-21taskset3
2356699293,17cyclictest0-21swapper/33
2356699293,17cyclictest0-21swapper/33
2356699292,16cyclictest0-21swapper/33
2355999297,19cyclictest14127-21aten2_r9power_p1
2355999292,21cyclictest0-21swapper/11
23559992912,14cyclictest7556-21cat1
23559992911,16cyclictest11285-21grep1
23559992911,15cyclictest26002-21awk1
2355999290,2cyclictest13043-21forks1
2356699287,7cyclictest4433-21df3
2356699287,7cyclictest23745-21chrt3
2356699286,9cyclictest29559-21cat3
2356699286,8cyclictest29881-21ntp_states3
2356699286,7cyclictest21495-21cat3
2356699283,9cyclictest0-21swapper/33
2356699282,10cyclictest0-21swapper/33
2356699281,17cyclictest0-21swapper/33
2356499286,4cyclictest28-21ksoftirqd/22
23564992816,3cyclictest28-21ksoftirqd/22
2355999289,16cyclictest505-21dbus-daemon1
2355999283,22cyclictest16184-21sort1
2355999282,23cyclictest8581-21cpuspeed_turbos1
2355999282,21cyclictest0-21swapper/11
23559992815,11cyclictest12369-21sh1
23559992814,11cyclictest26466-21aten2.4-expect1
23559992812,14cyclictest20180-21cat1
23559992812,14cyclictest20180-21cat1
2355999280,3cyclictest25024-21irqstats1
2355999280,2cyclictest25225-21cpuspeed_turbos1
46252270,1sleep24628-21aten2_r9power_e2
2356699279,7cyclictest10132-21chrt3
2356699278,8cyclictest21718-21ls3
2356699277,7cyclictest22745-21latency_hist3
2356699276,8cyclictest18646-21chrt3
2356699276,7cyclictest3015-21switchtime3
2356699275,9cyclictest665-21runrttasks3
2356699275,9cyclictest22452-21aten2_r9power_v3
2356699275,9cyclictest12360-21aten2_r9power_p3
2356699272,9cyclictest0-21swapper/33
2355999278,17cyclictest3526-21proc_pri1
2355999278,17cyclictest3526-21proc_pri1
2355999277,17cyclictest28281-21taskset1
2355999277,17cyclictest15395-21missed_timers1
2355999273,21cyclictest4293-21cstates1
2355999271,24cyclictest22245-21grep1
23559992711,14cyclictest24140-21expr1
2355999270,3cyclictest13176-21ntp_states1
2355999270,3cyclictest11218-21irqstats1
2355999270,2cyclictest7155-21sed1
2355999270,2cyclictest31270-21ntp_states1
2356699266,7cyclictest31043-21aten2_r9power_e3
2356699263,8cyclictest0-21swapper/33
2356699263,8cyclictest0-21swapper/33
2356699263,7cyclictest23832-21apt-get3
2356699261,15cyclictest0-21swapper/33
2356499266,7cyclictest28-21ksoftirqd/22
23564992615,3cyclictest28-21ksoftirqd/22
2355999269,14cyclictest4840-21cat1
2355999268,15cyclictest1229-21grep1
2355999267,17cyclictest8755-21memory1
2355999267,16cyclictest24540-21taskset1
2355999266,17cyclictest29661-21proc_pri1
2355999262,20cyclictest4575-21apt-get1
23559992614,10cyclictest665-21runrttasks1
2355999261,21cyclictest31230-21ntp_states1
23559992612,12cyclictest12024-21/usr/sbin/munin1
23559992611,12cyclictest2755-21ntpq1
2355999260,2cyclictest1270-21users1
23564992514,3cyclictest28-21ksoftirqd/22
23564992511,12cyclictest28-21ksoftirqd/22
2355999259,14cyclictest10677-21df1
2355999253,19cyclictest28732-21cstates1
2355999252,19cyclictest22672sleep11
2355999252,19cyclictest22672sleep11
2355999252,19cyclictest18040-21apt-get1
2355999251,18cyclictest0-21swapper/11
2356699245,5cyclictest0-21swapper/33
2356499248,13cyclictest8177-21latency_hist2
2356499245,6cyclictest28-21ksoftirqd/22
23564992415,3cyclictest111rcu_preempt2
23564992413,3cyclictest28-21ksoftirqd/22
2355999248,14cyclictest17770-21sed1
2355999246,15cyclictest16759-21grep1
2355999245,17cyclictest7760-21sort1
2355999244,18cyclictest18889-21grep1
2355999244,17cyclictest14707-21date1
2355999242,3cyclictest313232wc1
23559992417,4cyclictest505-21dbus-daemon1
2355999241,4cyclictest22249-21sort1
2355999241,18cyclictest0-21swapper/11
23566992317,4cyclictest7756-21turbostat.cron3
2356499236,4cyclictest28-21ksoftirqd/22
2356499236,4cyclictest28-21ksoftirqd/22
2356499235,3cyclictest28-21ksoftirqd/22
2356499234,8cyclictest28-21ksoftirqd/22
2356499232,6cyclictest28-21ksoftirqd/22
23564992319,3cyclictest271rcuc/22
23564992313,3cyclictest28-21ksoftirqd/22
2355999237,14cyclictest1427-21ntp_states1
2355999236,14cyclictest0-21swapper/11
2355999231,3cyclictest20948-21taskset1
2355999231,3cyclictest20948-21taskset1
2355999231,17cyclictest0-21swapper/11
215702230,3sleep02355599cyclictest0
2356699221,8cyclictest0-21swapper/33
2356499224,5cyclictest20980-21/usr/sbin/munin2
2356499223,9cyclictest28-21ksoftirqd/22
2356499222,8cyclictest28-21ksoftirqd/22
2356499222,11cyclictest28-21ksoftirqd/22
23564992212,3cyclictest28-21ksoftirqd/22
23564992211,3cyclictest28-21ksoftirqd/22
2356499220,6cyclictest28-21ksoftirqd/22
2356499220,6cyclictest28-21ksoftirqd/22
2356499214,6cyclictest28-21ksoftirqd/22
2356499213,9cyclictest28-21ksoftirqd/22
2356499213,7cyclictest28-21ksoftirqd/22
2356499213,16cyclictest30189-21cat2
2356499213,10cyclictest28-21ksoftirqd/22
2356499213,10cyclictest28-21ksoftirqd/22
2356499212,6cyclictest28-21ksoftirqd/22
2356499212,6cyclictest28-21ksoftirqd/22
2356499212,5cyclictest28-21ksoftirqd/22
23564992115,4cyclictest2675-21/usr/sbin/munin2
23564992115,4cyclictest2675-21/usr/sbin/munin2
23564992112,6cyclictest8573-21apt-get2
2356499211,17cyclictest32124-21munin-run2
23564992110,3cyclictest28-21ksoftirqd/22
2356499204,8cyclictest28-21ksoftirqd/22
2356499204,8cyclictest28-21ksoftirqd/22
2356499204,8cyclictest26615-21packagekitd2
2356499203,8cyclictest28-21ksoftirqd/22
2356499203,3cyclictest111rcu_preempt2
2356499203,3cyclictest111rcu_preempt2
2356499202,10cyclictest28-21ksoftirqd/22
23564992017,2cyclictest271rcuc/22
23564992017,2cyclictest271rcuc/22
23564992016,3cyclictest28-21ksoftirqd/22
23564992014,4cyclictest8464-21cat2
23564992014,4cyclictest8058-21hostname2
23564992014,4cyclictest28379-21seq2
23564992014,4cyclictest12998-21awk2
23564992014,4cyclictest11153-21expr2
2356499200,3cyclictest32733-21munin-run2
2356499200,3cyclictest26373-21apt-get2
23555992016,2cyclictest9-21ksoftirqd/00
23555992015,3cyclictest4428-21expr0
23555992015,3cyclictest18278-21/usr/sbin/munin0
23555992015,3cyclictest18278-21/usr/sbin/munin0
23555992015,3cyclictest12629-21/usr/sbin/munin0
23555992014,4cyclictest1-21systemd0
23555992013,5cyclictest58150irq/130-enp2s00
23555992013,4cyclictest539-21apt-get0
23555992012,6cyclictest505-21dbus-daemon0
2356499198,2cyclictest111rcu_preempt2
2356499194,5cyclictest28-21ksoftirqd/22
2356499194,3cyclictest111rcu_preempt2
23564991914,3cyclictest845-21if_enp3s02
23564991914,3cyclictest6423-21expr2
23564991914,3cyclictest28-21ksoftirqd/22
23564991914,3cyclictest28-21ksoftirqd/22
23564991914,3cyclictest28-21ksoftirqd/22
23564991914,3cyclictest12662-21expr2
23555991916,2cyclictest0-21swapper/00
23555991915,2cyclictest22509-21gltestperf0
23555991915,2cyclictest11432-21grep0
23555991914,3cyclictest9-21ksoftirqd/00
23555991914,3cyclictest9-21ksoftirqd/00
23555991914,3cyclictest8955-21cat0
23555991914,3cyclictest8565-21cat0
23555991914,3cyclictest5402-21threads0
23555991914,3cyclictest4414-21cut0
23555991914,3cyclictest4414-21cut0
23555991914,3cyclictest30660-21/usr/sbin/munin0
23555991914,3cyclictest28691-21idleruntime-cro0
23555991914,3cyclictest24965-21/usr/sbin/munin0
23555991914,3cyclictest2378-21gltestperf0
23555991914,3cyclictest22906-21/usr/sbin/munin0
23555991914,3cyclictest2244-21/usr/sbin/munin0
23555991914,3cyclictest2244-21/usr/sbin/munin0
23555991914,3cyclictest1900-21seq0
23555991914,3cyclictest18089-21find0
23555991914,3cyclictest12581-21/usr/sbin/munin0
23555991913,4cyclictest9896-21cut0
23555991913,4cyclictest9-21ksoftirqd/00
23555991913,4cyclictest6106-21seq0
23555991913,4cyclictest5266-21seq0
23555991913,4cyclictest32737-21sh0
23555991913,4cyclictest29914-21awk0
23555991913,4cyclictest21816-21ls0
23555991913,4cyclictest21816-21ls0
23555991913,4cyclictest2125-21sed0
23555991913,4cyclictest20960-21cut0
23555991913,4cyclictest17003-21expr0
23555991913,4cyclictest12376-21cat0
23555991913,3cyclictest30438-21aten2.4-expect0
23555991912,5cyclictest11974-21wc0
23555991912,4cyclictest13256-21which0
23564991813,3cyclictest30279-21unixbench_multi2
23555991816,1cyclictest0-21swapper/00
23555991816,1cyclictest0-21swapper/00
23555991814,2cyclictest5992-21/usr/sbin/munin0
23555991814,2cyclictest10680-21df0
23555991813,3cyclictest7201-21ntpq0
23555991813,3cyclictest693-21expr0
23555991813,3cyclictest32333-21find0
23555991813,3cyclictest26102-21wc0
23555991813,3cyclictest18937-21/usr/sbin/munin0
23555991813,3cyclictest18462-21sh0
23555991813,3cyclictest17912-21cut0
23555991813,3cyclictest16568-21seq0
23555991813,3cyclictest14696-21expr0
23555991812,4cyclictest27442-21cat0
23555991812,4cyclictest20946-21seq0
23555991812,4cyclictest2082-21systemd-journal0
23555991812,4cyclictest15953-21date0
23555991812,3cyclictest11385-21cat0
2355599181,13cyclictest14598-21apt-get0
23555991715,1cyclictest0-21swapper/00
23555991713,2cyclictest6233-21/usr/sbin/munin0
23555991713,2cyclictest28743-21perf0
23555991712,3cyclictest8827-21if_enp2s00
23555991712,3cyclictest28686-21cat0
2355599169,5cyclictest6832-21cpuspeed_turbos0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional