You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-09-21 - 23:22
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2 (updated Thu Sep 21, 2023 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
205682306268,25sleep10-21swapper/11
204692297261,24sleep30-21swapper/33
206012269189,47sleep20-21swapper/22
190372260188,24sleep00-21swapper/00
1567921550,3sleep22096299cyclictest2
319872550,2sleep10-21swapper/11
282542510,3sleep30-21swapper/33
20969994711,10cyclictest25456-21grep3
20969994311,9cyclictest20059-21turbostat3
2096999428,9cyclictest30620-21/usr/sbin/munin3
2096999409,9cyclictest2082-21systemd-journal3
121722390,1sleep00-21swapper/00
39552380,2sleep10-21swapper/11
2096999386,16cyclictest0-21swapper/33
20969993813,10cyclictest8250-21awk3
20969993811,10cyclictest22551-21cron3
20969993811,10cyclictest22551-21cron3
2096999379,10cyclictest1693-21sed3
2096999376,9cyclictest0-21swapper/33
20969993711,8cyclictest2884-21df3
20969993711,8cyclictest14800-21seq3
20969993711,14cyclictest31009-21sed3
2096999369,15cyclictest3416-21sed3
20969993612,8cyclictest5810-21df3
20969993611,8cyclictest31525-21irqstats3
20969993611,8cyclictest31484-21idleruntime-cro3
20969993611,14cyclictest24375-21gpgv3
20969993610,10cyclictest22847-21cron3
2096999359,10cyclictest8996-21sed3
2096999356,15cyclictest0-21swapper/33
20969993512,8cyclictest25739-21apt-get3
20969993512,7cyclictest17684-21ntp_states3
20969993510,8cyclictest4670-21df_inode3
20969993510,14cyclictest31036-21expr3
2096999349,14cyclictest17723-21taskset3
20969993412,8cyclictest23704-21ntp_states3
20969993411,8cyclictest27568-21ntp_states3
20969993411,8cyclictest21202-21ntp_states3
20969993411,8cyclictest19446-21ntp_states3
20969993410,9cyclictest8215-21awk3
20969993410,10cyclictest424-21awk3
2096999339,10cyclictest30052-21latency_hist3
2096999337,15cyclictest0-21swapper/33
20969993310,9cyclictest9981-21latency_hist3
20969993310,9cyclictest2759-21awk3
20969993310,8cyclictest23249-21ntp_states3
20969993310,8cyclictest14918-21irqstats3
2096999329,9cyclictest11371-21switchtime3
2096999329,9cyclictest10214-21missed_timers3
2096999329,8cyclictest31791-21aten2_r9power_p3
2096999326,16cyclictest0-21swapper/33
20969993210,9cyclictest16969-21sh3
20969993210,8cyclictest32681-21apt-get3
20969993210,8cyclictest16294-21taskset3
2096999319,9cyclictest4696-21cpuspeed_turbos3
2096999317,9cyclictest0-21swapper/33
2096999317,9cyclictest0-21swapper/33
2096999316,9cyclictest0-21swapper/33
2096999309,8cyclictest14009-21latency_hist3
2096999306,9cyclictest0-21swapper/33
2096999306,8cyclictest0-21swapper/33
2096999306,10cyclictest10180-21taskset3
2096999303,10cyclictest0-21swapper/33
20969993010,7cyclictest14356-21aten2.4-expect3
2096299308,2cyclictest111rcu_preempt2
2096999298,9cyclictest29020-21cstates3
2096999285,8cyclictest0-21swapper/33
2096999285,15cyclictest0-21swapper/33
20962992615,3cyclictest28-21ksoftirqd/22
289422250,3sleep02095599cyclictest0
2096999256,7cyclictest3400-21apt-get3
20955992517,5cyclictest20303-21dump-pmu-power0
2096999244,7cyclictest12798-21apt-get3
2096299249,2cyclictest111rcu_preempt2
2096299247,2cyclictest111rcu_preempt2
2096299244,17cyclictest12756-21sendmail2
20959992416,5cyclictest18183-21df_inode1
20969992314,7cyclictest4478-21/usr/sbin/munin3
20955992317,4cyclictest9-21ksoftirqd/00
20969992211,9cyclictest25509-21/usr/sbin/munin3
20969992211,8cyclictest21188-21/usr/sbin/munin3
2096299229,11cyclictest28-21ksoftirqd/22
2096299228,12cyclictest28-21ksoftirqd/22
2096299223,17cyclictest9124-21latency_hist2
2096299223,17cyclictest14074-21cat2
2096299221,4cyclictest32054-21munin-run2
20962992212,2cyclictest28-21ksoftirqd/22
2096299221,18cyclictest17766-21apt-get2
20962992210,10cyclictest32540-21cpuspeed_turbos2
2096299220,19cyclictest21712-21ntp_states2
2096299220,19cyclictest21712-21ntp_states2
20959992215,4cyclictest665-21runrttasks1
20955992216,4cyclictest5974-21sh0
20955992215,5cyclictest16784-21gltestperf0
20969992114,4cyclictest24956-21aten2_r9power_p3
20969992113,5cyclictest11465-21/usr/sbin/munin3
20969992112,6cyclictest23056-21/usr/sbin/munin3
20962992116,3cyclictest7574-21timerandwakeup2
20962992116,3cyclictest31491-21if_err_enp2s02
20962992116,3cyclictest27692-21users2
20962992116,3cyclictest10284-21aten2_r9power_c2
20962992114,4cyclictest6261-21ntpq2
20962992114,4cyclictest4873-21df2
2096299211,3cyclictest9722-21apt-config2
2096299211,17cyclictest23068-21users2
20962992111,3cyclictest28-21ksoftirqd/22
2096299210,3cyclictest26556-21munin-run2
20959992117,3cyclictest21-21ksoftirqd/11
20959992116,3cyclictest2450-21/usr/sbin/munin1
20959992115,4cyclictest7788-21seq1
20955992115,4cyclictest13991-21sed0
20955992114,5cyclictest9-21ksoftirqd/00
20955992114,4cyclictest31714-21head0
20955992112,7cyclictest8386-21gltestperf0
20969992012,6cyclictest6683-21/usr/sbin/munin3
2096299208,11cyclictest28-21ksoftirqd/22
2096299205,13cyclictest28-21ksoftirqd/22
2096299202,16cyclictest5961-21cat2
20962992016,2cyclictest28428-21aten2_r9power_v2
2096299201,5cyclictest0-21swapper/22
20962992015,3cyclictest3463-21timerwakeupswit2
20962992015,3cyclictest30707-21proc_pri2
20962992015,3cyclictest25806-21pmu-power2
20962992015,3cyclictest16278-21ntp_kernel_pll_2
20962992015,3cyclictest12327-21aten2.4-expect2
20962992014,4cyclictest14282-21apt-get2
20962992014,3cyclictest6725-21ntpq2
2096299201,3cyclictest24105-21munin-run2
2096299201,3cyclictest21804-21munin-run2
2096299201,3cyclictest19040-1kworker/2:1H2
20962992013,4cyclictest29733-21ntpq2
2096299201,16cyclictest28612-1kworker/2:0H2
2096299201,16cyclictest0-21swapper/22
20962992011,5cyclictest18825-21apt-get2
2096299200,18cyclictest15152-21munin-run2
20959992015,3cyclictest3982-21aten2.4-expect1
20959992015,3cyclictest26609-21ntp_states1
20959992015,3cyclictest12631-21expr1
20959992014,4cyclictest25182-21expr1
20959992014,4cyclictest20042-21sh1
2095999201,3cyclictest21-21ksoftirqd/11
20959992013,4cyclictest2459-21awk1
20959992012,5cyclictest24366-21cut1
20959992012,5cyclictest24366-21cut1
2095599203,13cyclictest20346-21tr0
2095599202,6cyclictest17724-21apt-get0
20955992015,3cyclictest9402-21/usr/sbin/munin0
20955992015,3cyclictest24808-21/usr/sbin/munin0
20955992015,3cyclictest14779-21/usr/sbin/munin0
20955992015,3cyclictest13508-21aten2_r9power_p0
20955992014,4cyclictest7374-21/usr/sbin/munin0
20955992014,4cyclictest4337-21sed0
20955992013,4cyclictest22409-21grep0
20955992013,4cyclictest18345-21aten2.4-expect0
20955992013,4cyclictest10333-21gdbus0
20955992010,6cyclictest505-21dbus-daemon0
2096299196,4cyclictest28-21ksoftirqd/22
2096299196,10cyclictest11202-21cat2
2096299192,16cyclictest27483-21awk2
2096299191,5cyclictest0-21swapper/22
20962991915,2cyclictest3970-21aten2_r9power_p2
20962991915,2cyclictest16402-21apt-config2
20962991914,3cyclictest9878-21gltestperf2
20962991914,3cyclictest8588-21cstates2
20962991914,3cyclictest7423-21sed2
20962991914,3cyclictest5314-21cut2
20962991914,3cyclictest30707-21seq2
20962991914,3cyclictest25907-21cat2
20962991914,3cyclictest2442-21ls2
20962991914,3cyclictest10880-21kernelversion2
20962991913,4cyclictest17358-21basename2
2096299190,5cyclictest0-21swapper/22
2096299190,17cyclictest18087-21latency_hist2
20959991915,2cyclictest4443-21/usr/sbin/munin1
20959991915,2cyclictest28309-21/usr/sbin/munin1
20959991915,2cyclictest22553-21/usr/sbin/munin1
20959991915,2cyclictest20543-21/usr/sbin/munin1
20959991915,2cyclictest18807-21/usr/sbin/munin1
20959991915,2cyclictest1877-21/usr/sbin/munin1
20959991915,2cyclictest14266-21aten2_r9power_e1
20959991914,3cyclictest752-21sh1
20959991914,3cyclictest7374-21/usr/sbin/munin1
20959991914,3cyclictest7288-21sed1
20959991914,3cyclictest31703-21/usr/sbin/munin1
20959991914,3cyclictest24599-21sh1
20959991914,3cyclictest23909-21seq1
20959991914,3cyclictest20892-21sh1
20959991914,3cyclictest20892-21sh1
20959991914,3cyclictest17025-21ls1
20959991914,3cyclictest15858-21switchtime1
20959991914,3cyclictest13096-21seq1
20959991914,3cyclictest1035-21cat1
20959991913,4cyclictest29590-21cat1
20959991913,4cyclictest2658-21expr1
20959991913,4cyclictest17007-21seq1
20959991913,4cyclictest10126-21sed1
20959991912,4cyclictest5849-21date1
20959991912,4cyclictest30146-21df1
2095999191,16cyclictest0-21swapper/11
20955991916,2cyclictest0-21swapper/00
20955991915,3cyclictest9-21ksoftirqd/00
20955991915,3cyclictest8231-21/usr/sbin/munin0
20955991915,2cyclictest23704-21ntp_states0
20955991915,2cyclictest15402-21/usr/sbin/munin0
20955991915,2cyclictest14264-21/usr/sbin/munin0
20955991914,3cyclictest6439-21/usr/sbin/munin0
20955991914,3cyclictest6227-21/usr/sbin/munin0
20955991914,3cyclictest29713-21/usr/sbin/munin0
20955991914,3cyclictest27461-21latency_hist0
20955991914,3cyclictest26313-21/usr/sbin/munin0
20955991913,4cyclictest21050-21cpuspeed_turbos0
20955991913,4cyclictest21050-21cpuspeed_turbos0
20955991913,4cyclictest10837-21cat0
20955991912,4cyclictest3139-21apt0
20955991911,6cyclictest9-21ksoftirqd/00
2095599191,16cyclictest28309-21/usr/sbin/munin0
2095599191,15cyclictest2082-21systemd-journal0
2095599191,15cyclictest17837-21tail0
20955991911,4cyclictest505-21dbus-daemon0
2095599190,17cyclictest0-21swapper/00
20962991813,3cyclictest22856-21aten2.4-expect2
20962991813,3cyclictest22301-21/usr/sbin/munin2
20962991813,3cyclictest18649-21aten2_r9power_p2
2096299181,15cyclictest0-21swapper/22
2096299181,15cyclictest0-21swapper/22
2095999184,11cyclictest23763-21sed1
20959991815,2cyclictest0-21swapper/11
20959991814,2cyclictest8231-21/usr/sbin/munin1
20959991814,2cyclictest30672-21/usr/sbin/munin1
20959991814,2cyclictest16526-21/usr/sbin/munin1
20959991813,3cyclictest8110-21ls1
20959991813,3cyclictest8005-21seq1
20959991813,3cyclictest665-21runrttasks1
20959991813,3cyclictest30671-21expr1
20959991813,3cyclictest30420-21sh1
20959991813,3cyclictest29320-21diskstats1
20959991813,3cyclictest27227-21cat1
20959991813,3cyclictest20713-21expr1
20959991813,3cyclictest16707-21sh1
20959991813,3cyclictest13760-21cat1
20959991813,3cyclictest10822-21cat1
20959991813,3cyclictest10625-21expr1
20959991812,4cyclictest23739-21awk1
2095999180,16cyclictest0-21swapper/11
2095599189,5cyclictest0-21swapper/00
2095599184,7cyclictest32321-21apt-get0
20955991813,3cyclictest9-21ksoftirqd/00
20955991813,3cyclictest665-21runrttasks0
20955991813,3cyclictest665-21runrttasks0
20955991813,3cyclictest4443-21/usr/sbin/munin0
20955991813,3cyclictest25412-21sed0
20955991813,3cyclictest25412-21sed0
20955991813,3cyclictest23598-21sed0
20955991813,3cyclictest2082-21systemd-journal0
20955991812,4cyclictest467-21aten2_r9power_e0
20955991812,4cyclictest31262-21if_enp2s00
20955991812,4cyclictest19353-21sed0
20955991812,4cyclictest10565-21cut0
20955991811,4cyclictest30788-21tail0
20959991713,2cyclictest26878-21cpuspeed1
20959991712,3cyclictest665-21runrttasks1
20959991712,3cyclictest32663-21/usr/sbin/munin1
20959991712,3cyclictest25775-21open_inodes1
20959991712,3cyclictest12613-21expr1
20959991711,4cyclictest11494-21cat1
20959991710,4cyclictest12772-21seq1
2095599173,8cyclictest22319-21apt-get0
2095599173,11cyclictest29420-21gltestperf0
2095599172,13cyclictest27992-21sort0
20955991713,2cyclictest20543-21/usr/sbin/munin0
20955991712,3cyclictest665-21runrttasks0
20955991712,3cyclictest3621-21cpuspeed_turbos0
20955991711,3cyclictest11412-21acpi0
2095599169,4cyclictest22224-21apt-key0
2095599162,9cyclictest26698-21apt-get0
20955991611,3cyclictest12617-21cstates0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional