You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-11-29 - 16:48
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2 (updated Wed Nov 29, 2023 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
39152279181,25sleep10-21swapper/11
39912276185,23sleep20-21swapper/22
24072276185,71sleep30-21swapper/33
428299258249,5cyclictest8785-21munin-run1
38982256183,25sleep00-21swapper/00
427999163156,5cyclictest505-21dbus-daemon0
1009521600,1sleep10-21swapper/11
293321530,3sleep2428699cyclictest2
428699140135,3cyclictest8805-21dump-pmu-power2
429099133130,2cyclictest0-21swapper/33
229882530,2sleep00-21swapper/00
119802450,1sleep011984-21sed0
287852420,2sleep00-21swapper/00
287852420,2sleep00-21swapper/00
218252360,1sleep30-21swapper/33
211732350,1sleep20-21swapper/22
254042300,1chrt25407-21processes2
428699269,16cyclictest27708-21dump-pmu-power2
176152260,2sleep20-21swapper/22
51402250,1sleep00-21swapper/00
224662240,1sleep00-21swapper/00
428699232,18cyclictest2082-21systemd-journal2
4279992312,9cyclictest91ksoftirqd/00
179432230,1sleep20-21swapper/22
4290992218,2cyclictest6004-21ntp_offset3
4290992215,4cyclictest15956-21cat3
428699223,17cyclictest1872-21latency_hist2
428699223,17cyclictest12913-21cat2
4286992217,3cyclictest7251-21sed2
4286992215,4cyclictest2852-21cron2
428699221,4cyclictest14815-21munin-run2
428699221,3cyclictest9710-21munin-run2
428699220,4cyclictest4407-21df_inode2
428299222,17cyclictest15737-21cron1
4282992216,4cyclictest32326-21sed1
4282992216,4cyclictest22042-21sed1
4279992215,4cyclictest6633-21cut0
207982220,1sleep10-21swapper/11
4290992115,4cyclictest7551-21df_inode3
4290992115,4cyclictest18930-21awk3
4290992115,4cyclictest10454-21fw_packets3
4290992115,3cyclictest2082-21systemd-journal3
4290992114,4cyclictest5519-21users3
428699212,17cyclictest21869-21cat2
428699212,17cyclictest11212-21sendmail-mta2
4286992116,3cyclictest13212-21sed2
428699211,3cyclictest27696-21munin-run2
428699211,3cyclictest2082-21systemd-journal2
4286992112,5cyclictest505-21dbus-daemon2
428699211,18cyclictest32530-1kworker/2:0H2
428699211,17cyclictest21244-21apt-get2
428699210,6cyclictest17131-21cat2
4282992116,3cyclictest26330-21/usr/sbin/munin1
4282992112,4cyclictest0-21swapper/11
4279992116,4cyclictest9-21ksoftirqd/00
4279992115,4cyclictest25678-21df_inode0
4279992115,4cyclictest22202-21proc_pri0
4279992115,3cyclictest26330-21/usr/sbin/munin0
4279992115,3cyclictest2082-21systemd-journal0
4279992114,4cyclictest13604-21cat0
298392210,2sleep30-21swapper/33
4290992016,2cyclictest20071-21open_files3
4290992015,3cyclictest711-21dpkg3
4290992015,3cyclictest6629-21irqstats3
4290992015,3cyclictest4205-21cat3
4290992015,3cyclictest25535-21timerwakeupswit3
4290992015,3cyclictest23818-21if_enp2s03
4290992015,3cyclictest20232-21cut3
4290992015,3cyclictest20134-21open_files3
4290992015,3cyclictest11437-21acpi3
4290992014,4cyclictest9547-21forks3
4290992014,4cyclictest9547-21forks3
4290992014,4cyclictest27072-21cat3
4290992014,4cyclictest26200-21date3
4290992014,4cyclictest22380-21sed3
4290992013,4cyclictest30372-21df3
4290992013,4cyclictest21634-21cat3
4290992013,4cyclictest16429-21df_inode3
428699203,1cyclictest0-21swapper/22
428699202,16cyclictest0-21swapper/22
4286992015,3cyclictest24312-21/usr/sbin/munin2
4286992014,4cyclictest505-21dbus-daemon2
4286992014,4cyclictest3713-21idleruntime-cro2
428699201,3cyclictest20956-1kworker/2:2H2
428699201,17cyclictest32530-1kworker/2:0H2
428699201,17cyclictest32324-21latency_hist2
428699201,17cyclictest30046-1kworker/2:0H2
428699200,3cyclictest6271-21munin-node2
428699200,3cyclictest32530-1kworker/2:0H2
4282992017,2cyclictest0-21swapper/11
4282992015,3cyclictest18827-21sed1
4282992014,4cyclictest9986-21/usr/sbin/munin1
428299200,19cyclictest0-21swapper/11
428299200,19cyclictest0-21swapper/11
4279992015,3cyclictest23221-21/usr/sbin/munin0
4279992015,3cyclictest15992-21/usr/sbin/munin0
4279992015,3cyclictest11928-21nfs4_client0
4279992015,2cyclictest9143-21/usr/sbin/munin0
4279992014,4cyclictest19826-21seq0
4279992013,4cyclictest7951-21cat0
4279992013,4cyclictest30614-21sed0
4279992013,4cyclictest15758-21if_enp3s00
4279992013,4cyclictest14774-21cat0
4279992013,4cyclictest14390-21ls0
4290991915,2cyclictest31014-21if_err_enp2s03
4290991914,3cyclictest684-21load3
4290991914,3cyclictest5847-21uptime3
4290991914,3cyclictest31196-21ntp_kernel_pll_3
4290991914,3cyclictest28095-21aten2.4-expect3
4290991914,3cyclictest27197-21ntp_kernel_pll_3
4290991914,3cyclictest25868-21sed3
4290991914,3cyclictest22180-21apt-config3
4290991914,3cyclictest15842-21latency3
4290991914,3cyclictest14221-21cat3
4290991914,3cyclictest14004-21nfs4_client3
4290991914,3cyclictest11907-21load3
4290991914,3cyclictest10001-21ntp_kernel_err3
4290991913,4cyclictest8751-21cat3
4290991913,4cyclictest2995-21cat3
4290991913,4cyclictest24219-21date3
4290991913,3cyclictest9736-21sendmail3
4290991912,4cyclictest28390-21find3
4290991912,4cyclictest28390-21find3
4290991912,4cyclictest28162-21basename3
4290991912,4cyclictest23659-21df_inode3
428699193,14cyclictest17738-21latency_hist2
428699192,15cyclictest8526-21latency_hist2
428699192,15cyclictest4864-21latency_hist2
4286991915,2cyclictest15744-21latency_hist2
428699191,4cyclictest16992-21cat2
4286991914,3cyclictest6049-21awk2
4286991914,3cyclictest32223-21sed2
4286991914,3cyclictest19751-21grep2
4286991914,3cyclictest11975-21sed2
4286991914,3cyclictest11213-21sed2
4286991914,3cyclictest10899-21pluginstate2
4286991913,4cyclictest30978-21grep2
4286991913,4cyclictest17953-21sed2
428699191,2cyclictest0-21swapper/22
428699191,16cyclictest32070-21latency_hist2
428699191,16cyclictest20956-1kworker/2:2H2
428699191,16cyclictest19865-21cat2
428699191,16cyclictest0-21swapper/22
428699191,16cyclictest0-21swapper/22
428699190,3cyclictest32530-1kworker/2:0H2
4282991916,2cyclictest0-21swapper/11
4282991915,2cyclictest3115-21/usr/sbin/munin1
4282991915,2cyclictest29231-21/usr/sbin/munin1
4282991915,2cyclictest28454-21aten2_r9power_e1
4282991915,2cyclictest28454-21aten2_r9power_e1
4282991914,3cyclictest5970-21/usr/sbin/munin1
4282991914,3cyclictest32380-21/usr/sbin/munin1
4282991914,3cyclictest31474-21sed1
4282991914,3cyclictest31280-21aten2_r9power_e1
4282991914,3cyclictest26814-21open_inodes1
4282991914,3cyclictest26313-21cat1
4282991914,3cyclictest24312-21/usr/sbin/munin1
4282991914,3cyclictest1957-21/usr/sbin/munin1
4282991914,3cyclictest16112-21cron1
4282991914,3cyclictest15142-21/usr/sbin/munin1
4282991914,3cyclictest11122-21aten2.4-expect1
4282991913,4cyclictest8749-21cat1
4282991913,4cyclictest32449-21cut1
4282991913,4cyclictest22616-21expr1
4282991913,4cyclictest20991-21idleruntime-cro1
4282991912,5cyclictest6112-21sed1
4282991912,5cyclictest505-21dbus-daemon1
4279991916,2cyclictest0-21swapper/00
4279991915,2cyclictest7140-21aten2_r9power_c0
4279991915,2cyclictest30325-21/usr/sbin/munin0
4279991915,2cyclictest11150-21/usr/sbin/munin0
4279991914,3cyclictest9-21ksoftirqd/00
4279991914,3cyclictest31997-21cat0
4279991914,3cyclictest23537-21expr0
4279991914,3cyclictest18163-21sendmail-msp0
4279991914,3cyclictest15128-21aten2_r9power_e0
4279991914,3cyclictest13736-21sh0
4279991914,3cyclictest1013-21ntp_states0
4279991913,4cyclictest6584-21cat0
4279991913,3cyclictest30054-21needreboot0
4279991912,4cyclictest0-21swapper/00
139802190,2sleep00-21swapper/00
4290991815,2cyclictest0-21swapper/33
4290991814,2cyclictest21226-21/usr/sbin/munin3
4290991813,3cyclictest4696-21cat3
4290991813,3cyclictest32461-21hostname3
4290991813,3cyclictest27447-21cat3
4290991813,3cyclictest17189-21needreboot3
4290991813,3cyclictest16057-21sshd3
4290991813,3cyclictest14867-21ntp_kernel_pll_3
4290991813,3cyclictest13096-21ls3
4290991813,3cyclictest12764-21seq3
4290991813,3cyclictest10017-21cat3
4290991812,4cyclictest27742-21cat3
4286991814,2cyclictest7115-21/usr/sbin/munin2
4286991813,3cyclictest27305-21awk2
4286991813,3cyclictest10458-21grep2
4286991813,3cyclictest10458-21grep2
4286991811,3cyclictest22818-21grep2
428699180,17cyclictest0-21swapper/22
428299189,5cyclictest25260-21apt-get1
428299183,9cyclictest9079-21apt-get1
428299183,9cyclictest9079-21apt-get1
4282991816,1cyclictest0-21swapper/11
4282991816,1cyclictest0-21swapper/11
4282991814,2cyclictest6795-21aten2_r9power_c1
4282991814,2cyclictest28328-21/usr/sbin/munin1
4282991814,2cyclictest26390-21/usr/sbin/munin1
4282991814,2cyclictest11436-21/usr/sbin/munin1
4282991813,3cyclictest9649-21cpuspeed_turbos1
4282991813,3cyclictest7115-21/usr/sbin/munin1
4282991813,3cyclictest665-21runrttasks1
4282991813,3cyclictest5567-21entropy1
4282991813,3cyclictest32324-21/usr/sbin/munin1
4282991813,3cyclictest2661-21expr1
4282991813,3cyclictest23221-21/usr/sbin/munin1
4282991813,3cyclictest13458-21expr1
4282991812,4cyclictest23631-21cat1
4282991812,4cyclictest21693-21gltestperf1
4282991812,4cyclictest19984-21date1
4282991812,4cyclictest18153-21pluginstate1
4282991812,4cyclictest17984-21cat1
428299180,16cyclictest0-21swapper/11
4279991816,1cyclictest0-21swapper/00
4279991814,2cyclictest18208-21cpu0
4279991813,3cyclictest4197-21cpuspeed_turbos0
4279991813,3cyclictest31283-21cat0
4279991813,3cyclictest25810-21ls0
4279991813,3cyclictest25262-21ntpq0
4279991813,3cyclictest21866-21cat0
4279991813,3cyclictest17460-21expr0
4279991812,4cyclictest4715-21cat0
4279991812,4cyclictest1803-21wc0
4279991812,3cyclictest8666-21cat0
4279991811,4cyclictest5865-21cat0
4290991712,3cyclictest9165-21grep3
4290991712,3cyclictest32389-21latency_hist3
4290991712,3cyclictest17373-21awk3
4290991712,3cyclictest1028-21awk3
4290991711,4cyclictest2490-21seq3
4290991711,4cyclictest1948-21seq3
428699174,11cyclictest0-21swapper/22
428699172,4cyclictest32342-21apt-get2
4286991712,3cyclictest665-21runrttasks2
4286991712,3cyclictest30127-21sh2
4286991712,3cyclictest30127-21sh2
4286991711,3cyclictest25653-21latency_hist2
428699170,16cyclictest0-21swapper/22
4282991713,2cyclictest3954-21/usr/sbin/munin1
4282991713,2cyclictest17176-21/usr/sbin/munin1
4282991712,3cyclictest27823-21cat1
4282991712,3cyclictest15195-21aten2_r9power_v1
4282991712,3cyclictest13742-21cat1
4282991711,4cyclictest18242-21date1
428299170,16cyclictest0-21swapper/11
428299170,14cyclictest18434-21aten2_r9power_c1
427999177,9cyclictest9-21ksoftirqd/00
427999176,9cyclictest17307-21aten2.4-expect0
4279991715,1cyclictest0-21swapper/00
4279991712,3cyclictest9896-21sed0
4279991712,3cyclictest9896-21sed0
4279991712,3cyclictest665-21runrttasks0
4279991712,3cyclictest665-21runrttasks0
4279991712,3cyclictest3916-21sed0
4279991712,3cyclictest32344-21grep0
4279991712,3cyclictest27990-21missed_timers0
4279991712,3cyclictest1082-21ls0
4279991711,4cyclictest9-21ksoftirqd/00
4279991711,4cyclictest20429-21wc0
427999170,16cyclictest0-21swapper/00
427999170,15cyclictest10277-21cut0
4290991614,1cyclictest0-21swapper/33
4282991611,3cyclictest505-21dbus-daemon1
4282991611,3cyclictest11664-21sed1
4279991613,1cyclictest91ksoftirqd/00
4290991511,2cyclictest6666-21latency_hist3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional