You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-10-09 - 06:22
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Wed Oct 09, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1095099282276,4cyclictest12838-21sh3
1094199260253,4cyclictest12849-21latency_hist1
104492258179,42sleep20-21swapper/22
106972246180,38sleep10-21swapper/11
106892232194,25sleep30-21swapper/33
106412230192,25sleep00-21swapper/00
1093699225219,4cyclictest12847-21apt0
1094699123117,4cyclictest12845-21turbostat2
292412530,1sleep10-21swapper/11
210702500,2sleep10-21swapper/11
308542470,4sleep00-21swapper/00
1093699460,21cyclictest24510-21date0
215372440,3sleep20-21swapper/22
1093699440,19cyclictest1388-21cut0
1093699440,19cyclictest1388-21cut0
145452410,1sleep30-21swapper/33
1093699411,26cyclictest0-21swapper/00
1093699381,23cyclictest8771-21pmu-power0
1093699381,18cyclictest1235-21ntp_states0
85622360,2sleep3341rcuc/33
1093699360,21cyclictest8819-21cat0
1093699340,18cyclictest0-21swapper/00
1093699340,18cyclictest0-21swapper/00
1093699340,18cyclictest0-21swapper/00
10936993216,14cyclictest29880-21cat0
10936993214,16cyclictest29640-21seq0
10936993214,15cyclictest5442-21grep0
10936993115,14cyclictest26365-21cat0
10936992913,14cyclictest30386-21seq0
10936992912,14cyclictest6678-21cat0
10936992912,14cyclictest25004-21grep0
117642280,1sleep30-21swapper/33
1093699281,24cyclictest20690-21rt-features0
10936992812,14cyclictest16947-21head0
1093699280,18cyclictest13494-21munin-node0
1093699280,14cyclictest0-21swapper/00
1093699279,15cyclictest14710-21cat0
1093699271,23cyclictest5817-21cron0
1093699271,23cyclictest23509-21latency_hist0
1093699271,23cyclictest13694-21aten2_r9power_e0
10936992711,13cyclictest2832-21cat0
10936992711,13cyclictest25324-21cut0
133852260,13sleep228-21ksoftirqd/22
1093699269,14cyclictest28807-21grep0
1093699269,14cyclictest16122-21cat0
1093699268,15cyclictest19017-21sed0
10936992613,11cyclictest665-21runrttasks0
10936992613,11cyclictest665-21runrttasks0
10936992613,11cyclictest665-21runrttasks0
1093699261,22cyclictest26932-21df_inode0
1093699261,22cyclictest13530-21latency_hist0
10936992611,13cyclictest6571-21cat0
10936992611,13cyclictest20301-21cat0
10936992610,13cyclictest3425-21date0
10941992516,5cyclictest12764-21idleruntime-cro1
1093699259,14cyclictest27903-21cat0
1093699258,15cyclictest6093-21hostname0
1093699258,14cyclictest31693-21aten2_r9power_c0
1093699258,14cyclictest31693-21aten2_r9power_c0
1093699251,21cyclictest13481-21head0
1093699251,21cyclictest13481-21head0
10936992510,12cyclictest23572-21switchtime0
1093699250,22cyclictest10999-21dpkg0
1093699249,12cyclictest10114-21test0
1093699245,17cyclictest21855-21sed0
10936992412,10cyclictest1812-21latency_hist0
1093699241,20cyclictest505-21dbus-daemon0
1093699241,20cyclictest505-21dbus-daemon0
1093699241,20cyclictest18283-21/usr/sbin/munin0
1093699241,20cyclictest10426-21/usr/sbin/munin0
1093699241,18cyclictest12110-21apt-get0
1093699240,22cyclictest23399-21vmstat0
1093699240,21cyclictest8658-21/usr/sbin/munin0
1093699240,21cyclictest7074-21df_inode0
1093699240,21cyclictest18546-21open_files0
1093699240,21cyclictest0-21swapper/00
48462230,1sleep20-21swapper/22
1094699239,3cyclictest28-21ksoftirqd/22
1094699233,17cyclictest5329-21latency_hist2
1094699233,17cyclictest22169-21latency_hist2
10946992316,4cyclictest28186-21cut2
1094699231,18cyclictest20034-21apt-get2
1094199232,18cyclictest24166-21cron1
1093699231,20cyclictest3007-21cstates0
1093699231,19cyclictest8449-21cat0
1093699231,19cyclictest30078-21/usr/sbin/munin0
1093699231,19cyclictest15670-21/usr/sbin/munin0
1093699231,19cyclictest15670-21/usr/sbin/munin0
1093699230,20cyclictest5584-21cat0
1093699230,20cyclictest21450-21taskset0
1093699230,20cyclictest16594-21aten2_r9power_p0
97462220,3sleep30-21swapper/33
1095099222,17cyclictest18265-21sh3
10950992216,4cyclictest16717-21cut3
1094699224,16cyclictest20366-21cat2
1094699223,17cyclictest7500-21cat2
1094699221,3cyclictest28244-21munin-run2
1094199228,11cyclictest0-21swapper/11
1094199222,17cyclictest2032-21grep1
1093699221,19cyclictest12309-21head0
1093699221,18cyclictest25658-21chrt0
10950992116,3cyclictest15450-21sendmail3
1095099211,17cyclictest19938-21cut3
1094699212,17cyclictest12132-21cat2
10946992116,3cyclictest5271-21idleruntime-cro2
10946992116,3cyclictest20409-21sed2
10946992116,3cyclictest17290-21ntpq2
10946992115,3cyclictest15879-21sh2
10946992114,4cyclictest7822-21idleruntime-cro2
1094699211,3cyclictest9404-1kworker/2:2H2
1094699211,2cyclictest10998-21apt-get2
1094699211,18cyclictest27265-1kworker/2:0H2
1094699211,17cyclictest5796-1kworker/2:2H2
1094199213,10cyclictest29643-21apt-get1
10941992116,3cyclictest28641-21cpu1
10941992115,4cyclictest21-21ksoftirqd/11
10941992113,5cyclictest23237-21wc1
287522201,5sleep127496-1kworker/1:2H1
10950992015,3cyclictest782-21diskstats3
10950992015,3cyclictest5398-21missed_timers3
10950992015,3cyclictest1576-21aten2_r9power_e3
10950992015,3cyclictest10326-21ls3
10950992014,4cyclictest32417-21date3
10950992014,4cyclictest32417-21date3
10950992014,4cyclictest31151-21sh3
10950992014,4cyclictest18138-21df3
10950992014,4cyclictest16372-21vmstat3
10950992013,4cyclictest2082-21systemd-journal3
1094699201,6cyclictest8091-21apt-get2
10946992016,2cyclictest27626-21ntp_states2
10946992015,3cyclictest3469-21cut2
10946992015,3cyclictest27886-21wc2
10946992015,3cyclictest24179-21apt-get2
10946992015,3cyclictest14363-21uptime2
10946992015,3cyclictest14363-21uptime2
1094699201,4cyclictest28784-21chrt2
10946992014,4cyclictest6247-21df_inode2
10946992014,3cyclictest2082-21systemd-journal2
10946992013,4cyclictest32281-21sendmail2
10946992013,4cyclictest32281-21sendmail2
10946992013,4cyclictest2082-21systemd-journal2
1094699201,17cyclictest16744-21munin-run2
1094699200,3cyclictest5796-1kworker/2:2H2
1094699200,3cyclictest5796-1kworker/2:2H2
1094699200,3cyclictest2082-21systemd-journal2
1094699200,2cyclictest2180-21apt-key2
1094699200,19cyclictest0-21swapper/22
1094699200,18cyclictest9404-1kworker/2:2H2
1094699200,18cyclictest8443-21awk2
1094699200,18cyclictest31315-21seq2
1094199202,11cyclictest17726-21apt-get1
10941992015,3cyclictest7530-21sed1
10941992015,3cyclictest31377-21interrupts1
10941992014,4cyclictest3511-21/usr/sbin/munin1
10941992014,4cyclictest27543-21date1
10941992014,4cyclictest1891-21seq1
10941992014,4cyclictest13754-21seq1
10941992013,4cyclictest3626-21seq1
10941992013,4cyclictest32234-21cron1
10941992013,4cyclictest32234-21cron1
10941992013,4cyclictest20348-21cat1
1094199201,16cyclictest9879-21apt-key1
1094199200,17cyclictest31375-21sed1
1095099199,5cyclictest245222chrt3
10950991915,2cyclictest18519-21ntp_offset3
10950991914,3cyclictest26839-21needreboot3
10950991914,3cyclictest20505-21sh3
10950991914,3cyclictest19346-21ntpq3
10950991913,4cyclictest2398-21cat3
10950991912,4cyclictest24458-21cat3
10950991910,5cyclictest30027-21apt-get3
1095099190,17cyclictest1830-21basename3
1095099190,17cyclictest0-21swapper/33
1095099190,16cyclictest14355-21cut3
1094699196,11cyclictest0-21swapper/22
10946991915,2cyclictest24518-21gltestperf2
10946991915,2cyclictest20241-21latency_hist2
10946991915,2cyclictest1280-21apt-config2
10946991915,2cyclictest0-21swapper/22
10946991914,3cyclictest32507-21/usr/sbin/munin2
10946991914,3cyclictest2943-21ntp_states2
10946991913,4cyclictest4993-21cat2
10946991913,4cyclictest23374-21cron2
10946991912,5cyclictest24276-21tr2
10946991912,4cyclictest28044-21cut2
1094699191,16cyclictest10542-21cat2
1094699190,4cyclictest2082-21systemd-journal2
1094699190,4cyclictest17390-21cron2
1094699190,4cyclictest17390-21cron2
1094699190,3cyclictest24194-21turbostat2
1094699190,2cyclictest13757-21aten2.4-expect2
1094699190,17cyclictest16512-21apt-get2
1094199193,9cyclictest26511-21apt-get1
1094199192,15cyclictest13840-21cron1
10941991916,2cyclictest0-21swapper/11
10941991915,2cyclictest21626-21/usr/sbin/munin1
10941991914,3cyclictest668-21cat1
10941991914,3cyclictest4049-21seq1
10941991914,3cyclictest18422-21/usr/sbin/munin1
10941991914,3cyclictest17631-21/usr/sbin/munin1
10941991914,3cyclictest15645-21/usr/sbin/munin1
10941991914,3cyclictest15645-21/usr/sbin/munin1
10941991914,3cyclictest14157-21/usr/sbin/munin1
10941991914,3cyclictest12122-21gltestperf1
10941991914,3cyclictest10067-21/usr/sbin/munin1
10941991912,4cyclictest624-21seq1
10941991912,4cyclictest624-21seq1
10941991912,4cyclictest505-21dbus-daemon1
10941991912,4cyclictest24793-21cpuspeed_turbos1
10941991911,5cyclictest505-21dbus-daemon1
280772180,3sleep30-21swapper/33
1095099189,5cyclictest6653-21apt-get3
10950991816,1cyclictest0-21swapper/33
10950991816,1cyclictest0-21swapper/33
10950991816,1cyclictest0-21swapper/33
10950991816,1cyclictest0-21swapper/33
10950991816,1cyclictest0-21swapper/33
10950991816,1cyclictest0-21swapper/33
10950991816,1cyclictest0-21swapper/33
10950991816,1cyclictest0-21swapper/33
10950991814,2cyclictest8658-21/usr/sbin/munin3
10950991814,2cyclictest28836-21needreboot3
10950991814,2cyclictest15779-21aten2_r9power_v3
10950991814,2cyclictest15779-21aten2_r9power_v3
10950991814,2cyclictest12431-21cstates3
10950991813,3cyclictest8312-21expr3
10950991813,3cyclictest6638-21awk3
10950991813,3cyclictest5383-21unixbench_singl3
10950991813,3cyclictest3738-21grep3
10950991813,3cyclictest2980-21pluginstate3
10950991813,3cyclictest28740-21cat3
10950991813,3cyclictest25833-21switchtime3
10950991813,3cyclictest23286-21ntpq3
10950991812,4cyclictest18489-21cut3
10950991812,4cyclictest17059-21grep3
10950991812,3cyclictest6712-21sh3
10950991812,3cyclictest28492-21sh3
10946991813,3cyclictest551-21grep2
10946991813,3cyclictest15938-21cat2
10946991811,4cyclictest22054-21aten2.4-expect2
1094699180,3cyclictest26258-21munin-run2
1094199184,8cyclictest24757-21apt-get1
1094199184,8cyclictest22025-21apt-get1
1094199184,7cyclictest18505-21apt-get1
1094199183,8cyclictest27656-21apt-get1
1094199182,9cyclictest9611-21apt-get1
10941991814,2cyclictest3582-21/usr/sbin/munin1
10941991814,2cyclictest20016-21/usr/sbin/munin1
10941991813,3cyclictest8658-21/usr/sbin/munin1
10941991813,3cyclictest665-21runrttasks1
10941991813,3cyclictest543-21awk1
10941991813,3cyclictest543-21awk1
10941991813,3cyclictest4640-21/usr/sbin/munin1
10941991813,3cyclictest28281-21seq1
10941991813,3cyclictest20421-21/usr/sbin/munin1
10941991813,3cyclictest16491-21sed1
10941991813,3cyclictest15433-21awk1
10941991813,3cyclictest13445-21awk1
10941991813,3cyclictest13445-21awk1
10941991813,3cyclictest11012-21awk1
10941991812,4cyclictest13162-21sed1
10941991812,3cyclictest24331-21latency1
146712170,1sleep30-21swapper/33
10950991715,1cyclictest0-21swapper/33
10950991715,1cyclictest0-21swapper/33
10950991715,1cyclictest0-21swapper/33
10950991715,1cyclictest0-21swapper/33
10950991713,2cyclictest21626-21/usr/sbin/munin3
10950991712,3cyclictest32084-21sh3
10950991712,3cyclictest32084-21sh3
10950991712,3cyclictest24466-21df_inode3
10950991712,3cyclictest23379-21latency_hist3
10950991712,3cyclictest22354-21cat3
10950991712,3cyclictest10035-21sort3
10950991711,4cyclictest30315-21date3
1094699175,2cyclictest271rcuc/22
1094699172,12cyclictest25957-21grep2
10946991710,5cyclictest8265-21df2
1094699170,16cyclictest0-21swapper/22
1094699170,16cyclictest0-21swapper/22
1094199178,7cyclictest0-21swapper/11
1094199173,8cyclictest13634-21apt-get1
10941991715,1cyclictest0-21swapper/11
10941991713,2cyclictest268892sleep11
10941991712,3cyclictest4058-21/usr/sbin/munin1
10941991710,4cyclictest21-21ksoftirqd/11
10950991614,1cyclictest0-21swapper/33
1094199152,8cyclictest1596-21apt-get1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional