You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-05-20 - 16:47
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Mon May 20, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1497399283262,19cyclictest505-21dbus-daemon2
147412260188,24sleep00-21swapper/00
144972255187,24sleep30-21swapper/33
146672254182,24sleep20-21swapper/22
146962249209,26sleep10-21swapper/11
1496499247229,15cyclictest2082-21systemd-journal0
1497899198180,16cyclictest16916-21sh3
1496899180163,15cyclictest16917-21cron1
2417221710,4sleep21497399cyclictest2
1377621640,2sleep31497899cyclictest3
2295421260,3sleep21497399cyclictest2
155462630,2sleep30-21swapper/33
120422520,2sleep10-21swapper/11
148082430,2sleep10-21swapper/11
228222420,1sleep20-21swapper/22
1497399299,4cyclictest665-21runrttasks2
1497399294,6cyclictest28-21ksoftirqd/22
14964992911,15cyclictest10333-21gdbus0
14968992618,5cyclictest7299-21sh1
1496899260,12cyclictest24072ls1
14978992510,4cyclictest35-21ksoftirqd/33
14973992512,4cyclictest28-21ksoftirqd/22
14973992512,11cyclictest27554-21sendmail2
1497399241,5cyclictest1082-21munin-run2
1496499240,1cyclictest111rcu_preempt0
14978992319,2cyclictest35-21ksoftirqd/33
14978992315,5cyclictest27495-21idleruntime-cro3
14978992313,6cyclictest17409-21apt-get3
1497399234,17cyclictest25848-21cat2
1497399233,6cyclictest28-21ksoftirqd/22
1497399231,5cyclictest505-21dbus-daemon2
1497399231,4cyclictest31411-21munin-run2
14973992312,3cyclictest28-21ksoftirqd/22
14973992312,3cyclictest28-21ksoftirqd/22
1497399230,9cyclictest28-21ksoftirqd/22
1496899230,5cyclictest3082-21sendmail-mta1
1496499230,11cyclictest190272sort0
190232220,2sleep20-21swapper/22
14978992216,4cyclictest18680-21memory3
1497399223,17cyclictest7092-21latency_hist2
1497399223,17cyclictest17615-21cat2
1497399221,7cyclictest28-21ksoftirqd/22
14973992215,4cyclictest23496-21sendmail-mta2
1497399221,18cyclictest13127-21munin-run2
1497399220,6cyclictest3178-21systemd2
1497399220,6cyclictest28-21ksoftirqd/22
1497399220,4cyclictest28-21ksoftirqd/22
1497399220,19cyclictest27510-21sendmail-mta2
14968992215,4cyclictest32149-21df1
1496899221,18cyclictest31715-21cron1
1496499229,3cyclictest6070-21tail0
1496499223,10cyclictest9-21ksoftirqd/00
5592210,4sleep2271rcuc/22
14978992116,3cyclictest4806-21timerwakeupswit3
14978992116,3cyclictest23985-21cut3
14978992115,4cyclictest3235-21cat3
14978992115,3cyclictest8413-21swap3
14978992115,3cyclictest4255-21awk3
14978992115,3cyclictest22764-21rt-features3
14978992114,4cyclictest16753-21needreboot3
14978992114,4cyclictest13448-21sed3
14978992114,4cyclictest13276-21seq3
1497899211,17cyclictest30985-21grep3
1497899210,20cyclictest0-21swapper/33
1497399219,10cyclictest28-21ksoftirqd/22
1497399213,5cyclictest0-21swapper/22
1497399212,17cyclictest5364-21cat2
1497399212,17cyclictest3272-21cat2
1497399212,17cyclictest25557-21cat2
1497399212,17cyclictest25557-21cat2
1497399211,7cyclictest28-21ksoftirqd/22
1497399211,6cyclictest28-21ksoftirqd/22
1497399211,6cyclictest0-21swapper/22
14973992115,4cyclictest31887-21ls2
14973992115,4cyclictest29689-21sed2
14973992115,4cyclictest16276-21cut2
1497399211,4cyclictest2082-21systemd-journal2
1497399211,3cyclictest15679-21munin-run2
1497399211,18cyclictest11089-1kworker/2:2H2
1497399211,18cyclictest10333-21gdbus2
1497399210,6cyclictest28-21ksoftirqd/22
1497399210,3cyclictest8321-21df_inode2
1497399210,18cyclictest11089-1kworker/2:2H2
14968992116,3cyclictest7337-21/usr/sbin/munin1
14968992115,4cyclictest29345-21seq1
14968992115,4cyclictest23481-21seq1
14968992115,4cyclictest18183-21ls1
14968992114,4cyclictest13682-21basename1
1496899210,19cyclictest31843-21kworker/1:11
14964992116,3cyclictest17390-21/usr/sbin/munin0
14964992115,3cyclictest26459-21missed_timers0
1496499210,2cyclictest3094-21apt-key0
140572210,2sleep10-21swapper/11
14978992015,3cyclictest9801-21gltestperf3
14978992015,3cyclictest6434-21cat3
14978992015,3cyclictest25714-21cut3
14978992015,3cyclictest12633-21latency3
14978992014,4cyclictest9803-21date3
14978992014,4cyclictest29615-21cat3
14978992014,4cyclictest23729-21cat3
14978992014,4cyclictest16253-21cat3
14978992014,3cyclictest19468-21cut3
14978992013,4cyclictest15613-21cat3
14978992013,4cyclictest14981-21swap3
14978992013,4cyclictest13718-21grep3
1497399202,9cyclictest28-21ksoftirqd/22
1497399202,6cyclictest28-21ksoftirqd/22
1497399202,5cyclictest0-21swapper/22
1497399202,5cyclictest0-21swapper/22
1497399201,7cyclictest28-21ksoftirqd/22
1497399201,6cyclictest28-21ksoftirqd/22
1497399201,6cyclictest28-21ksoftirqd/22
1497399201,6cyclictest28-21ksoftirqd/22
1497399201,6cyclictest28-21ksoftirqd/22
14973992014,4cyclictest7340-21find2
1497399201,16cyclictest27407-21munin-run2
1497399201,10cyclictest28-21ksoftirqd/22
1497399200,7cyclictest28-21ksoftirqd/22
1497399200,6cyclictest28-21ksoftirqd/22
1497399200,6cyclictest28-21ksoftirqd/22
1497399200,6cyclictest28-21ksoftirqd/22
1497399200,18cyclictest3091-21perf2
14968992015,3cyclictest3603-21/usr/sbin/munin1
14968992015,3cyclictest28778-21sed1
14968992015,3cyclictest19730-21find1
14968992015,3cyclictest15068-21seq1
14968992015,3cyclictest11379-21sendmail1
14968992014,4cyclictest31964-21seq1
14968992014,4cyclictest29488-21turbostat.cron1
14968992014,4cyclictest27159-21seq1
14968992013,4cyclictest8775-21sh1
14968992013,4cyclictest17277-21df1
14968992012,5cyclictest32514-21cat1
14968992011,6cyclictest5361-21apt-get1
14964992016,2cyclictest31716-21/usr/sbin/munin0
14964992014,4cyclictest31058-21sed0
14964992014,4cyclictest15321-21cron0
208272190,2sleep10-21swapper/11
1497899197,3cyclictest316182latency_hist3
14978991916,2cyclictest0-21swapper/33
14978991916,2cyclictest0-21swapper/33
14978991915,2cyclictest29962-21/usr/sbin/munin3
14978991915,2cyclictest29767-21/usr/sbin/munin3
14978991914,3cyclictest32552-21cat3
14978991914,3cyclictest25949-21/usr/sbin/munin3
14978991914,3cyclictest25458-21munin-plugin-st3
14978991914,3cyclictest25458-21munin-plugin-st3
14978991914,3cyclictest21586-21sed3
14978991913,4cyclictest6483-21ntpq3
14978991913,4cyclictest27755-21date3
14978991913,4cyclictest22398-21df3
14978991913,3cyclictest21426-21dump-pmu-power3
14978991913,3cyclictest16279-21cut3
14978991912,4cyclictest29581-21cat3
1497399191,7cyclictest28-21ksoftirqd/22
1497399191,6cyclictest28-21ksoftirqd/22
1497399191,5cyclictest0-21swapper/22
1497399190,6cyclictest28-21ksoftirqd/22
1496899199,6cyclictest21731-21apt-get1
14968991915,2cyclictest29653-21/usr/sbin/munin1
14968991915,2cyclictest25949-21/usr/sbin/munin1
14968991915,2cyclictest21641-21/usr/sbin/munin1
14968991915,2cyclictest15927-21/usr/sbin/munin1
14968991915,2cyclictest15581-21/usr/sbin/munin1
14968991914,3cyclictest9876-21/usr/sbin/munin1
14968991914,3cyclictest4688-21find1
14968991914,3cyclictest29713-21/usr/sbin/munin1
14968991914,3cyclictest24177-21ls1
14968991914,3cyclictest23962-21/usr/sbin/munin1
14968991914,3cyclictest13798-21df1
14968991913,4cyclictest9897-21ls1
14968991913,4cyclictest27561-21cat1
14968991913,4cyclictest24944-21ls1
14968991913,4cyclictest24944-21ls1
14968991912,4cyclictest5968-21expr1
1496899190,6cyclictest0-21swapper/11
1496899190,4cyclictest3030-21sh1
1496499197,9cyclictest0-21swapper/00
14964991916,2cyclictest0-21swapper/00
14964991915,3cyclictest22155-21df_inode0
14964991915,2cyclictest25754-21/usr/sbin/munin0
14964991915,2cyclictest25635-21/usr/sbin/munin0
14964991914,3cyclictest9337-21/usr/sbin/munin0
14964991914,3cyclictest5822-21expr0
14964991914,3cyclictest4380-21sed0
14964991914,3cyclictest32065-21aten2_r9power_p0
14964991914,3cyclictest30848-21sed0
14964991914,3cyclictest26471-21sed0
14964991914,3cyclictest23687-21aten2_r9power_c0
14964991914,3cyclictest20580-21missed_timers0
14964991914,3cyclictest20569-21ntp_states0
14964991914,3cyclictest1057-21sed0
14964991913,4cyclictest9847-21cpuspeed_turbos0
14964991913,4cyclictest665-21runrttasks0
14964991913,4cyclictest665-21runrttasks0
14964991913,4cyclictest27736-21apt0
14964991913,3cyclictest2082-21systemd-journal0
14964991912,4cyclictest19526-21idleruntime-cro0
14964991910,7cyclictest12845-21unixbench-2d0
14978991814,2cyclictest29371-21users3
14978991814,2cyclictest19168-21apt-get3
14978991813,3cyclictest8038-21diskstats3
14978991813,3cyclictest7981-21df3
14978991813,3cyclictest3749-21cpuspeed3
14978991813,3cyclictest1077-21cron3
14978991813,3cyclictest10251-21expr3
14978991812,3cyclictest26126-21gltestperf3
14978991811,4cyclictest10354-21cat3
1497899180,16cyclictest0-21swapper/33
1496899183,9cyclictest11586-21apt-get1
14968991814,2cyclictest9337-21/usr/sbin/munin1
14968991814,2cyclictest19963-21/usr/sbin/munin1
14968991814,2cyclictest15639-21/usr/sbin/munin1
14968991814,2cyclictest15381-21/usr/sbin/munin1
14968991813,3cyclictest7590-21/usr/sbin/munin1
14968991813,3cyclictest25635-21/usr/sbin/munin1
14968991813,3cyclictest2083-21basename1
14968991813,3cyclictest12206-21if_enp2s01
14968991812,4cyclictest8907-21grep1
14968991812,4cyclictest4819-21cat1
14968991812,4cyclictest17786-21expr1
14968991812,4cyclictest1165-21cat1
14968991811,4cyclictest17965-21cut1
1496899180,16cyclictest0-21swapper/11
1496499181,9cyclictest9-21ksoftirqd/00
14964991816,1cyclictest0-21swapper/00
14964991816,1cyclictest0-21swapper/00
14964991814,2cyclictest3603-21/usr/sbin/munin0
14964991813,3cyclictest9265-21sed0
14964991813,3cyclictest8471-21cat0
14964991813,3cyclictest665-21runrttasks0
14964991813,3cyclictest28695-21snmpd0
14964991813,3cyclictest25071-21awk0
14964991813,3cyclictest25071-21awk0
14964991813,3cyclictest23454-21sed0
14964991813,3cyclictest17206-21sed0
14964991813,3cyclictest14513-21cat0
14964991812,4cyclictest9439-21cat0
14964991812,4cyclictest5907-21tr0
14964991812,4cyclictest1794-21gltestperf0
14964991812,4cyclictest12384-21memory0
1496499181,15cyclictest18400-21head0
14978991715,1cyclictest0-21swapper/33
14978991713,2cyclictest3574-21/usr/sbin/munin3
14978991713,2cyclictest24664-21ntp_states3
14978991712,3cyclictest22709-21swap3
14978991712,3cyclictest17464-21kernelversion3
14978991711,4cyclictest35-21ksoftirqd/33
14978991710,4cyclictest29708-21cat3
14968991713,2cyclictest19749-21aten2_r9power_p1
14968991712,3cyclictest30691-21open_inodes1
14968991712,3cyclictest25009-21grep1
14968991711,3cyclictest18336-21latency1
1496499177,2cyclictest111rcu_preempt0
1496499172,8cyclictest9609-21apt-get0
14964991712,3cyclictest9-21ksoftirqd/00
14964991712,3cyclictest28695-21snmpd0
14964991712,3cyclictest19688-21gdbus0
14964991712,3cyclictest13855-21sort0
14964991712,3cyclictest10094-21cat0
14964991711,4cyclictest21747-21date0
14964991711,4cyclictest17520-21sed0
1497899168,4cyclictest1541-21apt-get3
1497899163,8cyclictest31991-21apt-get3
14978991611,3cyclictest6113-21ls3
14968991611,3cyclictest3705-21ls1
1496499163,7cyclictest29982-21apt-get0
14964991611,3cyclictest3599-21cat0
14964991611,3cyclictest12001-21if_err_enp3s00
14964991610,3cyclictest7584-21aten2_r9power_c0
1496499160,1cyclictest0-21swapper/00
14964991510,3cyclictest16393-21gltestperf0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional