You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-11 - 14:08
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Nov 11, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
31352275240,22sleep20-21swapper/22
33802263189,26sleep10-21swapper/11
33222259179,52sleep00-21swapper/00
359999253249,2cyclictest0-21swapper/33
32992244208,24sleep30-21swapper/33
359499217212,3cyclictest0-21swapper/22
359199205199,4cyclictest22092-21strings1
1897721660,2sleep10-21swapper/11
358999158154,2cyclictest0-21swapper/00
3599994912,23cyclictest7285-21sed3
204092450,3sleep20-21swapper/22
31742400,4sleep13177-21cpu1
3599993617,9cyclictest0-21swapper/33
3599993613,21cyclictest8096-21cat3
56232340,2sleep00-21swapper/00
3599993414,17cyclictest1663-21date3
3599993413,18cyclictest16150-21sed3
3599993412,19cyclictest27443-21basename3
359499313,5cyclictest28-21ksoftirqd/22
3599993011,17cyclictest23484-21cut3
3599993011,16cyclictest5177-21uptime3
3599993011,16cyclictest31945-21dump-pmu-power3
3589993025,3cyclictest17807-21aten2_r9power_v0
359999299,17cyclictest95522chrt3
359999293,9cyclictest15244-21apt-get3
3599992910,16cyclictest20927-21cpuspeed3
359999290,15cyclictest11722-21cron3
359499297,16cyclictest28-21ksoftirqd/22
359999289,3cyclictest32082-21if_enp3s03
359999289,3cyclictest19781-21expr3
359999288,3cyclictest14695-21cpu3
359999287,5cyclictest10333-21gdbus3
359999282,4cyclictest0-21swapper/33
359499280,6cyclictest28-21ksoftirqd/22
164362280,11sleep335-21ksoftirqd/33
359999279,2cyclictest0-21swapper/33
359999275,6cyclictest0-21swapper/33
359999272,7cyclictest26123-21apt-get3
359999272,4cyclictest0-21swapper/33
359999271,7cyclictest8879-21munin-run3
359999271,6cyclictest2253-21munin-run3
359999271,4cyclictest0-21swapper/33
3599992710,14cyclictest19100-21apt-key3
3594992724,2cyclictest271rcuc/22
3594992713,12cyclictest28-21ksoftirqd/22
359999269,14cyclictest24282chrt3
359999268,15cyclictest0-21swapper/33
359999267,3cyclictest3289-21grep3
359999262,8cyclictest30904-21apt-get3
359999262,8cyclictest24772-21apt-get3
359999262,5cyclictest0-21swapper/33
359999262,4cyclictest0-21swapper/33
359999261,8cyclictest16919-21apt-get3
359999261,5cyclictest4914-21apt-get3
359999261,5cyclictest14298-21munin-run3
359999261,4cyclictest0-21swapper/33
3594992622,3cyclictest271rcuc/22
3594992622,2cyclictest271rcuc/22
3594992621,3cyclictest271rcuc/22
359999258,3cyclictest505-21dbus-daemon3
359999257,3cyclictest11031-21ls3
359999257,3cyclictest11031-21ls3
359999252,5cyclictest17304-21apt-get3
359999252,4cyclictest26851-21apt-get3
359999252,3cyclictest0-21swapper/33
359999252,3cyclictest0-21swapper/33
359999251,6cyclictest31164-21apt3
359999251,6cyclictest24075-21apt-get3
359999251,6cyclictest1779-21/usr/sbin/munin3
359999251,6cyclictest15402-21sleep3
359999251,5cyclictest19458-21munin-run3
359999251,4cyclictest0-21swapper/33
359499255,7cyclictest28-21ksoftirqd/22
359499255,7cyclictest28-21ksoftirqd/22
359499255,10cyclictest28-21ksoftirqd/22
3594992521,3cyclictest271rcuc/22
3594992521,3cyclictest271rcuc/22
263132250,1sleep10-21swapper/11
359999246,2cyclictest129202chrt3
359999245,3cyclictest21537-21sed3
359999242,4cyclictest505-21dbus-daemon3
359999242,4cyclictest19323-21apt-get3
359999242,4cyclictest11978-21apt-get3
359999241,6cyclictest6664-21awk3
359999241,6cyclictest23123-21ls3
359999241,5cyclictest10333-21gdbus3
359999241,5cyclictest10333-21gdbus3
359499245,9cyclictest28-21ksoftirqd/22
359499244,7cyclictest28-21ksoftirqd/22
359499244,7cyclictest28-21ksoftirqd/22
359499244,17cyclictest17111-21cat2
3594992420,3cyclictest271rcuc/22
3594992415,2cyclictest28-21ksoftirqd/22
3594992410,5cyclictest111rcu_preempt2
359199245,4cyclictest21-21ksoftirqd/11
359199242,4cyclictest21-21ksoftirqd/11
3591992417,2cyclictest21-21ksoftirqd/11
3591992414,3cyclictest21-21ksoftirqd/11
3591992412,7cyclictest17700-21apt-get1
359999237,3cyclictest13987-21missed_timers3
359999237,3cyclictest13987-21missed_timers3
359999231,6cyclictest30005-21head3
359999231,5cyclictest27103-21munin-run3
359999231,5cyclictest23833-21latency_hist3
359999231,5cyclictest2082-21systemd-journal3
359999231,4cyclictest505-21dbus-daemon3
359999231,4cyclictest4828-21turbostat.cron3
359499239,5cyclictest111rcu_preempt2
359499236,2cyclictest111rcu_preempt2
359499233,9cyclictest447-21runrttasks2
359499233,9cyclictest28-21ksoftirqd/22
359499233,9cyclictest28-21ksoftirqd/22
359499233,7cyclictest28-21ksoftirqd/22
359499232,6cyclictest16092-21apt-get2
3594992319,2cyclictest271rcuc/22
359499231,19cyclictest9265-21munin-run2
359499231,18cyclictest2871-21munin-run2
3594992310,11cyclictest28-21ksoftirqd/22
359199233,8cyclictest21-21ksoftirqd/11
359199233,4cyclictest21-21ksoftirqd/11
359199232,4cyclictest21-21ksoftirqd/11
359199230,4cyclictest21-21ksoftirqd/11
3589992316,4cyclictest1511-21sh0
359499224,9cyclictest28-21ksoftirqd/22
359499224,9cyclictest28-21ksoftirqd/22
359499224,8cyclictest28-21ksoftirqd/22
359499224,10cyclictest28-21ksoftirqd/22
359499223,7cyclictest28-21ksoftirqd/22
359499223,17cyclictest32654-21cat2
359499222,9cyclictest28-21ksoftirqd/22
359499222,7cyclictest28-21ksoftirqd/22
359499222,6cyclictest28-21ksoftirqd/22
3594992218,3cyclictest271rcuc/22
3594992218,2cyclictest271rcuc/22
3594992218,2cyclictest271rcuc/22
3594992217,3cyclictest271rcuc/22
3594992215,4cyclictest8317-21diskstats2
3594992215,4cyclictest4049-21cpuspeed2
3594992211,2cyclictest111rcu_preempt2
359499220,8cyclictest28-21ksoftirqd/22
359499220,4cyclictest18785-21dpkg2
3591992215,4cyclictest17102-21sort1
3591992212,3cyclictest21-21ksoftirqd/11
3591992212,3cyclictest21-21ksoftirqd/11
359999216,2cyclictest24213-21taskset3
359499217,4cyclictest111rcu_preempt2
359499213,9cyclictest28-21ksoftirqd/22
359499213,9cyclictest28-21ksoftirqd/22
359499213,9cyclictest28-21ksoftirqd/22
3594992118,2cyclictest271rcuc/22
3594992117,3cyclictest271rcuc/22
359499211,5cyclictest0-21swapper/22
3594992115,4cyclictest21014-21munin-run2
3594992115,3cyclictest18367-21latency2
3594992110,2cyclictest28-21ksoftirqd/22
3594992110,2cyclictest111rcu_preempt2
359499210,6cyclictest28-21ksoftirqd/22
359499210,6cyclictest28-21ksoftirqd/22
359199219,3cyclictest21-21ksoftirqd/11
359199212,4cyclictest21-21ksoftirqd/11
3591992116,3cyclictest201rcuc/11
359199211,5cyclictest21-21ksoftirqd/11
359199211,5cyclictest0-21swapper/11
3591992115,4cyclictest22494-21idleruntime-cro1
359199211,4cyclictest21-21ksoftirqd/11
3591992114,4cyclictest22606-21ntp_offset1
3589992116,3cyclictest1086-21/usr/sbin/munin0
3589992115,4cyclictest15750-21seq0
251042210,3sleep00-21swapper/00
359499204,8cyclictest28-21ksoftirqd/22
359499203,6cyclictest28-21ksoftirqd/22
359499201,6cyclictest0-21swapper/22
3594992016,2cyclictest271rcuc/22
359499200,7cyclictest28-21ksoftirqd/22
359199208,3cyclictest21-21ksoftirqd/11
359199202,4cyclictest21-21ksoftirqd/11
359199202,10cyclictest28272-21cupsd1
3591992015,3cyclictest9507-21sendmail_mailst1
3591992015,3cyclictest21332-21/usr/sbin/munin1
3591992015,3cyclictest15429-21ntp_states1
3591992014,4cyclictest8589-21sed1
3591992014,4cyclictest3602-21basename1
359199201,3cyclictest21-21ksoftirqd/11
3591992013,4cyclictest19060-21cron1
3591992011,2cyclictest21-21ksoftirqd/11
3591992011,2cyclictest21-21ksoftirqd/11
3591992010,3cyclictest21-21ksoftirqd/11
3591992010,2cyclictest21-21ksoftirqd/11
359199200,4cyclictest21-21ksoftirqd/11
3589992016,2cyclictest9548-21apt0
3589992015,3cyclictest7918-21diskstats0
3589992015,3cyclictest5936-21aten2_r9power_p0
3589992015,3cyclictest30999-21sh0
3589992015,3cyclictest20983-21seq0
3589992015,3cyclictest17277-21expr0
3589992014,4cyclictest7055-21seq0
3589992014,4cyclictest10996-21sed0
233942200,1sleep00-21swapper/00
3594991912,4cyclictest30187-21cat2
359199199,3cyclictest21-21ksoftirqd/11
359199199,2cyclictest21-21ksoftirqd/11
359199198,3cyclictest21-21ksoftirqd/11
359199196,2cyclictest111rcu_preempt1
359199193,9cyclictest6907-21apt-get1
359199191,6cyclictest0-21swapper/11
359199191,5cyclictest0-21swapper/11
359199191,5cyclictest0-21swapper/11
3591991915,2cyclictest31015-21aten2_r9power_v1
3591991915,2cyclictest2157-21threads1
3591991914,3cyclictest7638-21idleruntime-cro1
3591991914,3cyclictest5438-21seq1
3591991914,3cyclictest32173-21/usr/sbin/munin1
3591991914,3cyclictest17055-21df1
3591991913,4cyclictest369-21seq1
3591991913,4cyclictest1319-21awk1
3591991912,4cyclictest16086-21latency_hist1
3591991912,4cyclictest14787-21wc1
3591991911,3cyclictest21-21ksoftirqd/11
3591991911,3cyclictest21-21ksoftirqd/11
3591991911,2cyclictest21-21ksoftirqd/11
358999192,15cyclictest8286-21sed0
3589991915,3cyclictest9-21ksoftirqd/00
3589991915,2cyclictest27374-21aten2_r9power_c0
3589991915,2cyclictest27374-21aten2_r9power_c0
3589991914,3cyclictest3569-21cron0
3589991914,3cyclictest24487-21sh0
3589991914,3cyclictest19323-21seq0
3589991914,3cyclictest17685-21expr0
3589991914,3cyclictest13346-21munin-plugin-st0
3589991914,3cyclictest11371-21seq0
3589991913,4cyclictest7914-21seq0
3589991913,4cyclictest32247-21ls0
3589991913,4cyclictest31203-21date0
3589991913,4cyclictest30509-21expr0
3589991913,4cyclictest29625-21ls0
3589991913,4cyclictest28718-21grep0
3589991913,4cyclictest25995-21cat0
3589991913,4cyclictest18596-21cut0
3589991913,4cyclictest16305-21tr0
3589991913,4cyclictest14178-21cat0
3589991913,3cyclictest19742-21sh0
3589991912,4cyclictest20820-21cut0
3589991910,5cyclictest22749-21apt-get0
359199183,9cyclictest9236-21apt-get1
359199183,5cyclictest25441-21aten2_r9power_c1
359199181,9cyclictest111rcu_preempt1
359199181,9cyclictest111rcu_preempt1
359199181,5cyclictest0-21swapper/11
3591991814,2cyclictest9530-21/usr/sbin/munin1
3591991813,3cyclictest32359-21ntp_offset1
3589991814,2cyclictest26832-21/usr/sbin/munin0
3589991814,2cyclictest25320-21/usr/sbin/munin0
3589991814,2cyclictest15622-21/usr/sbin/munin0
3589991814,2cyclictest13203-21/usr/sbin/munin0
3589991814,2cyclictest13203-21/usr/sbin/munin0
3589991813,3cyclictest9569-21seq0
3589991813,3cyclictest7706-21if_err_enp2s00
3589991813,3cyclictest5373-21seq0
3589991813,3cyclictest5326-21ls0
3589991813,3cyclictest5288-21expr0
3589991813,3cyclictest477-21cut0
3589991813,3cyclictest3216-21cut0
3589991813,3cyclictest31390-21/usr/sbin/munin0
3589991813,3cyclictest28623-21expr0
3589991813,3cyclictest28623-21expr0
3589991813,3cyclictest23577-21latency_hist0
3589991813,3cyclictest22625-21grep0
3589991813,3cyclictest15354-21uname0
3589991813,3cyclictest10870-21ls0
3589991813,3cyclictest10870-21ls0
3589991812,4cyclictest3013-21seq0
3589991812,4cyclictest25076-21sendmail0
3589991812,4cyclictest20990-21grep0
3589991812,4cyclictest10659-21seq0
3589991812,4cyclictest1014-21apt0
3589991812,3cyclictest26526-21expr0
3589991811,4cyclictest9347-21sh0
359199172,8cyclictest12534-21apt-get1
3591991712,3cyclictest5425-21cat1
3589991713,2cyclictest2841-21apt-get0
3589991713,2cyclictest12514-21/usr/sbin/munin0
3589991712,3cyclictest2082-21systemd-journal0
3589991712,3cyclictest11736-21basename0
3591991611,3cyclictest12066-21ntp_states1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional