You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-13 - 23:13
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Mon Oct 13, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
228932301206,83sleep10-21swapper/11
243612298260,25sleep30-21swapper/33
2477399262256,3cyclictest1012-21sendmail-mta0
244262258188,23sleep20-21swapper/22
246272244185,37sleep00-21swapper/00
2478799229223,4cyclictest0-21swapper/33
2478399187182,3cyclictest271rcuc/22
2580221440,2sleep22478399cyclictest2
24778999894,2cyclictest984-21munin-run1
215262520,2sleep10-21swapper/11
232662510,2sleep10-21swapper/11
279712480,1sleep10-21swapper/11
279712480,1sleep10-21swapper/11
24562430,2sleep10-21swapper/11
196132400,1sleep00-21swapper/00
260162340,1sleep10-21swapper/11
24783992715,2cyclictest16859-21timerwakeupswit2
2478399240,12cyclictest315342sed2
24778992415,5cyclictest13981-21sendmail1
24787992314,5cyclictest6211-21cron3
2478399234,17cyclictest5343-21cat2
2478399234,17cyclictest1283-21cat2
2478399233,17cyclictest10094-21cat2
2478399231,4cyclictest3362-1kworker/2:0H2
2478399231,19cyclictest30078-21sed2
24783992310,11cyclictest26694-21grep2
24778992317,3cyclictest15062-21tr1
24778992312,6cyclictest9481-21apt-get1
184882230,9sleep335-21ksoftirqd/33
2478799221,5cyclictest0-21swapper/33
24787992215,4cyclictest29858-21sh3
24787992214,5cyclictest505-21dbus-daemon3
2478399223,17cyclictest29209-21latency_hist2
24783992215,4cyclictest3809-21pluginstate2
2478399221,4cyclictest27916-21sendmail-mta2
2478399221,4cyclictest19383-21munin-run2
2478399221,3cyclictest2183-21munin-run2
2478399221,3cyclictest21458-21sendmail-msp2
2478399221,18cyclictest26265-21cat2
24783992210,9cyclictest10911-21cstates2
2478399220,3cyclictest14679-21perf2
24778992217,3cyclictest14931-21sed1
24778992215,4cyclictest2082-21systemd-journal1
24778992215,4cyclictest13378-21grep1
24778992213,5cyclictest505-21dbus-daemon1
2477899221,11cyclictest31907-21idleruntime-cro1
24787992115,4cyclictest16025-21latency_hist3
24787992115,3cyclictest35-21ksoftirqd/33
24787992115,3cyclictest35-21ksoftirqd/33
24787992114,4cyclictest25161-21munin-plugin-st3
24787992114,4cyclictest25161-21munin-plugin-st3
24787992114,4cyclictest21787-21basename3
2478399219,3cyclictest5556-21cpu2
2478399213,16cyclictest5196-21procmail2
2478399212,17cyclictest23754-21latency_hist2
2478399212,17cyclictest17353-21latency_hist2
2478399212,17cyclictest1468-21latency_hist2
24783992116,3cyclictest29860-21cpuspeed_turbos2
24783992116,3cyclictest13887-21cstates2
24783992115,4cyclictest28981-21users2
2478399211,18cyclictest505-21dbus-daemon2
2478399211,18cyclictest27835-21idleruntime-cro2
2478399211,18cyclictest27835-21idleruntime-cro2
2478399211,17cyclictest26915-21diskstats2
2478399211,17cyclictest22927-21sed2
2478399211,17cyclictest22927-21sed2
2478399211,17cyclictest18750-21latency_hist2
2478399210,4cyclictest19527-21gpgv2
2478399210,4cyclictest0-21swapper/22
2478399210,3cyclictest3362-1kworker/2:0H2
24778992114,4cyclictest27864-21df1
24773992115,4cyclictest15022-21seq0
2477399211,18cyclictest15313-21cron0
2477399210,4cyclictest2082-21systemd-journal0
2478799203,10cyclictest24968-21apt-get3
24787992017,2cyclictest0-21swapper/33
24787992015,3cyclictest22697-21latency3
24787992014,4cyclictest7872-21cron3
24787992013,5cyclictest13843-21pmu-power3
24783992017,2cyclictest0-21swapper/22
24783992016,2cyclictest5784-21cstates2
24783992015,3cyclictest29911-21munin-run2
24783992015,3cyclictest22881-21ntpq2
24783992015,3cyclictest13728-21sh2
24783992014,4cyclictest23788-21df2
24783992014,4cyclictest23788-21df2
24783992014,3cyclictest7084-21proc_pri2
24783992014,3cyclictest16281-21apt2
2478399201,17cyclictest6220-21munin-run2
2478399201,16cyclictest3362-1kworker/2:0H2
2478399201,16cyclictest3362-1kworker/2:0H2
2478399200,3cyclictest22101-21munin-run2
2478399200,3cyclictest10321-21sleep2
2478399200,18cyclictest9212-21munin-run2
2478399200,17cyclictest14002-21df2
24778992016,2cyclictest23360-21/usr/sbin/munin1
24778992016,2cyclictest23360-21/usr/sbin/munin1
24778992016,2cyclictest21-21ksoftirqd/11
24778992015,3cyclictest8120-21/usr/sbin/munin1
24778992015,3cyclictest28069-21/usr/sbin/munin1
24778992015,3cyclictest22009-21/usr/sbin/munin1
24778992014,4cyclictest19852-21sed1
24778992014,4cyclictest10303-21sh1
24778992013,5cyclictest505-21dbus-daemon1
24778992013,4cyclictest6803-21grep1
2477899201,16cyclictest14087-21sed1
2477899200,18cyclictest353-21kworker/1:11
2477399206,12cyclictest2082-21systemd-journal0
24773992015,4cyclictest9-21ksoftirqd/00
24773992014,4cyclictest26136-21seq0
24773992014,4cyclictest24040-21seq0
24773992014,3cyclictest31944-21dump-pmu-power0
24773992014,3cyclictest20762-21sh0
24773992011,7cyclictest11328-21perf0
2478799193,9cyclictest31792-21apt-get3
2478799193,10cyclictest24407-21apt-get3
2478799192,15cyclictest28527-21tr3
24787991917,1cyclictest0-21swapper/33
24787991916,2cyclictest0-21swapper/33
24787991914,3cyclictest6617-21aten2_r9power_v3
24787991914,3cyclictest4551-21gltestperf3
24787991914,3cyclictest18090-21df3
24787991914,3cyclictest17481-21expr3
24787991914,3cyclictest13811-21wc3
24787991914,3cyclictest11509-21apt3
24787991914,3cyclictest10819-21cpuspeed_turbos3
24787991913,4cyclictest8972-21fw_packets3
24787991913,4cyclictest6566-21sed3
24787991913,4cyclictest29850-21cat3
24787991913,4cyclictest26798-21expr3
24787991913,4cyclictest16787-21sed3
24787991913,3cyclictest20784-21dump-pmu-power3
24787991913,3cyclictest16961-21sort3
24787991912,4cyclictest2449-21mailstats3
2478799191,15cyclictest8442-21cut3
24787991910,6cyclictest12690-21wc3
2478399195,12cyclictest12276-21missed_timers2
24783991915,2cyclictest15234-21processes2
24783991915,2cyclictest10826-21sed2
24783991914,3cyclictest15169-21ls2
24783991913,4cyclictest2573-21cat2
24783991913,4cyclictest24691-21cat2
2477899192,14cyclictest17663-21grep1
2477899192,10cyclictest9539-21taskset1
2477899192,10cyclictest28475-21apt-get1
24778991915,3cyclictest21-21ksoftirqd/11
24778991914,3cyclictest7060-21seq1
24778991914,3cyclictest5853-21expr1
24778991914,3cyclictest5139-21latency_hist1
24778991914,3cyclictest17656-21/usr/sbin/munin1
24778991914,3cyclictest10156-21/usr/sbin/munin1
24778991913,4cyclictest4438-21/usr/sbin/munin1
24778991913,4cyclictest26788-21cat1
24778991913,3cyclictest24353-21grep1
24778991912,5cyclictest31402-21sh1
24778991912,4cyclictest17378-21basename1
24778991910,5cyclictest17621-21apt-get1
24773991915,2cyclictest30806-21/usr/sbin/munin0
24773991914,3cyclictest7489-21/usr/sbin/munin0
24773991914,3cyclictest7489-21/usr/sbin/munin0
24773991914,3cyclictest665-21runrttasks0
24773991914,3cyclictest28703-21cat0
24773991914,3cyclictest28639-21tr0
24773991914,3cyclictest25970-21cat0
24773991914,3cyclictest24619-21ls0
24773991914,3cyclictest24619-21ls0
24773991914,3cyclictest24062-21/usr/sbin/munin0
24773991914,3cyclictest23311-21grep0
24773991914,3cyclictest20231-21cat0
24773991914,3cyclictest19990-21seq0
24773991914,3cyclictest11163-21seq0
24773991913,4cyclictest4840-21expr0
24773991913,4cyclictest4015-21cat0
24773991913,4cyclictest2631-21grep0
24773991913,4cyclictest25491-21seq0
24773991913,4cyclictest17396-21df0
24773991913,4cyclictest16718-21cron0
24773991913,4cyclictest16401-21grep0
24773991913,4cyclictest16332-21expr0
24773991913,4cyclictest13476-21cat0
24773991913,4cyclictest11343-21cat0
2478799183,8cyclictest26115-21apt-get3
2478799182,9cyclictest27451-21apt-get3
24787991816,1cyclictest0-21swapper/33
24787991813,3cyclictest9305-21cut3
24787991813,3cyclictest6796-21awk3
24787991813,3cyclictest32135-21/usr/sbin/munin3
24787991813,3cyclictest30294-21sh3
24787991813,3cyclictest27366-21sed3
24787991813,3cyclictest20517-21ntp_states3
24787991813,3cyclictest10508-21processes3
24787991812,3cyclictest505-21dbus-daemon3
24787991812,3cyclictest14083-21sed3
24787991812,3cyclictest11946-21turbostat3
24787991811,4cyclictest24455-21awk3
2478799180,16cyclictest0-21swapper/33
2478799180,16cyclictest0-21swapper/33
2478799180,16cyclictest0-21swapper/33
24783991816,1cyclictest0-21swapper/22
24783991814,2cyclictest1283-21aten2_r9power_e2
24783991813,3cyclictest7834-21cat2
24783991813,3cyclictest7834-21cat2
24783991813,3cyclictest665-21runrttasks2
24783991813,3cyclictest30369-21cat2
2478399180,16cyclictest0-21swapper/22
2477899183,8cyclictest27592-21apt-get1
2477899183,10cyclictest4066-21apt-get1
2477899182,9cyclictest14948-21apt-get1
2477899182,10cyclictest11575-21apt-get1
24778991816,1cyclictest0-21swapper/11
24778991814,2cyclictest31824-21apt1
24778991814,2cyclictest1229-21/usr/sbin/munin1
24778991813,3cyclictest3848-21expr1
24778991813,3cyclictest32513-21cat1
24778991813,3cyclictest25888-21cut1
24778991813,3cyclictest22061-21gzip1
24778991813,3cyclictest22061-21gzip1
24778991813,3cyclictest19388-21expr1
24778991813,3cyclictest18295-21/usr/sbin/munin1
24778991812,4cyclictest7909-21expr1
24778991812,4cyclictest7909-21expr1
24778991812,4cyclictest505-21dbus-daemon1
24778991812,4cyclictest22750-21expr1
24778991811,4cyclictest15650-21apt1
24778991810,5cyclictest31952-21grep1
2477399185,8cyclictest26452-21apt-get0
24773991816,1cyclictest0-21swapper/00
24773991816,1cyclictest0-21swapper/00
24773991814,2cyclictest29457-21/usr/sbin/munin0
24773991814,2cyclictest28127-21/usr/sbin/munin0
24773991814,2cyclictest26481-21sh0
24773991814,2cyclictest26481-21sh0
24773991813,3cyclictest8630-21aten2_r9power_v0
24773991813,3cyclictest7476-21sed0
24773991813,3cyclictest5683-21seq0
24773991813,3cyclictest3810-21basename0
24773991813,3cyclictest25351-21expr0
24773991813,3cyclictest20996-21seq0
24773991813,3cyclictest20996-21seq0
24773991813,3cyclictest1867-21seq0
24773991813,3cyclictest17323-21mailstats0
24773991812,4cyclictest6910-21expr0
24773991812,4cyclictest5835-21df0
24773991812,4cyclictest5448-21basename0
24773991812,4cyclictest2943-21seq0
24773991812,4cyclictest27442-21grep0
24773991812,4cyclictest22762-21cat0
24773991812,4cyclictest19624-21wc0
2478799173,9cyclictest15585-21apt-get3
2478799172,9cyclictest2432-21apt-get3
24787991713,2cyclictest3253-21/usr/sbin/munin3
24787991713,2cyclictest22218-21sed3
24787991713,2cyclictest17648-21aten2.4-expect3
24787991713,2cyclictest16794-21threads3
24787991712,3cyclictest29306-21nfs4_client3
24787991712,3cyclictest24298-21cpuspeed_turbos3
24787991712,3cyclictest23194-21sed3
24787991712,3cyclictest1869-21interrupts3
24787991711,3cyclictest665-21runrttasks3
2478799170,6cyclictest0-21swapper/33
2478799170,14cyclictest8486-21wc3
2478799170,14cyclictest8486-21wc3
24783991712,3cyclictest8270-21latency_hist2
24783991712,3cyclictest31363-21cat2
24783991712,3cyclictest19558-21basename2
24783991712,3cyclictest18698-21expr2
2477899173,8cyclictest16981-21apt-get1
24778991710,4cyclictest4194-21cron1
24773991715,1cyclictest0-21swapper/00
24773991713,2cyclictest665-21runrttasks0
24773991713,2cyclictest19988-21/usr/sbin/munin0
24773991713,2cyclictest12304-21aten2_r9power_v0
24773991712,3cyclictest8748-21cat0
24773991712,3cyclictest665-21runrttasks0
24773991712,3cyclictest31300-21seq0
24773991711,4cyclictest2424-21basename0
24773991711,4cyclictest10173-21awk0
24778991611,3cyclictest665-21runrttasks1
24778991611,3cyclictest24397-21acpi1
24778991610,4cyclictest7904-21expr1
24778991610,4cyclictest667-21grep1
24773991611,3cyclictest665-21runrttasks0
24773991611,3cyclictest27691-21cpuspeed_turbos0
24778991510,3cyclictest28161-21aten2_r9power_c1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional