You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-09 - 07:18
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Sun Nov 09, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
165252336280,44sleep20-21swapper/22
165482316278,25sleep00-21swapper/00
164862314275,26sleep10-21swapper/11
165462279190,74sleep30-21swapper/33
16856992741,3cyclictest25524-21munin-run1
1686199227212,13cyclictest2082-21systemd-journal2
1686499221216,3cyclictest0-21swapper/33
1685399212207,3cyclictest25543-21apt-get0
2605021670,1sleep30-21swapper/33
1786721650,4sleep30-21swapper/33
652121340,2sleep31686499cyclictest3
16856995115,24cyclictest31365-21seq1
16856994814,19cyclictest27307-21seq1
16856994714,19cyclictest5345-21seq1
16856994714,19cyclictest32112-21seq1
1685699449,20cyclictest19901-21seq1
16856994412,18cyclictest22977-21seq1
70752420,4sleep07077-21timerandwakeup0
1685699427,20cyclictest17001-21seq1
181602400,2sleep30-21swapper/33
1685699371,3cyclictest14668-21unixbench_singl1
3172350,1sleep10-21swapper/11
1685699329,20cyclictest18353-21awk1
16856993214,15cyclictest23233-21seq1
1685699321,3cyclictest2006-21grep1
16856993210,19cyclictest21354-21find1
1685699319,19cyclictest27686-21cat1
16856993112,16cyclictest18552-21cat1
1685699309,16cyclictest7976-21apt-get1
16856993015,13cyclictest29848-21seq1
16856993014,14cyclictest7974-21aten2_r9power_v1
16856993014,14cyclictest7974-21aten2_r9power_v1
16856993012,15cyclictest30687-21sed1
1685699300,3cyclictest5811-21tail1
1685699300,3cyclictest5811-21tail1
1685699299,18cyclictest21345-21sed1
1685699299,18cyclictest21345-21sed1
1685699299,17cyclictest7377-21seq1
1685699299,17cyclictest31628-21seq1
1685699299,17cyclictest14396-21df1
1685699293,20cyclictest16017-21apt-get1
16856992914,13cyclictest16405-21/usr/sbin/munin1
16856992910,16cyclictest29826-21latency_hist1
1685699290,3cyclictest16491-21wc1
1685699289,17cyclictest21158-21latency1
1685699289,16cyclictest28519-21aten2_r9power_c1
1685699287,19cyclictest8070-21seq1
1685699282,21cyclictest18062-21apt-get1
16856992815,11cyclictest2149-21/usr/sbin/munin1
16856992811,15cyclictest11648-21taskset1
16856992811,15cyclictest11018-21cut1
16856992811,14cyclictest3957-21expr1
16856992811,14cyclictest3957-21expr1
16856992810,15cyclictest19889-21idleruntime1
1685699280,3cyclictest351-21ntp_states1
1685699280,3cyclictest1549-21diskstats1
1685699278,17cyclictest13923-21cut1
1685699274,21cyclictest665-21runrttasks1
1685699274,20cyclictest31820-21tr1
16861992612,12cyclictest22154-21df_inode2
1685699269,15cyclictest20855-21timerandwakeup1
1685699267,17cyclictest12846-21expr1
1685699266,18cyclictest505-21dbus-daemon1
1685699260,2cyclictest0-21swapper/11
16861992511,12cyclictest271rcuc/22
1685699257,16cyclictest26233-21cpu1
1685699257,15cyclictest14134-21pmu-power1
1685699255,17cyclictest11020-21switchtime1
1685699252,18cyclictest0-21swapper/11
16856992510,13cyclictest25180-21cron1
1685699250,5cyclictest22402-21grep1
1685699250,23cyclictest9784-21sort1
16853992519,4cyclictest31672-21ls0
1686199245,17cyclictest30407-21cat2
1686199245,17cyclictest29692-21cat2
1686199241,5cyclictest2922-21awk2
1685699247,14cyclictest270682chrt1
1685699247,14cyclictest257562chrt1
1685699246,16cyclictest6535-21kernelversion1
1685699242,3cyclictest0-21swapper/11
1685699241,5cyclictest24448-21pmu-power1
1685699241,4cyclictest1054-21grep1
1685699241,4cyclictest0-21swapper/11
1685699241,4cyclictest0-21swapper/11
1685699241,3cyclictest0-21swapper/11
1685399248,8cyclictest111rcu_preempt0
1685399241,10cyclictest23495-21/usr/sbin/munin0
1686199231,3cyclictest21112-21munin-run2
1685699235,15cyclictest0-21swapper/11
1685699231,3cyclictest0-21swapper/11
1685399231,11cyclictest22823-21unixbench_singl0
1685399231,11cyclictest11234-21seq0
1686499226,2cyclictest111rcu_preempt3
1686499223,10cyclictest12688-21apt-get3
16864992216,3cyclictest7078-21timerwakeupswit3
1686199225,3cyclictest111rcu_preempt2
1686199225,3cyclictest111rcu_preempt2
1686199223,17cyclictest31917-21cat2
1686199222,17cyclictest13906-21cat2
1686199221,6cyclictest19094-21munin-run2
16861992216,4cyclictest10333-21gdbus2
1686199221,19cyclictest1-21systemd2
16856992215,4cyclictest17032-21seq1
1685399225,4cyclictest0-21swapper/00
1685399225,4cyclictest0-21swapper/00
1685399221,13cyclictest9-21ksoftirqd/00
1685399220,12cyclictest505-21dbus-daemon0
1685399220,12cyclictest505-21dbus-daemon0
1685399220,11cyclictest28579-21sed0
201972210,2sleep20-21swapper/22
16864992116,3cyclictest22051-21sed3
16864992115,4cyclictest31397-21sed3
16864992110,6cyclictest27868-21apt-get3
1686499210,6cyclictest23518-21turbostat3
1686199219,10cyclictest6790-21seq2
16861992116,3cyclictest9680-21df_inode2
16861992116,3cyclictest23897-21munin-run2
16861992115,4cyclictest4201-21expr2
16861992115,4cyclictest21509-21processes2
16861992115,4cyclictest19959-21cat2
1686199211,4cyclictest9001-21munin-run2
16861992114,5cyclictest8284-21df2
16861992114,5cyclictest8284-21df2
16861992114,4cyclictest13982-21apt-get2
1686199211,3cyclictest29394-1kworker/2:1H2
1686199211,18cyclictest29394-1kworker/2:1H2
1686199211,17cyclictest7746-21cups-browsed2
1686199211,17cyclictest665-21runrttasks2
16861992110,10cyclictest28-21ksoftirqd/22
1686199210,6cyclictest23136-21pluginstate2
1686199210,5cyclictest25939-21perf2
1686199210,5cyclictest15303-21ls2
1686199210,19cyclictest29882-21munin-run2
1686199210,18cyclictest12916-21apt-key2
1685399213,8cyclictest9-21ksoftirqd/00
1685399213,8cyclictest9-21ksoftirqd/00
1685399212,10cyclictest0-21swapper/00
1685399211,9cyclictest15282-21apt-get0
16853992116,3cyclictest9-21ksoftirqd/00
16853992115,4cyclictest15391-21seq0
16853992115,3cyclictest22478-21date0
1685399211,10cyclictest22734-21head0
1685399210,12cyclictest32725-21missed_timers0
1685399210,11cyclictest8627-21aten2.4-expect0
1685399210,11cyclictest5360-21seq0
1685399210,11cyclictest12163-21cat0
1685399210,10cyclictest3148-21find0
1685399210,10cyclictest20489-21apt-get0
1686499203,2cyclictest111rcu_preempt3
1686499203,2cyclictest111rcu_preempt3
1686499202,16cyclictest15107-21awk3
16864992017,2cyclictest0-21swapper/33
16864992016,3cyclictest35-21ksoftirqd/33
16864992015,3cyclictest8778-21cpuspeed3
16864992015,3cyclictest30744-21sed3
16864992015,3cyclictest28437-21proc_pri3
16864992015,3cyclictest19137-21cut3
16864992015,3cyclictest18004-21sed3
16864992015,3cyclictest14731-21ls3
16864992014,4cyclictest8388-21expr3
16864992014,4cyclictest6943-21cron3
16864992014,4cyclictest32461-21cat3
16864992014,4cyclictest25563-21cut3
16864992014,4cyclictest24556-21expr3
16864992014,4cyclictest23352-21sed3
16864992014,3cyclictest665-21runrttasks3
1686199203,15cyclictest27220-21unixbench_singl2
1686199202,15cyclictest7202-21sed2
1686199202,11cyclictest13197-21apt-get2
16861992016,2cyclictest4047-21open_files2
16861992016,2cyclictest3940-21apt-get2
16861992016,2cyclictest2196-21df_inode2
16861992015,3cyclictest672-21idleruntime2
16861992015,3cyclictest5573-21apt-key2
16861992015,3cyclictest5573-21apt-key2
16861992015,3cyclictest376-21unixbench_multi2
16861992015,3cyclictest26791-21latency2
16861992015,3cyclictest2453-21pmu-power2
16861992014,4cyclictest505-21dbus-daemon2
16861992014,4cyclictest26706-21sed2
16861992014,4cyclictest23420-21apt-get2
16861992014,4cyclictest17869-21cut2
16861992014,4cyclictest17302-21ntpq2
1686199201,3cyclictest0-21swapper/22
1686199200,4cyclictest23224-21cron2
1686199200,18cyclictest32448-21grep2
1686199200,17cyclictest10587-21cat2
1685399208,4cyclictest9-21ksoftirqd/00
1685399203,8cyclictest9-21ksoftirqd/00
1685399201,5cyclictest27768-21tr0
16853992015,3cyclictest9629-21cron0
16853992015,3cyclictest9629-21cron0
16853992015,3cyclictest19499-21sendmail_mailst0
16853992014,4cyclictest1366-21ls0
16853992013,5cyclictest11675-21cron0
16853992013,4cyclictest7171-21cat0
1685399201,11cyclictest9-21ksoftirqd/00
1685399201,10cyclictest950-21needreboot0
1685399201,10cyclictest32011-21expr0
1685399201,10cyclictest27064-21if_enp3s00
1685399200,11cyclictest26076-21/usr/sbin/munin0
1685399200,11cyclictest16513-21switchtime0
1685399200,10cyclictest7592-21cstates0
1685399200,10cyclictest30382-21latency_hist0
1685399200,10cyclictest25972-21wc0
1685399200,10cyclictest2172-21/usr/sbin/munin0
1685399200,10cyclictest1773-21apt-get0
1686499193,3cyclictest111rcu_preempt3
1686499193,14cyclictest25195-21perf3
1686499192,3cyclictest111rcu_preempt3
1686499192,3cyclictest111rcu_preempt3
1686499191,6cyclictest35-21ksoftirqd/33
16864991916,2cyclictest0-21swapper/33
1686499191,5cyclictest0-21swapper/33
16864991915,2cyclictest2352-21sed3
16864991914,3cyclictest9201-21sed3
16864991914,3cyclictest5808-21sed3
16864991914,3cyclictest22284-21wc3
16864991914,3cyclictest20163-21sed3
16864991913,3cyclictest1320-21cat3
1686199192,15cyclictest11785-21gltestperf2
16861991915,2cyclictest0-21swapper/22
16861991915,2cyclictest0-21swapper/22
16861991914,3cyclictest8310-21munin-run2
16861991914,3cyclictest28352-21awk2
16861991914,3cyclictest18558-21timerandwakeup2
16861991914,3cyclictest17279-21cpuspeed_turbos2
16861991914,3cyclictest17075-21munin-run2
16861991914,3cyclictest16025-21kernelversion2
16861991913,4cyclictest29495-21apt-get2
16861991913,4cyclictest23629-21hostname2
1686199190,16cyclictest0-21swapper/22
1685399196,4cyclictest16775-21missed_timers0
1685399196,11cyclictest6692-21cpu0
1685399193,7cyclictest9-21ksoftirqd/00
1685399191,9cyclictest0-21swapper/00
1685399191,8cyclictest14659-21unixbench_singl0
1685399191,8cyclictest0-21swapper/00
16853991914,3cyclictest24135-21/usr/sbin/munin0
16853991914,3cyclictest19698-21cat0
16853991914,3cyclictest18184-21ntp_offset0
16853991914,3cyclictest17920-21ntpq0
16853991913,4cyclictest28839-21cat0
16853991913,4cyclictest17840-21entropy0
1685399190,9cyclictest9121-21find0
1685399190,9cyclictest21736-21apt0
1685399190,5cyclictest13095-21wc0
1685399190,4cyclictest9260-21apt-get0
1685399190,10cyclictest32337-21latency_hist0
1685399190,10cyclictest23828-21seq0
1685399190,10cyclictest14407-21aten2_r9power_e0
16864991816,1cyclictest0-21swapper/33
16864991816,1cyclictest0-21swapper/33
16864991813,3cyclictest8953-21switchtime3
16864991813,3cyclictest8953-21switchtime3
16864991813,3cyclictest665-21runrttasks3
16864991813,3cyclictest5512-21processes3
16864991813,3cyclictest5512-21processes3
16864991813,3cyclictest24046-21apt-config3
16864991812,4cyclictest981-21grep3
16864991812,4cyclictest18186-21sed3
16864991812,3cyclictest665-21runrttasks3
16864991811,4cyclictest28007-21grep3
16864991811,4cyclictest15341-21aten2.4-expect3
16861991813,3cyclictest32061-21hostname2
16861991813,3cyclictest10976-21swap2
1685399188,2cyclictest111rcu_preempt0
1685399183,7cyclictest111rcu_preempt0
16853991813,3cyclictest7360-21seq0
16853991813,3cyclictest1499-21/usr/sbin/munin0
1686499173,8cyclictest12345-21apt-get3
1686499173,7cyclictest28506-21apt-get3
1686499173,11cyclictest26470-21/usr/sbin/munin3
1686499172,9cyclictest31547-21apt-get3
16864991715,1cyclictest0-21swapper/33
16864991715,1cyclictest0-21swapper/33
16864991713,2cyclictest5318-21cron3
16864991713,2cyclictest5318-21cron3
16864991712,3cyclictest35-21ksoftirqd/33
16864991711,4cyclictest28648-21idleruntime3
16864991711,3cyclictest16196-21grep3
1686499170,16cyclictest0-21swapper/33
16864991610,3cyclictest30396-21gltestperf3
1686499160,1cyclictest111rcu_preempt3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional