You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-24 - 10:27
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Mon Nov 24, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
56502306271,22sleep30-21swapper/33
611699290269,19cyclictest20144-21munin-run3
610899258236,20cyclictest20166-21perf1
56132246180,25sleep10-21swapper/11
55892237178,46sleep20-21swapper/22
58702232194,25sleep00-21swapper/00
611299218197,19cyclictest20169-21apt-get2
610399218198,18cyclictest20189-21sendmail-mta0
179022610,2sleep3611699cyclictest3
201802600,1sleep10-21swapper/11
297342520,4sleep30-21swapper/33
611699360,33cyclictest18355-21kworker/3:03
94362290,4sleep0610399cyclictest0
6112992815,12cyclictest28-21ksoftirqd/22
6112992810,16cyclictest29274-21apt2
214392280,2sleep10-21swapper/11
6112992721,4cyclictest30571-21df_inode2
130612270,1sleep10-21swapper/11
6116992520,3cyclictest35-21ksoftirqd/33
6116992512,3cyclictest214382aten2_r9power_e3
611299233,17cyclictest9088-21cat2
611299232,18cyclictest32544-21apt-key2
6112992317,4cyclictest24523-21sendmail2
611299231,19cyclictest21145-21/usr/sbin/munin2
611299230,20cyclictest0-21swapper/22
6108992317,3cyclictest29269-21sh1
6108992315,6cyclictest30912-21cron1
6116992216,3cyclictest22144-21sh3
6116992215,4cyclictest2082-21systemd-journal3
6116992210,3cyclictest237842telnet3
611299223,17cyclictest30990-21cat2
611299222,17cyclictest31279-21latency_hist2
611299222,17cyclictest27543-21latency_hist2
611299222,17cyclictest24762-21cut2
6112992216,4cyclictest25560-21ls2
6112992212,8cyclictest665-21runrttasks2
6112992212,8cyclictest665-21runrttasks2
611299221,19cyclictest22222-21sendmail-mta2
611299221,18cyclictest21150-21munin-run2
611299221,18cyclictest11022-21grep2
6108992216,4cyclictest2168-21sed1
6108992214,5cyclictest12487-21grep1
611299214,15cyclictest505-21dbus-daemon2
611299213,16cyclictest7961-21cut2
611299212,17cyclictest13108-21procmail2
611299212,14cyclictest12665-21apt-get2
6112992116,3cyclictest8838-21processes2
6112992116,3cyclictest14626-21rt-features2
6112992115,4cyclictest6234-21df2
6112992114,5cyclictest16126-21cut2
611299211,18cyclictest3307-21cups-browsed2
611299211,18cyclictest29568-21munin-run2
611299211,17cyclictest13286-21grep2
611299210,18cyclictest8192-21munin-node2
611299210,18cyclictest26799-21cat2
6108992114,4cyclictest20057-21seq1
610399213,16cyclictest4856-21cron0
6103992117,2cyclictest24191-21sh0
6103992116,3cyclictest30232-21swap0
6103992115,4cyclictest29368-21seq0
6103992114,5cyclictest26380-21seq0
107262210,3sleep3611699cyclictest3
6116992015,3cyclictest9470-21ntp_offset3
6116992015,3cyclictest7198-21aten2_r9power_c3
6116992015,3cyclictest6018-21ntp_offset3
6116992015,3cyclictest3733-21irqstats3
6116992015,3cyclictest24463-21sendmail_mailst3
6116992015,3cyclictest23260-21nfs4_client3
6116992015,3cyclictest15819-21apt-get3
6116992014,4cyclictest4136-21expr3
6116992014,4cyclictest32562-21sed3
6116992013,4cyclictest3192-21cron3
6116992013,4cyclictest11651-21cron3
611299206,12cyclictest8424-21wc2
611299204,4cyclictest11711-21sendmail-mta2
6112992016,2cyclictest9547-21latency2
6112992015,3cyclictest28350-21date2
6112992015,3cyclictest23630-21timerwakeupswit2
6112992015,3cyclictest17645-21/usr/sbin/munin2
6112992015,3cyclictest11990-21unixbench_singl2
611299201,4cyclictest19100-21munin-run2
6112992014,4cyclictest14655-21seq2
6112992014,3cyclictest4134-21kernelversion2
611299201,17cyclictest505-21dbus-daemon2
611299201,17cyclictest505-21dbus-daemon2
611299201,17cyclictest0-21swapper/22
611299201,16cyclictest5604-21grep2
611299200,2cyclictest15628-21cat2
611299200,18cyclictest3252-21procmail2
611299200,18cyclictest22641-21grep2
6108992015,3cyclictest8708-21kernelversion1
6108992015,3cyclictest6564-21/usr/sbin/munin1
6108992015,3cyclictest21713-21/usr/sbin/munin1
6108992015,3cyclictest1992-21seq1
6108992015,3cyclictest16049-21sh1
6108992014,4cyclictest5263-21dump-pmu-power1
6108992014,4cyclictest28523-21seq1
6108992014,4cyclictest28219-21seq1
6108992014,4cyclictest26434-21sed1
6108992014,4cyclictest19184-21sed1
6108992014,4cyclictest18177-21sed1
6108992014,4cyclictest14368-21expr1
6108992013,4cyclictest23701-21grep1
6108992012,4cyclictest11464-21grep1
6103992015,3cyclictest8731-21ntpq0
6103992015,3cyclictest27230-21sh0
6103992015,3cyclictest26898-21seq0
6103992015,3cyclictest16992-21kernelversion0
6103992015,3cyclictest1095-21irqstats0
6103992014,4cyclictest27894-21expr0
6103992014,4cyclictest25509-21cron0
6103992014,3cyclictest26593-21aten2.4-expect0
6103992013,4cyclictest30136-21cat0
6103992013,4cyclictest26345-21cat0
6103992013,4cyclictest22365-21cat0
6103992013,4cyclictest22067-21expr0
6103992013,4cyclictest16166-21seq0
6103992013,4cyclictest10940-21cat0
6116991914,3cyclictest6965-21cat3
6116991914,3cyclictest4350-21ntpq3
6116991914,3cyclictest35-21ksoftirqd/33
6116991914,3cyclictest31178-21rt-features3
6116991914,3cyclictest29847-21sed3
6116991914,3cyclictest2565-21aten2_r9power_e3
6116991914,3cyclictest19043-21sed3
6116991914,3cyclictest18089-21latency_hist3
6116991914,3cyclictest15135-21ntp_kernel_err3
6116991914,3cyclictest13458-21cat3
6116991914,3cyclictest12916-21expr3
6116991914,3cyclictest12300-21tr3
6116991913,4cyclictest6219-21expr3
6116991913,4cyclictest505-21dbus-daemon3
6116991913,4cyclictest29611-21basename3
6116991913,4cyclictest26272-21cut3
6116991913,4cyclictest2530-21wc3
6116991913,4cyclictest10353-21cat3
6116991913,3cyclictest24782-21apt-get3
6116991912,4cyclictest8221-21expr3
6116991912,4cyclictest1007-21cat3
611299199,8cyclictest17528-21timerandwakeup2
6112991916,2cyclictest0-21swapper/22
6112991915,2cyclictest18313-21cat2
6112991915,2cyclictest10193-21/usr/sbin/munin2
6112991914,3cyclictest5008-21grep2
6112991914,3cyclictest2799-21sendmail_mailst2
6112991914,3cyclictest14850-21ntp_kernel_err2
6112991914,3cyclictest1216-21cut2
6112991913,4cyclictest27642-21idleruntime2
6112991913,4cyclictest22790-21users2
6112991913,4cyclictest1543-21wc2
611299191,15cyclictest25300-21wc2
610899192,14cyclictest27238-21basename1
610899192,10cyclictest9888-21taskset1
6108991917,1cyclictest0-21swapper/11
6108991915,2cyclictest24764-21/usr/sbin/munin1
6108991915,2cyclictest23409-21/usr/sbin/munin1
6108991914,3cyclictest32265-21seq1
6108991914,3cyclictest29922-21apt-config1
6108991914,3cyclictest21588-21latency_hist1
6108991914,3cyclictest10545-21seq1
6108991913,4cyclictest8499-21cut1
6108991913,4cyclictest4086-21seq1
6108991913,3cyclictest11456-21sed1
6108991912,4cyclictest7146-21awk1
6103991915,2cyclictest12276-21aten2_r9power_e0
6103991914,3cyclictest9187-21seq0
6103991914,3cyclictest3129-21seq0
6103991914,3cyclictest22017-21grep0
6103991914,3cyclictest21431-21seq0
6103991914,3cyclictest18055-21ls0
6103991914,3cyclictest1455-21expr0
6103991914,3cyclictest14411-21expr0
6103991914,3cyclictest14280-21/usr/sbin/munin0
6103991914,3cyclictest1-21systemd0
6103991914,3cyclictest11807-21ntp_offset0
6103991913,4cyclictest7717-21cat0
6103991913,4cyclictest7620-21awk0
6103991913,4cyclictest7234-21seq0
6103991913,4cyclictest4137-21expr0
6103991913,4cyclictest19873-21seq0
6103991913,3cyclictest11368-21aten2.4-expect0
6103991912,4cyclictest4573-21cut0
610399191,15cyclictest26201-21cron0
128852190,1sleep00-21swapper/00
6116991816,1cyclictest0-21swapper/33
6116991816,1cyclictest0-21swapper/33
6116991816,1cyclictest0-21swapper/33
6116991815,1cyclictest0-21swapper/33
6116991814,2cyclictest1120-21users3
6116991813,3cyclictest7292-21sed3
6116991813,3cyclictest22116-21uptime3
6116991813,3cyclictest20162-21gltestperf3
6116991813,3cyclictest14337-21missed_timers3
6116991813,3cyclictest11005-21expr3
6116991812,4cyclictest30964-21expr3
6116991812,4cyclictest12819-21uname3
611699180,17cyclictest0-21swapper/33
6112991816,1cyclictest0-21swapper/22
611299181,5cyclictest7948-21rs:main2
6112991814,2cyclictest25662-21cpuspeed_turbos2
611299181,2cyclictest0-21swapper/22
6112991812,4cyclictest20280-21cat2
610899183,8cyclictest14298-21apt-get1
610899182,9cyclictest16325-21apt-get1
6108991814,2cyclictest3770-21/usr/sbin/munin1
6108991814,2cyclictest13580-21/usr/sbin/munin1
6108991814,2cyclictest12647-21/usr/sbin/munin1
6108991813,3cyclictest9402-21cat1
6108991813,3cyclictest794-21latency_hist1
6108991813,3cyclictest7138-21sed1
6108991813,3cyclictest5818-21/usr/sbin/munin1
6108991813,3cyclictest5818-21/usr/sbin/munin1
6108991813,3cyclictest362-21cut1
6108991813,3cyclictest28623-21aten2.4-expect1
6108991813,3cyclictest26407-21interrupts1
6108991813,3cyclictest24326-21seq1
6108991813,3cyclictest20357-21/usr/sbin/munin1
6108991813,3cyclictest13837-21sh1
6108991813,3cyclictest11227-21/usr/sbin/munin1
6108991813,3cyclictest10410-21sed1
6108991812,4cyclictest2045-21cat1
6108991812,3cyclictest2029-21grep1
6108991810,5cyclictest6383-21latency_hist1
610399183,9cyclictest15628-21apt-get0
6103991814,2cyclictest7855-21/usr/sbin/munin0
6103991813,3cyclictest9865-21/usr/sbin/munin0
6103991813,3cyclictest7270-21seq0
6103991813,3cyclictest7270-21seq0
6103991813,3cyclictest4363-21sh0
6103991813,3cyclictest3703-21cat0
6103991813,3cyclictest32508-21readlink0
6103991813,3cyclictest30701-21basename0
6103991813,3cyclictest23646-21ls0
6103991813,3cyclictest23635-21ntpq0
6103991813,3cyclictest1739-21/usr/sbin/munin0
6103991813,3cyclictest13039-21hostname0
6103991813,3cyclictest12658-21cat0
6103991812,4cyclictest6515-21grep0
6103991812,4cyclictest505-21dbus-daemon0
6103991812,4cyclictest20874-21seq0
6103991812,3cyclictest10756-21aten2_r9power_v0
611699172,8cyclictest4523-21apt-get3
611699172,10cyclictest5836-21apt-get3
611699172,10cyclictest5836-21apt-get3
6116991715,1cyclictest0-21swapper/33
6116991715,1cyclictest0-21swapper/33
6116991715,1cyclictest0-21swapper/33
6116991712,3cyclictest9770-21open_files3
6116991712,3cyclictest10333-21gdbus3
6116991711,4cyclictest8784-21pluginstate3
611699170,1cyclictest0-21swapper/33
6112991712,3cyclictest1313-21grep2
610899177,8cyclictest25065-21unixbench_multi1
610899173,8cyclictest20735-21apt-get1
610899172,9cyclictest29516-21apt-get1
6108991715,1cyclictest0-21swapper/11
6108991713,2cyclictest7855-21/usr/sbin/munin1
6108991713,2cyclictest15275-21/usr/sbin/munin1
6108991712,3cyclictest7384-21cat1
6108991712,3cyclictest27785-21/usr/sbin/munin1
6103991712,3cyclictest665-21runrttasks0
6103991712,3cyclictest5358-21cpuspeed0
6103991712,3cyclictest32280-21needreboot0
6103991712,3cyclictest32190-21expr0
6103991712,3cyclictest32163-21find0
6103991710,4cyclictest22185-21sed0
6116991611,3cyclictest19385-21aten2_r9power_c3
610899169,4cyclictest4858-21cron1
610899168,5cyclictest0-21swapper/11
6103991611,3cyclictest18117-21cat0
6103991611,3cyclictest16534-21cpuspeed0
611699150,1cyclictest0-21swapper/33
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional