You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-08-26 - 18:55
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Tue Aug 26, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
301522308269,26sleep10-21swapper/11
3040399284278,4cyclictest3699-21strings0
300062280242,25sleep30-21swapper/33
301282256219,24sleep20-21swapper/22
300792249182,54sleep00-21swapper/00
3040899209205,2cyclictest0-21swapper/11
3041399184180,2cyclictest0-21swapper/22
2289021570,3sleep00-21swapper/00
3041799122118,2cyclictest0-21swapper/33
327582570,1sleep20-21swapper/22
30408995215,24cyclictest29405-21seq1
30408994513,18cyclictest14816-21seq1
30408994512,19cyclictest8560-21seq1
30408994512,19cyclictest25482-21seq1
207082440,2sleep00-21swapper/00
3040899437,21cyclictest25272-21seq1
3040899420,3cyclictest231392chrt1
3040899418,19cyclictest17062-21seq1
3040899418,19cyclictest12395-21seq1
3040899418,19cyclictest12395-21seq1
30408993913,14cyclictest665-21runrttasks1
132382390,1sleep00-21swapper/00
30408993215,14cyclictest30635-21basename1
30408993115,14cyclictest632-21ls1
30408993114,15cyclictest25689-21hostname1
30408993114,14cyclictest4687-21hostname1
30408993114,14cyclictest4493-21timerandwakeup1
3041399306,9cyclictest13029-21pmu-power2
3041399304,15cyclictest21783-21gltestperf2
3041399304,10cyclictest18374-21sed2
3041399301,8cyclictest5624-21latency_hist2
3040899308,19cyclictest20593-21expr1
30408993014,14cyclictest5290-21expr1
30408993014,14cyclictest30515-21sh1
30408993014,14cyclictest10932-21cat1
30408993014,14cyclictest10932-21cat1
30408993014,13cyclictest23461-21apt-key1
30408993011,16cyclictest21811-21sed1
3040899300,4cyclictest13181-21cut1
3041399295,8cyclictest8960-21grep2
3041399294,10cyclictest2000-21apt-get2
30408992914,12cyclictest17893-21aten2_r9power_c1
30408992914,12cyclictest13256-21dump-pmu-power1
3041399286,8cyclictest28974-21cut2
3041399286,8cyclictest20395-21awk2
3041399285,9cyclictest14178-21mailstats2
3041399284,10cyclictest1868-21grep2
3041399283,9cyclictest337-21awk2
3041399283,9cyclictest18946-21ls2
3041399281,22cyclictest26371-21munin-run2
3040899288,17cyclictest5232-21grep1
3040899288,17cyclictest14230-21cat1
3040899286,19cyclictest31838-21cpu1
30408992814,11cyclictest10101-21grep1
3040899280,3cyclictest2692-21users1
3041399275,8cyclictest31035-21kernelversion2
3041399275,8cyclictest11649-21awk2
3041399275,8cyclictest11649-21awk2
3041399274,9cyclictest892-21telnet2
3041399274,9cyclictest13612-21expr2
3041399274,8cyclictest7794-21ntp_states2
3041399274,8cyclictest2363-21munin-run2
3041399274,8cyclictest21559-21apt-get2
3041399274,8cyclictest10307-21ntp_states2
3041399273,9cyclictest30814-21cat2
3040899278,16cyclictest17336-21wc1
3040899272,22cyclictest14208-21sort1
3040899272,20cyclictest14145-21apt-get1
3040899270,3cyclictest8278-21sh1
3040899270,3cyclictest32678-21irqstats1
3040899270,2cyclictest6117-21df_inode1
3041399266,17cyclictest21198-21cat2
3041399265,8cyclictest31911-21dpkg2
3041399265,8cyclictest30575-21awk2
3041399264,8cyclictest28492-21needreboot2
3041399263,9cyclictest7644-21awk2
3041399263,9cyclictest26959-21awk2
3041399263,9cyclictest26959-21awk2
3041399263,9cyclictest12398-21sed2
3041399263,14cyclictest9729-21sed2
3041399263,13cyclictest4699-21aten2_r9power_c2
3041399261,5cyclictest28-21ksoftirqd/22
3040899269,15cyclictest687-21hostname1
3040899268,16cyclictest2088-21seq1
3040899267,16cyclictest17544-21unixbench_singl1
3040899266,17cyclictest25782-21cat1
3040899265,18cyclictest7139-21cron1
3040899265,18cyclictest18909-21cat1
30408992610,14cyclictest27751-21sh1
30408992610,13cyclictest30896-21timerwakeupswit1
3040899260,3cyclictest8742-21processes1
3040899260,3cyclictest1982-21/usr/sbin/munin1
3040899260,2cyclictest18065-21ntp_states1
3041399253,9cyclictest21001-21sort2
3041399251,9cyclictest0-21swapper/22
3040899259,13cyclictest16940-21latency_hist1
3040899259,13cyclictest15591-21gltestperf1
3040899257,15cyclictest5456-21latency_hist1
3040899257,15cyclictest29657-21sort1
3040899252,20cyclictest18959-21apt-get1
3040899252,19cyclictest31011-21apt-get1
3040899252,18cyclictest26301-21apt-get1
30408992513,10cyclictest22809-21idleruntime1
3040899251,19cyclictest0-21swapper/11
3040899251,19cyclictest0-21swapper/11
30408992510,12cyclictest9663-21grep1
3040899250,3cyclictest11402-21expr1
3040899250,2cyclictest19853-21cat1
3041399243,8cyclictest23759-21cpuspeed2
3041399243,8cyclictest18083-21awk2
3041399243,8cyclictest15724-21if_enp3s02
3041399243,18cyclictest11571-21basename2
3041399243,18cyclictest11571-21basename2
3041399242,9cyclictest22113-21cpu2
30413992415,5cyclictest9503-21sh2
3041399241,20cyclictest0-21swapper/22
3041399240,9cyclictest0-21swapper/22
3040899246,15cyclictest2730-21aten2_r9power_v1
3040899245,16cyclictest8322-21seq1
3040899242,18cyclictest26926-21apt-get1
3040899242,18cyclictest26926-21apt-get1
3040899241,3cyclictest505-21dbus-daemon1
3041399231,9cyclictest14704-21if_enp2s02
3040899235,15cyclictest9491-21cut1
3040899232,16cyclictest1621-21apt-get1
30417992216,3cyclictest18975-21sh3
30417992215,4cyclictest2689-21uptime3
3041399223,5cyclictest730-21taskset2
3041399222,6cyclictest25096-21taskset2
3041399222,12cyclictest15173-21taskset2
30413992214,5cyclictest13507-21acpi2
3041399221,19cyclictest10333-21gdbus2
3040899224,16cyclictest30043-21seq1
3040899221,4cyclictest23313-21date1
30403992211,6cyclictest23968-21apt-get0
3040399220,20cyclictest0-21swapper/00
30417992114,4cyclictest3248-21interrupts3
3041399212,17cyclictest4520-21cat2
30413992115,3cyclictest30978-21grep2
30413992114,5cyclictest3183-21cut2
3041399210,3cyclictest6686-21munin-run2
3040399218,6cyclictest0-21swapper/00
30403992115,4cyclictest31570-21apt-key0
30403992114,4cyclictest2082-21systemd-journal0
30403992114,4cyclictest15272-21cron0
3041799202,15cyclictest17274-21cut3
30417992015,3cyclictest4915-21open_files3
30417992015,3cyclictest4608-21pmu-power3
30417992015,3cyclictest32537-21cpu3
30417992015,3cyclictest31138-21sh3
30417992015,3cyclictest28815-21threads3
30417992015,3cyclictest27795-21ntp_states3
30417992015,3cyclictest27795-21ntp_states3
30417992015,3cyclictest24986-21processes3
30417992015,3cyclictest23237-21proc_pri3
30417992014,4cyclictest8434-21which3
30417992014,4cyclictest2882-21cat3
30417992014,4cyclictest15996-21ntp_kernel_pll_3
30417992014,3cyclictest22242-21cut3
30417992014,3cyclictest19895-21kernelversion3
30417992013,4cyclictest31598-21grep3
30417992013,4cyclictest18479-21cat3
30413992016,2cyclictest0-21swapper/22
30413992015,3cyclictest28881-21cut2
30413992015,3cyclictest28881-21cut2
30413992014,3cyclictest6493-21sed2
3041399200,3cyclictest26728-21diskstats2
3041399200,3cyclictest25451-1kworker/2:2H2
3041399200,18cyclictest29430-21sendmail2
30403992015,3cyclictest413-21sed0
30403992015,3cyclictest21223-21ps0
30403992015,3cyclictest11184-21sh0
30403992014,4cyclictest7462-21pluginstate0
30403992014,4cyclictest6678-21/usr/sbin/munin0
30403992014,4cyclictest30447-21sed0
30403992014,4cyclictest27114-21seq0
30403992014,4cyclictest2279-21seq0
30403992013,4cyclictest12537-21sh0
30403992013,4cyclictest12537-21sh0
3040399201,14cyclictest25627-21apt-get0
3040399201,14cyclictest25627-21apt-get0
30417991915,2cyclictest20317-21df_inode3
30417991914,3cyclictest6528-21nfs4_client3
30417991914,3cyclictest5957-21grep3
30417991914,3cyclictest5694-21needreboot3
30417991914,3cyclictest568-21/usr/sbin/munin3
30417991914,3cyclictest5436-21sh3
30417991914,3cyclictest31688-21/usr/sbin/munin3
30417991914,3cyclictest29888-21ls3
30417991914,3cyclictest2540-21basename3
30417991914,3cyclictest21669-21aten2_r9power_v3
30417991914,3cyclictest19986-21latency_hist3
30417991914,3cyclictest16407-21sed3
30417991914,3cyclictest12339-21ntp_states3
30417991914,3cyclictest11085-21cstates3
30417991914,3cyclictest11085-21cstates3
30417991914,3cyclictest10131-21vmstat3
30417991913,4cyclictest29587-21grep3
30417991913,4cyclictest2815-21cut3
30417991913,4cyclictest24258-21sed3
30417991913,4cyclictest15087-21sed3
30417991913,4cyclictest15083-21sed3
30417991913,4cyclictest12990-21uname3
30417991913,4cyclictest12890-21dump-pmu-power3
30417991913,4cyclictest10689-21cat3
30417991912,4cyclictest20698-21grep3
3041799190,17cyclictest9122-21users3
30413991914,3cyclictest29854-21ntp_states2
3041399190,17cyclictest0-21swapper/22
30403991915,2cyclictest4877-21/usr/sbin/munin0
30403991915,2cyclictest27606-21/usr/sbin/munin0
30403991915,2cyclictest23588-21/usr/sbin/munin0
30403991915,2cyclictest18181-21/usr/sbin/munin0
30403991914,3cyclictest8600-21ntp_states0
30403991914,3cyclictest6828-21seq0
30403991914,3cyclictest2880-21ntp_states0
30403991914,3cyclictest27188-21awk0
30403991914,3cyclictest19877-21/usr/sbin/munin0
30403991914,3cyclictest18628-21seq0
30403991914,3cyclictest1625-21cat0
30403991913,4cyclictest665-21runrttasks0
30403991913,4cyclictest665-21runrttasks0
30403991913,4cyclictest5154-21seq0
30403991913,4cyclictest28921-21cat0
30403991913,4cyclictest28877-21sed0
30403991913,4cyclictest2732-21cut0
30403991913,4cyclictest23047-21cat0
30403991913,4cyclictest16593-21df0
30403991913,4cyclictest14882-21cron0
30403991913,4cyclictest14761-21cat0
254682190,13sleep09-21ksoftirqd/00
30417991814,2cyclictest30568-21/usr/sbin/munin3
30417991814,2cyclictest25694-21aten2.4-expect3
30417991813,3cyclictest7930-21wc3
30417991813,3cyclictest3908-21if_enp3s03
30417991813,3cyclictest29679-21/usr/sbin/munin3
30417991813,3cyclictest29419-21fw_packets3
30417991813,3cyclictest27798-21cpu3
30417991813,3cyclictest19206-21sort3
30417991813,3cyclictest17947-21sh3
30417991813,3cyclictest17310-21latency_hist3
30417991813,3cyclictest15051-21pluginstate3
30417991812,4cyclictest23138-21date3
30417991812,3cyclictest24676-21sh3
30417991811,4cyclictest8263-21grep3
30413991813,3cyclictest8649-21cat2
30413991810,5cyclictest505-21dbus-daemon2
30403991816,1cyclictest0-21swapper/00
30403991816,1cyclictest0-21swapper/00
30403991814,2cyclictest11466-21apt-get0
30403991813,3cyclictest665-21runrttasks0
30403991813,3cyclictest6118-21seq0
30403991813,3cyclictest30610-21wc0
30403991813,3cyclictest26309-21seq0
30403991813,3cyclictest1081-21seq0
30403991813,3cyclictest10500-21munin-plugin-st0
30403991812,4cyclictest32433-21cat0
30403991812,4cyclictest10143-21expr0
30403991812,4cyclictest10143-21expr0
30403991812,3cyclictest18360-21timerandwakeup0
30403991812,3cyclictest13202-21aten2.4-expect0
30403991810,4cyclictest505-21dbus-daemon0
30417991713,2cyclictest26621-21cstates3
30417991713,2cyclictest13533-21aten2_r9power_c3
30417991712,3cyclictest9546-21if_enp3s03
30417991712,3cyclictest24826-21cat3
30413991711,4cyclictest4356-21grep2
3041399170,5cyclictest28-21ksoftirqd/22
30403991715,1cyclictest0-21swapper/00
30403991715,1cyclictest0-21swapper/00
30403991714,2cyclictest0-21swapper/00
30403991712,3cyclictest30100-21cat0
30403991712,3cyclictest2871-21sed0
30403991712,3cyclictest23709-21latency_hist0
30403991712,3cyclictest15545-21awk0
30403991711,4cyclictest21242-21seq0
30403991711,4cyclictest19970-21cat0
30417991611,3cyclictest32162-21cut3
30417991611,3cyclictest26070-21gltestperf3
30417991611,3cyclictest26070-21gltestperf3
30417991611,3cyclictest10099-21expr3
30417991611,3cyclictest10099-21expr3
30403991611,3cyclictest30796-21cpuspeed0
30403991611,3cyclictest18211-21ls0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional