You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-07-03 - 05:52
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Jul 03, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
148682312276,23sleep20-21swapper/22
132702284245,25sleep10-21swapper/11
150072275239,24sleep30-21swapper/33
149872257184,59sleep00-21swapper/00
1264921370,7sleep11520999cyclictest1
2664121060,1sleep20-21swapper/22
280982500,3sleep0101rcuc/00
33752420,2sleep00-21swapper/00
1521399293,11cyclictest5620-21taskset2
255182240,2sleep00-21swapper/00
1521399241,5cyclictest19803-21perf2
1521399241,5cyclictest19803-21perf2
1521399241,20cyclictest10333-21gdbus2
15209992415,5cyclictest21661-21ls1
243402230,3sleep20-21swapper/22
1521399233,18cyclictest21547-21latency_hist2
1521399233,17cyclictest8583-21latency_hist2
1521399232,12cyclictest4791-21chrt2
15213992317,3cyclictest1388-21munin-run2
15213992315,5cyclictest505-21dbus-daemon2
15213992315,5cyclictest505-21dbus-daemon2
1521399231,19cyclictest15995-21munin-run2
15218992217,3cyclictest18899-21open_files3
15218992217,3cyclictest18899-21open_files3
1521399223,17cyclictest27062-21cat2
1521399222,17cyclictest17104-21cut2
15213992217,3cyclictest3615-21cat2
15213992217,3cyclictest3615-21cat2
1521399221,5cyclictest27739-21munin-run2
15213992214,5cyclictest553-21grep2
1521399221,18cyclictest10333-21gdbus2
15213992211,7cyclictest505-21dbus-daemon2
1520999223,13cyclictest0-21swapper/11
15209992215,4cyclictest1384-21cron1
15209992214,5cyclictest4957-21aten2.4-expect1
15209992214,5cyclictest32297-21dump-pmu-power1
15209992213,5cyclictest505-21dbus-daemon1
15207992215,5cyclictest3321-21sendmail0
15207992215,4cyclictest18777-21cron0
15218992115,4cyclictest6474-21df_inode3
15218992115,4cyclictest505-21dbus-daemon3
15218992115,4cyclictest13132-21users3
15218992115,3cyclictest5060-21cut3
15218992115,3cyclictest505-21dbus-daemon3
15218992114,4cyclictest7568-21kernelversion3
1521399212,17cyclictest4636-21latency_hist2
1521399212,17cyclictest19589-21cat2
1521399212,17cyclictest18020-21latency_hist2
15213992115,4cyclictest9694-21diskstats2
15213992115,4cyclictest11225-21sed2
15213992115,3cyclictest17380-21cat2
1521399211,4cyclictest11483-1kworker/2:0H2
1521399211,3cyclictest11483-1kworker/2:0H2
15213992113,4cyclictest2564-21sendmail-mta2
1521399211,18cyclictest23004-21cat2
1521399211,17cyclictest3428-21latency_hist2
1521399211,17cyclictest17994-21tr2
1521399210,4cyclictest23842-21cron2
1521399210,18cyclictest18462-1kworker/2:0H2
1520999213,15cyclictest18504-21grep1
1520999213,15cyclictest18504-21grep1
15209992115,4cyclictest28045-21ntpq1
15209992115,3cyclictest17574-21cron1
15209992114,5cyclictest7010-21awk1
15209992114,4cyclictest25594-21sh1
15209992114,3cyclictest18344-21aten2.4-expect1
15209992112,5cyclictest1-21systemd1
1520999211,17cyclictest24619-21grep1
15207992115,4cyclictest32720-21seq0
15207992115,4cyclictest31681-21seq0
15207992115,4cyclictest29563-21seq0
15207992115,4cyclictest12151-21df0
15207992114,5cyclictest21913-21apt-get0
163042200,1sleep10-21swapper/11
15218992018,1cyclictest0-21swapper/33
15218992015,3cyclictest28947-21cron3
15218992015,3cyclictest23974-21ntpq3
15218992015,3cyclictest2389-21memory3
15218992015,3cyclictest2389-21memory3
15218992014,4cyclictest9681-21df3
15218992014,4cyclictest31266-21hostname3
15218992014,4cyclictest3012-21grep3
15218992014,3cyclictest665-21runrttasks3
15218992014,3cyclictest18477-21kernelversion3
15218992013,4cyclictest15820-21apt-get3
1521399203,9cyclictest9677-21apt-get2
1521399203,12cyclictest3598-21apt-get2
1521399202,16cyclictest4525-21latency_hist2
1521399202,16cyclictest25702-21latency_hist2
1521399202,16cyclictest16757-21latency_hist2
15213992015,3cyclictest505-21dbus-daemon2
15213992015,3cyclictest29650-21sed2
15213992015,3cyclictest22504-21sed2
15213992014,4cyclictest27750-21date2
15213992013,4cyclictest31046-21idleruntime2
1521399201,2cyclictest11483-1kworker/2:0H2
1521399201,17cyclictest9856-21munin-run2
1521399201,17cyclictest7971-21cat2
1521399201,17cyclictest25986-21cat2
1521399201,17cyclictest17684-21cat2
1521399201,17cyclictest17181-21apt2
1521399201,17cyclictest11483-1kworker/2:0H2
15209992015,3cyclictest28001-21/usr/sbin/munin1
15209992015,3cyclictest22066-21/usr/sbin/munin1
15209992014,4cyclictest29019-21sed1
15209992014,4cyclictest2082-21systemd-journal1
15209992014,4cyclictest1417-21date1
15209992013,5cyclictest10971-21avahi-daemon1
15209992012,5cyclictest505-21dbus-daemon1
15209992012,5cyclictest27744-21sendmail1
15209992012,5cyclictest23939-21awk1
15209992012,4cyclictest2082-21systemd-journal1
15209992012,4cyclictest17963-21aten2.4-expect1
15209992011,5cyclictest505-21dbus-daemon1
15209992011,5cyclictest31721-21grep1
15207992016,3cyclictest9-21ksoftirqd/00
15207992016,3cyclictest9-21ksoftirqd/00
15207992015,3cyclictest30308-21cut0
15207992015,3cyclictest17604-21unixbench_singl0
15207992015,3cyclictest1220-21sh0
15207992014,4cyclictest29695-21seq0
15207992014,4cyclictest27469-21seq0
15207992014,4cyclictest24515-21cat0
15207992014,4cyclictest2037-21sed0
15207992014,4cyclictest14951-21seq0
15207992013,5cyclictest31438-21seq0
15207992013,5cyclictest21614-21seq0
15207992013,5cyclictest14642-21sh0
15207992013,4cyclictest12936-21apt-get0
1520799201,17cyclictest9874-21sleep0
15207992011,6cyclictest22084-21apt-get0
15207992010,6cyclictest12182-21apt-get0
1520799200,19cyclictest0-21swapper/00
236542190,2sleep00-21swapper/00
1521899192,14cyclictest24579-21head3
15218991914,3cyclictest5979-21expr3
15218991914,3cyclictest32595-21sshd3
15218991914,3cyclictest31405-21open_files3
15218991914,3cyclictest28057-21aten2_r9power_e3
15218991914,3cyclictest25665-21expr3
15218991914,3cyclictest24529-21cat3
15218991914,3cyclictest21858-21missed_timers3
15218991914,3cyclictest19918-21cpu3
15218991914,3cyclictest18809-21switchtime3
15218991914,3cyclictest15410-21sh3
15218991914,3cyclictest14740-21ls3
15218991914,3cyclictest13797-21ntp_offset3
15218991914,3cyclictest12515-21cat3
15218991914,3cyclictest11785-21ntp_states3
15218991913,4cyclictest32198-21cat3
15218991913,4cyclictest19477-21expr3
15218991913,4cyclictest16358-21telnet3
15218991913,4cyclictest15946-21basename3
15218991913,4cyclictest13316-21date3
15218991913,3cyclictest3731-21cpu3
15218991912,4cyclictest27962-21wc3
15218991912,4cyclictest20288-21sed3
15218991911,5cyclictest29626-21df3
15218991911,5cyclictest29626-21df3
1521399199,6cyclictest31959-21apt-get2
1521399197,10cyclictest15121-21latency_hist2
15213991914,3cyclictest20846-21cat2
15213991913,4cyclictest28352-21cstates2
15213991913,4cyclictest12799-21sed2
15213991912,4cyclictest20257-21cat2
1521399191,17cyclictest0-21swapper/22
1521399190,3cyclictest26729-1kworker/2:0H2
1521399190,3cyclictest18462-1kworker/2:0H2
1521399190,17cyclictest15626-21cat2
1521399190,16cyclictest2374-1kworker/2:2H2
15209991915,2cyclictest26118-21/usr/sbin/munin1
15209991914,3cyclictest23736-21sed1
15209991914,3cyclictest18098-21ls1
15209991914,3cyclictest12073-21sed1
15209991913,4cyclictest3504-21latency_hist1
15209991913,4cyclictest3504-21latency_hist1
15209991913,4cyclictest30732-21sed1
15209991913,4cyclictest20959-21sed1
15209991913,4cyclictest15671-21ls1
15209991913,4cyclictest13580-21cut1
15209991913,3cyclictest11721-21/usr/sbin/munin1
15209991912,4cyclictest27205-21grep1
15209991912,4cyclictest0-21swapper/11
15209991912,3cyclictest793-21aten2.4-expect1
15209991911,5cyclictest17193-21basename1
15207991915,2cyclictest9179-21cstates0
15207991914,3cyclictest4770-21/usr/sbin/munin0
15207991914,3cyclictest21660-21cat0
15207991914,3cyclictest19328-21which0
15207991914,3cyclictest17343-21munin-node0
15207991914,3cyclictest15516-21cpu0
15207991914,3cyclictest15365-21seq0
15207991914,3cyclictest15152-21perf0
15207991914,3cyclictest11735-21cat0
15207991913,4cyclictest6204-21cat0
15207991913,4cyclictest27426-21cat0
15207991913,4cyclictest25482-21expr0
15207991913,4cyclictest12612-21seq0
15207991913,4cyclictest10737-21seq0
15207991912,4cyclictest7617-21seq0
15207991911,5cyclictest10113-21apt-get0
15218991814,2cyclictest5542-21kernelversion3
15218991814,2cyclictest25874-21aten2_r9power_c3
15218991814,2cyclictest1454-21irqstats3
15218991813,3cyclictest7981-21cat3
15218991813,3cyclictest28113-21cat3
15218991813,3cyclictest1881-21expr3
15218991813,3cyclictest15659-21cut3
15218991813,3cyclictest12067-21missed_timers3
15218991812,4cyclictest7699-21uname3
15218991812,4cyclictest3366-21cat3
15218991812,4cyclictest22084-21apt-get3
15218991812,4cyclictest15673-21expr3
15218991812,4cyclictest10041-21cat3
15218991812,3cyclictest8100-21aten2_r9power_c3
15218991812,3cyclictest32102-21sh3
15218991811,4cyclictest1448-21missed_timers3
15213991814,2cyclictest20633-21missed_timers2
15213991813,3cyclictest18956-21latency2
1521399180,16cyclictest0-21swapper/22
15209991816,1cyclictest0-21swapper/11
15209991816,1cyclictest0-21swapper/11
15209991815,1cyclictest0-21swapper/11
15209991814,2cyclictest8828-21/usr/sbin/munin1
15209991814,2cyclictest29912-21/usr/sbin/munin1
15209991814,2cyclictest16997-21/usr/sbin/munin1
15209991814,2cyclictest10094-21/usr/sbin/munin1
15209991813,3cyclictest9249-21/usr/sbin/munin1
15209991813,3cyclictest8075-21/usr/sbin/munin1
15209991813,3cyclictest6908-21/usr/sbin/munin1
15209991813,3cyclictest5222-21forks1
15209991813,3cyclictest31031-21sed1
15209991813,3cyclictest31031-21sed1
15209991813,3cyclictest21467-21vmstat1
15209991812,4cyclictest665-21runrttasks1
15209991812,4cyclictest6375-21cut1
15209991812,4cyclictest15656-21seq1
1520999181,14cyclictest3608-21basename1
1520799188,8cyclictest20385-21gltestperf0
1520799182,3cyclictest9-21ksoftirqd/00
1520799182,3cyclictest9-21ksoftirqd/00
15207991814,2cyclictest32279-21sendmail_mailst0
15207991813,3cyclictest6038-21acpi0
15207991813,3cyclictest4176-21seq0
15207991813,3cyclictest3500-40invoke-rc.d0
15207991813,3cyclictest3500-40invoke-rc.d0
15207991813,3cyclictest32002-21seq0
15207991813,3cyclictest2082-21systemd-journal0
15207991813,3cyclictest17578-21sed0
15207991813,3cyclictest15478-21cat0
15207991813,3cyclictest11309-21seq0
15207991812,4cyclictest7611-21cat0
15207991812,4cyclictest6623-21seq0
15207991812,4cyclictest3988-21cat0
15207991812,4cyclictest32214-21expr0
15207991812,4cyclictest22681-21ntpq0
15207991812,3cyclictest19788-21dpkg0
15207991811,4cyclictest26379-21df0
15218991712,3cyclictest31317-21grep3
15218991712,3cyclictest22247-21forks3
15218991712,3cyclictest20495-21entropy3
15218991712,3cyclictest10819-21cat3
15218991711,4cyclictest28891-21cat3
15218991711,4cyclictest26295-21seq3
15218991711,4cyclictest25760-21date3
15218991711,4cyclictest22820-21pluginstate3
15213991713,2cyclictest28956-21latency_hist2
15213991713,2cyclictest1525-21/usr/sbin/munin2
1521399170,15cyclictest0-21swapper/22
1520999179,5cyclictest18213-21gltestperf1
1520999173,9cyclictest21807-21apt-get1
15209991713,2cyclictest2855-21/usr/sbin/munin1
15209991712,3cyclictest11494-21tr1
1520999170,1cyclictest0-21swapper/11
15207991712,3cyclictest5176-21xargs0
15207991712,3cyclictest17507-21seq0
15207991711,4cyclictest18186-21expr0
15218991611,3cyclictest9470-21interrupts3
15209991610,4cyclictest7735-21cut1
1520799166,6cyclictest23836-21apt-get0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional