You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-24 - 10:49
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Fri Oct 24, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
288622301263,25sleep20-21swapper/22
2909399279271,5cyclictest1240-21apt-get1
2908899271264,4cyclictest1252-21sendmail0
286662261196,34sleep10-21swapper/11
289552256181,25sleep00-21swapper/00
288782256221,23sleep30-21swapper/33
2973821720,3sleep12909399cyclictest1
2910399127122,3cyclictest1276-21lockfile-create3
398721200,5sleep32910399cyclictest3
2909899115110,3cyclictest1232-21munin-run2
204922630,3sleep00-21swapper/00
290202560,3sleep10-21swapper/11
243082480,1sleep10-21swapper/11
202752450,2sleep3341rcuc/33
273742430,2sleep10-21swapper/11
194632380,2sleep30-21swapper/33
296292260,1sleep00-21swapper/00
58742250,1sleep30-21swapper/33
29098992513,3cyclictest30450-21needreboot2
288952250,5sleep128891-21unixbench-2d1
276132250,3sleep10-21swapper/11
158612240,3sleep22909899cyclictest2
144312240,2sleep30-21swapper/33
29098992318,3cyclictest28-21ksoftirqd/22
2909899231,4cyclictest1770-21/usr/sbin/munin2
29098992311,3cyclictest218082cat2
29098992311,10cyclictest32665-21seq2
29093992318,3cyclictest8695-21cut1
29093992316,4cyclictest19130-21uname1
22852230,1sleep30-21swapper/33
29103992216,4cyclictest15769-21sed3
29103992210,6cyclictest22851-21apt-get3
2909899223,17cyclictest26802-21cat2
2909899223,17cyclictest26802-21cat2
2909899223,17cyclictest26012-21cat2
29098992217,3cyclictest9078-21vmstat2
2909899221,3cyclictest6419-21munin-run2
2909899221,19cyclictest21886-21munin-run2
2909899221,19cyclictest1-21systemd2
29093992216,3cyclictest26945-21grep1
29093992215,4cyclictest16690-21uname1
25662220,1sleep30-21swapper/33
29103992116,3cyclictest9452-21sh3
29103992116,3cyclictest35-21ksoftirqd/33
29103992116,3cyclictest32713-21cut3
2910399211,5cyclictest0-21swapper/33
29103992114,4cyclictest9124-21sed3
29103992114,4cyclictest9124-21sed3
29103992114,4cyclictest30146-21idleruntime-cro3
29103992112,5cyclictest32178-21idleruntime-cro3
29103992112,5cyclictest21279-21head3
2909899212,17cyclictest13939-21cat2
29098992116,3cyclictest20947-21cron2
29098992116,3cyclictest1239-21unixbench-2d2
29098992115,4cyclictest3608-21munin-plugin-st2
29098992115,3cyclictest25889-21seq2
2909899211,3cyclictest27675-1kworker/2:2H2
2909899211,18cyclictest32157-21munin-run2
2909899211,17cyclictest13523-21munin-run2
2909899210,19cyclictest32060-21munin-run2
2909899210,19cyclictest0-21swapper/22
2909399212,17cyclictest0-21swapper/11
29093992115,4cyclictest24854-21/usr/sbin/munin1
29093992115,4cyclictest24854-21/usr/sbin/munin1
29093992115,3cyclictest32752-21sh1
29093992113,5cyclictest10078-21apt-key1
29093992113,5cyclictest10078-21apt-key1
2909399211,15cyclictest11475-21munin-run1
29088992117,3cyclictest17524-21munin-node0
29088992115,4cyclictest7103-21fw_packets0
29088992114,5cyclictest505-21dbus-daemon0
2908899210,19cyclictest9326-21seq0
2910399203,10cyclictest25747-21apt-get3
29103992015,3cyclictest8036-21cpu3
29103992015,3cyclictest7266-21uptime3
29103992015,3cyclictest16866-21entropy3
29103992014,4cyclictest505-21dbus-daemon3
29103992014,4cyclictest2662-21cut3
29103992013,4cyclictest32104-21diskstats3
29103992013,4cyclictest25733-21latency_hist3
29103992013,4cyclictest10770-21sh3
29103992013,4cyclictest10770-21sh3
29103992012,4cyclictest12818-21sh3
29098992015,3cyclictest6662-21processes2
29098992015,3cyclictest3839-21ls2
29098992015,3cyclictest29590-21interrupts2
29098992014,4cyclictest30304-21cat2
29098992014,4cyclictest29849-21seq2
29098992014,4cyclictest19649-21ls2
29098992014,4cyclictest15431-21ls2
29098992014,4cyclictest14171-21expr2
29098992014,4cyclictest10870-21ls2
29098992014,4cyclictest10870-21ls2
29098992014,4cyclictest10333-21gdbus2
29098992014,3cyclictest23239-21apt-get2
2909899201,2cyclictest16185-21munin-run2
2909899201,17cyclictest22975-21munin-run2
2909899201,17cyclictest18209-21munin-run2
2909899200,3cyclictest14882-21latency_hist2
2909899200,18cyclictest10334-21munin-node2
2909399208,7cyclictest31680-21apt-get1
2909399202,15cyclictest29788-21cut1
29093992014,4cyclictest3602-21/usr/sbin/munin1
29093992014,4cyclictest29527-21sed1
29093992014,4cyclictest16697-21ntp_states1
29093992014,4cyclictest12286-21sed1
29093992014,4cyclictest10369-21grep1
29093992014,4cyclictest10369-21grep1
29093992013,4cyclictest21659-21seq1
29093992013,4cyclictest15948-21cut1
2908899209,7cyclictest20820-21apt-get0
29088992016,2cyclictest23957-21/usr/sbin/munin0
29088992015,3cyclictest7275-21seq0
29088992015,3cyclictest25551-21acpi0
29088992014,4cyclictest18645-21cat0
29088992014,4cyclictest15091-21acpi0
29088992011,6cyclictest22145-21apt-get0
29088992010,8cyclictest30144-21perf0
29088992010,6cyclictest19924-21apt-get0
148652200,2sleep30-21swapper/33
29103991916,2cyclictest0-21swapper/33
29103991914,3cyclictest9968-21cut3
29103991914,3cyclictest35-21ksoftirqd/33
29103991914,3cyclictest27303-21swap3
29103991914,3cyclictest26804-21cat3
29103991914,3cyclictest26804-21cat3
29103991914,3cyclictest13916-21sed3
29103991913,4cyclictest19609-21latency_hist3
29103991913,3cyclictest1-21systemd3
29103991912,4cyclictest35-21ksoftirqd/33
2910399190,17cyclictest35-21ksoftirqd/33
2910399190,17cyclictest35-21ksoftirqd/33
2909899192,12cyclictest22851-21apt-get2
29098991914,3cyclictest891-21seq2
29098991914,3cyclictest8757-21ntp_kernel_pll_2
29098991914,3cyclictest5358-21seq2
29098991914,3cyclictest4585-21kernelversion2
29098991914,3cyclictest27958-21sendmail_mailst2
29098991914,3cyclictest22524-21cat2
29098991914,3cyclictest22062-21cat2
29098991914,3cyclictest19394-21unixbench_multi2
29098991914,3cyclictest11769-21cat2
29098991914,3cyclictest10709-21expr2
29098991912,5cyclictest20449-21cups-browsed2
2909899191,16cyclictest11518-21perf2
2909899190,3cyclictest23760-21latency_hist2
2909899190,3cyclictest23760-21latency_hist2
2909399193,10cyclictest21951-21apt-get1
2909399193,10cyclictest21951-21apt-get1
2909399192,12cyclictest0-21swapper/11
29093991915,2cyclictest16423-21/usr/sbin/munin1
29093991914,3cyclictest528-21/usr/sbin/munin1
29093991914,3cyclictest22833-21/usr/sbin/munin1
29093991914,3cyclictest22193-21processes1
29093991914,3cyclictest22127-21/usr/sbin/munin1
29093991914,3cyclictest15090-21/usr/sbin/munin1
29093991914,3cyclictest11169-21aten2_r9power_v1
29093991913,4cyclictest30270-21/usr/sbin/munin1
29093991913,4cyclictest23607-21expr1
29093991913,4cyclictest14981-21cat1
29093991913,4cyclictest13950-21seq1
29093991913,3cyclictest17808-21latency1
29093991912,4cyclictest6472-21expr1
29093991911,4cyclictest8430-21munin-plugin-st1
29093991911,4cyclictest0-21swapper/11
29093991910,5cyclictest505-21dbus-daemon1
2909399190,17cyclictest0-21swapper/11
2908899197,10cyclictest25936-21munin-run0
29088991915,2cyclictest1903-21/usr/sbin/munin0
29088991914,3cyclictest6230-21seq0
29088991914,3cyclictest6183-21expr0
29088991914,3cyclictest28195-21cat0
29088991914,3cyclictest27245-21ls0
29088991914,3cyclictest23635-21expr0
29088991914,3cyclictest21196-21/usr/sbin/munin0
29088991914,3cyclictest12032-21aten2_r9power_e0
29088991914,3cyclictest11724-21latency_hist0
29088991913,4cyclictest8506-21cat0
29088991913,4cyclictest27850-21seq0
29088991913,4cyclictest2382-21cat0
29088991913,4cyclictest23799-21grep0
29088991913,4cyclictest1710-21seq0
29088991913,4cyclictest14185-21expr0
29088991913,4cyclictest12370-21cat0
29088991913,4cyclictest11035-21latency0
29088991912,4cyclictest13449-21expr0
2908899190,6cyclictest148642ntp_kernel_pll_0
2908899190,17cyclictest3620-21apt-get0
2910399182,4cyclictest25001-21munin-run3
2910399182,1cyclictest0-21swapper/33
29103991816,1cyclictest0-21swapper/33
29103991816,1cyclictest0-21swapper/33
29103991816,1cyclictest0-21swapper/33
29103991816,1cyclictest0-21swapper/33
29103991816,1cyclictest0-21swapper/33
29103991816,1cyclictest0-21swapper/33
29103991816,1cyclictest0-21swapper/33
29103991815,2cyclictest18920-21sendmail3
29103991813,3cyclictest4486-21kernelversion3
29103991813,3cyclictest30892-21sed3
29103991812,3cyclictest16036-21acpi3
2910399181,16cyclictest0-21swapper/33
29103991811,4cyclictest21331-21gltestperf3
2910399180,16cyclictest0-21swapper/33
2910399180,16cyclictest0-21swapper/33
29098991814,2cyclictest3695-21latency_hist2
29098991814,2cyclictest17272-21cpu2
2909899181,3cyclictest25989-21sendmail-mta2
29098991813,3cyclictest9218-21cat2
29098991813,3cyclictest9218-21cat2
29098991813,3cyclictest7526-21seq2
29098991813,3cyclictest4383-21idleruntime-cro2
29098991813,3cyclictest32720-21df2
29098991813,3cyclictest16978-21ls2
29098991813,3cyclictest12372-21acpi2
29098991812,4cyclictest27976-21cat2
29098991811,4cyclictest6889-21cat2
2909399187,6cyclictest21843-21wc1
29093991816,1cyclictest0-21swapper/11
29093991814,2cyclictest23957-21/usr/sbin/munin1
29093991813,3cyclictest665-21runrttasks1
29093991813,3cyclictest4619-21/usr/sbin/munin1
29093991813,3cyclictest31591-21sed1
29093991813,3cyclictest1972-21/usr/sbin/munin1
29093991813,3cyclictest12011-21cut1
29093991812,4cyclictest32389-21cut1
29093991812,3cyclictest1649-21aten2.4-expect1
29093991811,5cyclictest4043-21cut1
29093991811,4cyclictest19287-21sed1
29093991811,4cyclictest13157-21sort1
29093991811,4cyclictest0-21swapper/11
29093991810,5cyclictest8846-21pmu-power1
29093991810,4cyclictest18127-21cpuspeed_turbos1
2909399180,16cyclictest0-21swapper/11
29088991815,2cyclictest0-21swapper/00
29088991815,2cyclictest0-21swapper/00
29088991814,2cyclictest20100-21/usr/sbin/munin0
29088991814,2cyclictest17741-21latency_hist0
29088991814,2cyclictest11741-21/usr/sbin/munin0
29088991813,3cyclictest7566-21seq0
29088991813,3cyclictest665-21runrttasks0
29088991813,3cyclictest4122-21grep0
29088991813,3cyclictest3923-21/usr/sbin/munin0
29088991813,3cyclictest32292-21/usr/sbin/munin0
29088991813,3cyclictest2150-21if_enp3s00
29088991813,3cyclictest19306-21grep0
29088991813,3cyclictest16864-21grep0
29088991813,3cyclictest11057-21apt0
29088991812,4cyclictest30037-21grep0
29088991812,4cyclictest28025-21seq0
29088991812,4cyclictest2384-21expr0
29088991812,4cyclictest22521-21cat0
29088991812,4cyclictest22521-21cat0
29088991812,4cyclictest15063-21cut0
29088991812,4cyclictest1345-21cat0
29088991811,5cyclictest505-21dbus-daemon0
29088991811,5cyclictest505-21dbus-daemon0
2908899180,16cyclictest0-21swapper/00
2908899180,16cyclictest0-21swapper/00
29103991712,3cyclictest21277-21sh3
29103991712,3cyclictest19961-21sed3
29103991711,4cyclictest24109-21sed3
29103991711,3cyclictest8727-21latency_hist3
29103991710,4cyclictest9813-21aten2_r9power_v3
29103991710,4cyclictest0-21swapper/33
29093991711,4cyclictest757-21sed1
29093991711,3cyclictest665-21runrttasks1
29093991711,3cyclictest20576-21gpgconf1
29093991711,3cyclictest0-21swapper/11
29093991710,4cyclictest14740-21cstates1
29088991713,2cyclictest29972-21cstates0
29088991712,3cyclictest665-21runrttasks0
29088991712,3cyclictest665-21runrttasks0
29088991712,3cyclictest4046-21seq0
29088991712,3cyclictest32043-21expr0
29088991712,3cyclictest31500-21sed0
29088991712,3cyclictest19000-21date0
29103991614,1cyclictest0-21swapper/33
29103991611,3cyclictest31577-21ls3
29103991610,4cyclictest31225-21wc3
29103991610,4cyclictest11782-21cut3
29098991611,3cyclictest14437-21diskstats2
2909899160,15cyclictest0-21swapper/22
29088991612,2cyclictest28925-21/usr/sbin/munin0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional