You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-16 - 05:31
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Sun Nov 16, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
203342315278,24sleep30-21swapper/33
202662295258,25sleep10-21swapper/11
203062294257,25sleep00-21swapper/00
2068999257253,2cyclictest0-21swapper/00
203382237201,23sleep20-21swapper/22
2069999209206,2cyclictest0-21swapper/22
2070399153149,2cyclictest0-21swapper/33
2069299125118,4cyclictest32427-21strings1
183002550,1sleep10-21swapper/11
105892530,4sleep3341rcuc/33
2070399350,33cyclictest4005-21kworker/3:23
2070399280,7cyclictest35-21ksoftirqd/33
2070399270,15cyclictest121942expr3
20699992610,13cyclictest10658-21latency_hist2
20692992513,7cyclictest29981-21apt-get1
20703992410,3cyclictest35-21ksoftirqd/33
20699992419,3cyclictest26791-21cut2
2068999243,19cyclictest0-21swapper/00
220152230,2sleep10-21swapper/11
20703992318,3cyclictest35-21ksoftirqd/33
20703992314,5cyclictest9642-21apt-get3
2070399231,3cyclictest111rcu_preempt3
20703992312,4cyclictest35-21ksoftirqd/33
2069999238,4cyclictest21595-21sh2
2069999234,17cyclictest12665-21cat2
2069999232,3cyclictest0-21swapper/22
20699992318,3cyclictest16695-21sed2
20699992316,4cyclictest15032-21sh2
2069999231,4cyclictest1320-21munin-run2
2069999231,19cyclictest505-21dbus-daemon2
2069999231,19cyclictest11566-21munin-run2
2070399226,4cyclictest35-21ksoftirqd/33
2069999223,17cyclictest5145-21cat2
2069999223,17cyclictest31258-21cat2
2069999223,17cyclictest3107-21cat2
2069999223,17cyclictest20024-21awk2
20699992216,3cyclictest24770-21sh2
2069999221,4cyclictest10333-21gdbus2
2069999220,4cyclictest7030-21munin-run2
20692992217,3cyclictest18645-21ntpq1
20692992215,5cyclictest2399-21ls1
2069299220,20cyclictest0-21swapper/11
2070399218,2cyclictest111rcu_preempt3
2070399212,7cyclictest0-21swapper/33
20703992116,3cyclictest35-21ksoftirqd/33
20703992116,3cyclictest35-21ksoftirqd/33
20703992116,3cyclictest25643-21sh3
20703992113,2cyclictest35-21ksoftirqd/33
2069999219,10cyclictest31194-21ls2
2069999213,16cyclictest2386-21latency_hist2
2069999212,17cyclictest0-21swapper/22
2069999212,16cyclictest0-21swapper/22
20699992115,3cyclictest26317-21sed2
2069999211,4cyclictest14639-21sendmail-mta2
2069999211,17cyclictest31349-21munin-run2
2069999211,17cyclictest25244-21munin-run2
2069999211,17cyclictest25244-21munin-run2
2069999211,17cyclictest22071-21sendmail-mta2
2069999211,17cyclictest2123-1kworker/2:2H2
2069999211,17cyclictest17756-21apt-config2
2069999211,17cyclictest15622-21cron2
2069999210,3cyclictest26990-1kworker/2:0H2
20692992116,3cyclictest26866-21ls1
20692992116,3cyclictest12578-21dump-pmu-power1
20692992115,4cyclictest9174-21diskstats1
20692992115,4cyclictest5417-21basename1
20692992115,4cyclictest14748-21seq1
20692992114,4cyclictest11386-21seq1
20689992118,2cyclictest101rcuc/00
20689992115,4cyclictest25414-21sed0
20689992115,4cyclictest25414-21sed0
20689992115,4cyclictest13316-21gltestperf0
20689992114,4cyclictest20209-21date0
2070399206,4cyclictest35-21ksoftirqd/33
2070399204,7cyclictest0-21swapper/33
2070399204,2cyclictest111rcu_preempt3
20703992018,1cyclictest0-21swapper/33
20703992017,2cyclictest0-21swapper/33
20703992016,3cyclictest35-21ksoftirqd/33
20703992015,3cyclictest35-21ksoftirqd/33
20703992015,3cyclictest35-21ksoftirqd/33
20703992015,3cyclictest341rcuc/33
20703992015,3cyclictest2746-21threads3
20703992015,3cyclictest22687-21latency_hist3
20703992014,4cyclictest973-21expr3
20703992014,4cyclictest505-21dbus-daemon3
20703992014,4cyclictest25442-21diskstats3
20703992014,4cyclictest21365-21expr3
20703992014,4cyclictest14716-21ntpq3
20703992014,4cyclictest12384-21threads3
20703992014,3cyclictest17277-21uptime3
2070399201,3cyclictest111rcu_preempt3
2070399201,3cyclictest111rcu_preempt3
20703992012,2cyclictest35-21ksoftirqd/33
20703992012,2cyclictest35-21ksoftirqd/33
20703992011,2cyclictest35-21ksoftirqd/33
2069999208,9cyclictest0-21swapper/22
2069999207,11cyclictest0-21swapper/22
20699992015,3cyclictest8219-21idleruntime2
20699992015,3cyclictest8219-21idleruntime2
20699992015,3cyclictest8026-21pluginstate2
20699992015,3cyclictest4827-21latency_hist2
20699992015,3cyclictest28914-21grep2
20699992013,4cyclictest5374-21ls2
2069999201,17cyclictest26089-21munin-run2
2069999201,17cyclictest2506-1kworker/2:1H2
2069999200,3cyclictest9634-21sort2
2069999200,3cyclictest22797-21irqstats2
2069999200,3cyclictest17273-1kworker/2:0H2
2069999200,19cyclictest0-21swapper/22
2069999200,17cyclictest19282-21dpkg2
20692992016,3cyclictest21-21ksoftirqd/11
20692992015,3cyclictest4026-21cat1
20692992015,3cyclictest27541-21/usr/sbin/munin1
20692992015,3cyclictest25010-21seq1
20692992015,3cyclictest25010-21seq1
20692992015,3cyclictest23691-21uptime1
20692992015,3cyclictest21295-21forks1
20692992015,3cyclictest19793-21/usr/sbin/munin1
20692992014,4cyclictest8727-21seq1
20692992014,4cyclictest2653-21/usr/sbin/munin1
20692992014,4cyclictest16527-21seq1
20692992014,4cyclictest15272-21seq1
20692992014,4cyclictest13265-21seq1
20692992014,3cyclictest22491-21awk1
20692992013,4cyclictest2972-21cron1
20692992012,5cyclictest31166-21sendmail1
20692992010,6cyclictest15736-21apt-get1
2068999202,15cyclictest16977-21grep0
20689992015,3cyclictest6946-21seq0
20689992015,3cyclictest620-21seq0
20689992015,3cyclictest27607-21aten2_r9power_e0
20689992015,3cyclictest22726-21diskstats0
20689992015,3cyclictest18655-21ntp_offset0
20689992015,3cyclictest15891-21aten2_r9power_c0
20689992014,4cyclictest4468-21seq0
20689992014,4cyclictest1021-21df0
89902190,2sleep00-21swapper/00
2070399196,2cyclictest111rcu_preempt3
20703991917,1cyclictest0-21swapper/33
20703991915,3cyclictest35-21ksoftirqd/33
20703991915,2cyclictest12957-21cpu3
20703991914,3cyclictest5520-21entropy3
20703991914,3cyclictest35-21ksoftirqd/33
20703991914,3cyclictest27476-21expr3
20703991914,3cyclictest2604-21uptime3
20703991914,3cyclictest23217-21cpuspeed_turbos3
20703991914,3cyclictest1859-21ntp_kernel_pll_3
20703991913,3cyclictest8111-21diskstats3
20703991913,3cyclictest8111-21diskstats3
20703991910,3cyclictest111rcu_preempt3
2070399190,10cyclictest16577-21chrt3
20699991916,2cyclictest0-21swapper/22
20699991916,2cyclictest0-21swapper/22
20699991914,3cyclictest31958-21idleruntime2
20699991914,3cyclictest26313-21expr2
20699991914,3cyclictest21524-21wc2
20699991914,3cyclictest19319-21expr2
20699991914,3cyclictest16004-21cat2
2069999191,3cyclictest2506-1kworker/2:1H2
2069999191,16cyclictest4460-21awk2
2069999191,15cyclictest505-21dbus-daemon2
2069999190,3cyclictest15485-21perf2
2069999190,17cyclictest7554-21cat2
2069999190,17cyclictest13586-21latency_hist2
20692991915,2cyclictest7664-21/usr/sbin/munin1
20692991915,2cyclictest7664-21/usr/sbin/munin1
20692991915,2cyclictest19663-21/usr/sbin/munin1
20692991914,3cyclictest9132-21/usr/sbin/munin1
20692991914,3cyclictest6703-21/usr/sbin/munin1
20692991914,3cyclictest604-21sendmail-mta1
20692991914,3cyclictest30406-21seq1
20692991914,3cyclictest27938-21/usr/sbin/munin1
20692991914,3cyclictest27473-21seq1
20692991914,3cyclictest26663-21/usr/sbin/munin1
20692991914,3cyclictest22981-21/usr/sbin/munin1
20692991914,3cyclictest17310-21sh1
20692991914,3cyclictest13837-21/usr/sbin/munin1
20692991914,3cyclictest12807-21/usr/sbin/munin1
20692991913,4cyclictest31570-21sed1
20692991913,4cyclictest26087-21latency_hist1
20692991913,4cyclictest14293-21cat1
20692991913,3cyclictest20835-21if_enp2s01
20692991912,5cyclictest2800-21systemctl1
20692991912,4cyclictest6149-21awk1
20692991910,7cyclictest8421-21unixbench_multi1
2069299190,17cyclictest0-21swapper/11
2068999194,13cyclictest26026-21cut0
20689991915,2cyclictest19793-21/usr/sbin/munin0
20689991914,3cyclictest665-21runrttasks0
20689991914,3cyclictest4566-21seq0
20689991914,3cyclictest29963-21/usr/sbin/munin0
20689991914,3cyclictest2798-21apt0
20689991914,3cyclictest27059-21acpi0
20689991914,3cyclictest20842-21/usr/sbin/munin0
20689991914,3cyclictest20350-21latency0
20689991914,3cyclictest18103-21ls0
20689991914,3cyclictest14954-21cat0
20689991914,3cyclictest10686-21seq0
20689991913,4cyclictest7286-21apt0
20689991913,4cyclictest5186-21cat0
20689991913,4cyclictest31444-21cat0
20689991913,4cyclictest17211-21date0
20689991913,3cyclictest23972-21aten2.4-expect0
20689991912,5cyclictest2089-21grep0
121932190,3sleep00-21swapper/00
2070399185,3cyclictest35-21ksoftirqd/33
20703991816,1cyclictest0-21swapper/33
20703991816,1cyclictest0-21swapper/33
20703991814,2cyclictest4143-21swap3
20703991813,3cyclictest7554-21forks3
20703991813,3cyclictest7146-21cat3
20703991813,3cyclictest30275-21cat3
20703991813,3cyclictest27542-21ntp_offset3
20703991813,3cyclictest26770-21ntp_kernel_err3
20703991813,3cyclictest24504-21ps3
20703991813,3cyclictest24504-21ps3
20703991813,3cyclictest14148-21sh3
20703991812,4cyclictest29144-21fw_packets3
2069999186,3cyclictest221142expr2
20699991814,2cyclictest32598-21cat2
20699991814,2cyclictest13015-21latency_hist2
20699991813,3cyclictest5071-21/usr/sbin/munin2
20699991813,3cyclictest22702-21expr2
2069999181,15cyclictest30474-21munin-run2
2069299183,9cyclictest9071-21apt-get1
20692991816,1cyclictest0-21swapper/11
20692991815,2cyclictest0-21swapper/11
20692991814,2cyclictest4426-21grep1
20692991814,2cyclictest25511-21/usr/sbin/munin1
20692991813,3cyclictest7086-21seq1
20692991813,3cyclictest665-21runrttasks1
20692991813,3cyclictest665-21runrttasks1
20692991813,3cyclictest26097-21switchtime1
20692991813,3cyclictest19329-21expr1
20692991812,4cyclictest6396-21unixbench_multi1
20692991812,4cyclictest12510-21ntp_kernel_err1
2069299180,16cyclictest0-21swapper/11
2068999182,14cyclictest6448-21cron0
20689991814,2cyclictest9741-21apt0
20689991814,2cyclictest29344-21uptime0
20689991814,2cyclictest23729-21/usr/sbin/munin0
20689991814,2cyclictest17309-21/usr/sbin/munin0
20689991814,2cyclictest13249-21/usr/sbin/munin0
20689991813,3cyclictest7486-21expr0
20689991813,3cyclictest7219-21cut0
20689991813,3cyclictest665-21runrttasks0
20689991813,3cyclictest32000-21cat0
20689991813,3cyclictest3076-21expr0
20689991813,3cyclictest26103-21sendmail0
20689991813,3cyclictest23622-21turbostat.cron0
20689991813,3cyclictest22516-21seq0
20689991813,3cyclictest15406-21basename0
20689991813,3cyclictest14242-21expr0
20689991813,3cyclictest11634-21cat0
20689991813,3cyclictest11311-21sh0
20689991813,3cyclictest10773-21seq0
20689991812,4cyclictest26735-21uname0
20689991812,4cyclictest23622-21cat0
20689991811,4cyclictest29087-21cat0
20699991711,4cyclictest16088-21expr2
20692991714,2cyclictest0-21swapper/11
20692991712,3cyclictest31844-21sh1
20692991712,3cyclictest24019-21cpu1
20689991715,1cyclictest0-21swapper/00
20689991712,3cyclictest6589-21seq0
20689991712,3cyclictest19337-21expr0
20689991712,3cyclictest1225-21cut0
20689991711,4cyclictest5725-21aten2_r9power_e0
20689991711,4cyclictest25876-21hostname0
20689991711,4cyclictest23840-21ntpq0
20703991611,3cyclictest22085-21expr3
2069999160,1cyclictest0-21swapper/22
20689991612,2cyclictest27259-21if_enp3s00
20689991611,3cyclictest8033-21expr0
20689991611,3cyclictest8033-21expr0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional