You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-08 - 05:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Sat Nov 08, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
65782299262,23sleep10-21swapper/11
57422294218,64sleep30-21swapper/33
6926992871,282cyclictest21667-21munin-run0
65382270230,26sleep00-21swapper/00
65842251191,47sleep20-21swapper/22
694199200192,5cyclictest21686-21perf3
693899144136,5cyclictest21691-21idleruntime-cro2
693399108102,3cyclictest0-21swapper/11
42262620,5sleep1693399cyclictest1
693899490,27cyclictest2878-21mailstats2
693899489,22cyclictest29540-21sh2
693899470,26cyclictest16863-21cat2
120182470,2sleep00-21swapper/00
693899451,21cyclictest22165-21kworker/u8:02
693899451,21cyclictest22165-21kworker/u8:02
693899450,23cyclictest10129-21date2
324762450,2sleep0692699cyclictest0
324762450,2sleep0692699cyclictest0
693899437,22cyclictest31102-21grep2
693899430,28cyclictest27437-21sed2
693899422,25cyclictest20321-21irqstats2
693899421,25cyclictest17435-21perf2
693899421,25cyclictest17435-21perf2
693899420,26cyclictest27394-21dpkg2
693899411,29cyclictest24728-21ps2
693899411,22cyclictest12649-21ntp_states2
693899410,29cyclictest14475-21/usr/sbin/munin2
693899410,25cyclictest7314-21telnet2
693899401,24cyclictest6738-21gdbus2
693899401,22cyclictest1545-21munin-run2
693899400,29cyclictest28041-21latency_hist2
693899400,25cyclictest9667-21unixbench_multi2
693899400,25cyclictest12468-21awk2
693899400,25cyclictest11664-21users2
693899391,23cyclictest0-21swapper/22
693899390,25cyclictest23701-21/usr/sbin/munin2
693899390,24cyclictest4748-21memory2
269582390,1sleep30-21swapper/33
693899380,24cyclictest4864-21expr2
693899380,24cyclictest23933-21/usr/sbin/munin2
693899380,24cyclictest19867-21ntp_states2
6938993715,20cyclictest31731-21uptime2
693899371,33cyclictest26867-21latency_hist2
192182370,1sleep00-21swapper/00
107162370,1sleep20-21swapper/22
693899361,2cyclictest0-21swapper/22
6938993612,21cyclictest21591-21awk2
693899360,33cyclictest4870-21munin-run2
693899360,2cyclictest18102-21/usr/sbin/munin2
693899351,3cyclictest26765-21ps2
6938993511,21cyclictest32678-21grep2
6938993511,21cyclictest32678-21grep2
693899350,32cyclictest13331-21df_inode2
693899350,21cyclictest5845-21seq2
693899341,31cyclictest10093-21latency_hist2
693899340,22cyclictest5469-21cstates2
693899340,22cyclictest28886-21aten2_r9power_v2
693899330,3cyclictest12562-21chrt2
6938993211,18cyclictest12689-21cpuspeed_turbos2
693899320,20cyclictest20376-21munin-run2
693899320,20cyclictest20376-21munin-run2
693899318,21cyclictest24583-21cut2
693899311,28cyclictest7082-21ntp_states2
693899311,27cyclictest16741-21pmu-power2
6938993111,18cyclictest9714-21sh2
6938993110,19cyclictest2272-21sed2
693899310,3cyclictest22097-21cstates2
693899310,2cyclictest30090-21latency_hist2
693899310,29cyclictest29832-21latency_hist2
693899310,28cyclictest2835-21diskstats2
693899310,28cyclictest2377-21diskstats2
693899310,28cyclictest22314-21/usr/sbin/munin2
693899301,25cyclictest6033-21apt-get2
693899300,27cyclictest22554-21/usr/sbin/munin2
693899300,27cyclictest22554-21/usr/sbin/munin2
693899300,27cyclictest1697-21interrupts2
693899300,27cyclictest15064-21latency_hist2
6933993019,3cyclictest21-21ksoftirqd/11
6933993011,7cyclictest21-21ksoftirqd/11
693899297,19cyclictest182502chrt2
6933992914,5cyclictest21-21ksoftirqd/11
693899281,24cyclictest7969-21/usr/sbin/munin2
693899281,24cyclictest7969-21/usr/sbin/munin2
693899281,24cyclictest17858-21/usr/sbin/munin2
693899281,22cyclictest11254-21apt-get2
693899280,25cyclictest14202-21df2
6933992816,3cyclictest21-21ksoftirqd/11
693399281,14cyclictest32115-21cron1
693899270,24cyclictest1824-21date2
693899270,24cyclictest10108-21open_files2
6933992616,6cyclictest24445-21sh1
6933992616,3cyclictest21-21ksoftirqd/11
693399256,2cyclictest111rcu_preempt1
693399254,10cyclictest21-21ksoftirqd/11
6933992513,3cyclictest21-21ksoftirqd/11
693399250,7cyclictest21-21ksoftirqd/11
692699258,2cyclictest111rcu_preempt0
692699258,2cyclictest111rcu_preempt0
6933992414,6cyclictest13791-21apt-get1
6926992410,3cyclictest9-21ksoftirqd/00
6933992317,3cyclictest32525-21cut1
6933992316,4cyclictest22317-21grep1
6933992316,4cyclictest21487-21readlink1
6933992312,6cyclictest0-21swapper/11
693399231,18cyclictest2082-21systemd-journal1
692699232,2cyclictest111rcu_preempt0
694199223,16cyclictest20987-21grep3
6941992216,4cyclictest24830-21cron3
6941992215,4cyclictest18373-21idleruntime-cro3
6933992218,2cyclictest201rcuc/11
6933992217,3cyclictest21-21ksoftirqd/11
6933992217,3cyclictest21-21ksoftirqd/11
6933992216,3cyclictest21-21ksoftirqd/11
692699221,16cyclictest19688-21apt-get0
6926992210,3cyclictest9-21ksoftirqd/00
692699220,2cyclictest111rcu_preempt0
6941992115,4cyclictest10838-21df_inode3
6941992114,5cyclictest17098-21aten2.4-expect3
6941992114,5cyclictest17098-21aten2.4-expect3
694199210,18cyclictest6002-21runrttasks3
693399218,4cyclictest21-21ksoftirqd/11
693399218,4cyclictest21-21ksoftirqd/11
693399215,4cyclictest21-21ksoftirqd/11
693399212,2cyclictest111rcu_preempt1
693399212,2cyclictest111rcu_preempt1
6933992115,4cyclictest3025-21sed1
6933992115,4cyclictest22460-21sed1
693399211,4cyclictest21-21ksoftirqd/11
6933992114,4cyclictest20758-21cron1
6933992114,4cyclictest18534-21wc1
6933992112,2cyclictest21-21ksoftirqd/11
692699212,2cyclictest111rcu_preempt0
6926992111,3cyclictest9-21ksoftirqd/00
25012210,1sleep00-21swapper/00
6941992015,3cyclictest3117-21aten2_r9power_c3
6941992015,3cyclictest30310-21aten2_r9power_v3
6941992015,3cyclictest25887-21sed3
6941992015,3cyclictest20635-21/usr/sbin/munin3
6941992014,4cyclictest4390-21cat3
6941992014,4cyclictest30105-21sh3
6941992014,4cyclictest19896-21pluginstate3
6941992014,4cyclictest19795-21sed3
6941992014,4cyclictest19795-21sed3
6941992014,4cyclictest16776-21sed3
6941992014,4cyclictest16776-21sed3
6941992014,3cyclictest25352-21kernelversion3
6941992013,5cyclictest1841-21telnet3
694199200,4cyclictest0-21swapper/33
694199200,19cyclictest0-21swapper/33
693399207,4cyclictest21-21ksoftirqd/11
693399203,10cyclictest8080-21apt-get1
693399201,7cyclictest0-21swapper/11
693399201,6cyclictest0-21swapper/11
693399201,6cyclictest0-21swapper/11
693399201,6cyclictest0-21swapper/11
693399201,6cyclictest0-21swapper/11
693399201,6cyclictest0-21swapper/11
6933992015,3cyclictest21-21ksoftirqd/11
6933992015,3cyclictest21-21ksoftirqd/11
6933992015,2cyclictest21-21ksoftirqd/11
6933992014,4cyclictest9697-21seq1
6933992014,4cyclictest8930-21seq1
6933992014,3cyclictest341-21/usr/sbin/munin1
6933992014,3cyclictest21-21ksoftirqd/11
6933992013,4cyclictest7776-21seq1
692699202,1cyclictest111rcu_preempt0
6926992015,3cyclictest7070-21/usr/sbin/munin0
6926992015,3cyclictest12918-21seq0
6926992014,4cyclictest31648-21grep0
6926992014,4cyclictest23380-21expr0
6926992014,4cyclictest20325-21seq0
6926992014,4cyclictest20325-21seq0
6926992014,4cyclictest1212-21grep0
6926992013,4cyclictest2082-21systemd-journal0
692699201,2cyclictest18368-21perf0
692699200,2cyclictest7811-21munin-run0
692699200,2cyclictest111rcu_preempt0
694199199,8cyclictest505-21dbus-daemon3
6941991917,1cyclictest0-21swapper/33
6941991914,3cyclictest5174-21sendmail_mailst3
6941991914,3cyclictest505-21dbus-daemon3
6941991914,3cyclictest3599-21sed3
6941991914,3cyclictest32442-21aten2_r9power_p3
6941991914,3cyclictest31742-21wc3
6941991914,3cyclictest31742-21wc3
6941991914,3cyclictest28285-21ntp_offset3
6941991914,3cyclictest14176-21sed3
6941991914,3cyclictest13248-21cut3
6941991914,3cyclictest12923-21irqstats3
6941991914,3cyclictest12887-21df3
6941991914,3cyclictest10929-21cut3
6941991913,4cyclictest8094-21cut3
6941991913,4cyclictest6348-21sed3
6941991913,4cyclictest2325-21sed3
6941991913,4cyclictest16209-21expr3
6941991913,3cyclictest29378-21if_err_enp2s03
6941991913,3cyclictest26834-21mailstats3
6941991913,3cyclictest1712-21kernelversion3
6941991912,4cyclictest9257-21diskstats3
6941991912,4cyclictest23951-21apt-get3
6941991912,4cyclictest23898-21cat3
694199191,16cyclictest9102-21ntp_states3
694199191,15cyclictest29963-21mktemp3
693399192,11cyclictest1951-21apt-get1
693399191,5cyclictest0-21swapper/11
693399191,5cyclictest0-21swapper/11
693399191,5cyclictest0-21swapper/11
693399191,5cyclictest0-21swapper/11
693399191,5cyclictest0-21swapper/11
693399191,5cyclictest0-21swapper/11
6933991915,2cyclictest9557-21cstates1
6933991914,3cyclictest29800-21cut1
6933991914,3cyclictest25771-21/usr/sbin/munin1
6933991914,3cyclictest18226-21expr1
693399191,3cyclictest21-21ksoftirqd/11
6933991913,4cyclictest22818-21wc1
6933991912,4cyclictest21-21ksoftirqd/11
6933991911,3cyclictest21-21ksoftirqd/11
693399190,6cyclictest31326-21kworker/u8:21
692699198,3cyclictest9-21ksoftirqd/00
6926991914,3cyclictest7127-21cat0
6926991914,3cyclictest3904-21seq0
6926991914,3cyclictest31340-21xargs0
6926991914,3cyclictest13117-21kernelversion0
6926991914,3cyclictest12271-21/usr/sbin/munin0
6926991913,4cyclictest9648-21df0
6926991913,4cyclictest4788-21sed0
6926991913,4cyclictest3554-21expr0
6926991913,4cyclictest24837-21awk0
6926991913,4cyclictest2201-21expr0
6926991913,4cyclictest21135-21hostname0
6926991913,4cyclictest13761-21ntpq0
6926991912,4cyclictest26811-21idleruntime0
692699190,3cyclictest10104-21cat0
692699190,16cyclictest6372-21awk0
694199183,9cyclictest14938-21apt-get3
6941991813,3cyclictest6855-21aten2_r9power_p3
6941991813,3cyclictest665-21runrttasks3
6941991813,3cyclictest16334-21turbostat3
6941991813,3cyclictest11248-21expr3
6941991812,4cyclictest31256-21pmu-power3
6941991812,4cyclictest14576-21sed3
6941991812,3cyclictest28511-21sendmail3
6941991811,4cyclictest8455-21cat3
693399181,5cyclictest0-21swapper/11
693399181,5cyclictest0-21swapper/11
693399181,5cyclictest0-21swapper/11
693399181,5cyclictest0-21swapper/11
6933991813,3cyclictest14050-21sed1
6926991814,2cyclictest341-21/usr/sbin/munin0
6926991814,2cyclictest32356-21/usr/sbin/munin0
6926991814,2cyclictest17590-21if_err_enp3s00
6926991814,2cyclictest17590-21if_err_enp3s00
6926991813,3cyclictest7176-21basename0
6926991813,3cyclictest665-21runrttasks0
6926991813,3cyclictest665-21runrttasks0
6926991813,3cyclictest6644-21apt-config0
6926991813,3cyclictest29668-21cat0
6926991813,3cyclictest28902-21if_enp3s00
6926991813,3cyclictest25604-21head0
6926991813,3cyclictest25247-21idleruntime0
6926991813,3cyclictest16323-21idleruntime-cro0
6926991813,3cyclictest16214-21expr0
6926991813,3cyclictest11360-21expr0
6926991812,4cyclictest23129-21wc0
6926991812,4cyclictest23129-21wc0
6926991812,4cyclictest10706-21cat0
6926991810,6cyclictest4630-21cat0
6926991810,2cyclictest111rcu_preempt0
692699180,2cyclictest2082-21systemd-journal0
694199179,5cyclictest505-21dbus-daemon3
694199179,5cyclictest23616-21wc3
694199173,8cyclictest9715-21apt-get3
694199172,9cyclictest13305-21apt-get3
6941991715,1cyclictest0-21swapper/33
6941991713,2cyclictest5036-21if_enp3s03
6941991712,3cyclictest7220-21cpu3
6941991712,3cyclictest7220-21cpu3
6941991712,3cyclictest23746-21find3
6941991712,3cyclictest22629-21cat3
6941991712,3cyclictest22629-21cat3
6941991711,3cyclictest9299-21aten2_r9power_p3
6941991711,3cyclictest22421-21grep3
693399177,2cyclictest111rcu_preempt1
6926991713,2cyclictest28000-21if_enp3s00
6926991712,3cyclictest665-21runrttasks0
6926991712,3cyclictest4790-21cat0
6926991712,3cyclictest31874-21swap0
6926991712,3cyclictest27123-21expr0
6926991712,3cyclictest14336-21basename0
6926991711,4cyclictest16603-21seq0
692699168,2cyclictest111rcu_preempt0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional