You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-17 - 10:54
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Mon Nov 17, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
221272301207,57sleep20-21swapper/22
2394299277268,6cyclictest12700-21sendmail-mta0
2394899271261,6cyclictest12651-21munin-run1
234662266209,44sleep30-21swapper/33
236672264191,43sleep00-21swapper/00
236422262201,48sleep10-21swapper/11
2395499167163,2cyclictest292-21jbd2/mmcblk0p2-2
2395999157151,4cyclictest505-21dbus-daemon3
259252610,5sleep20-21swapper/22
280842560,4sleep228-21ksoftirqd/22
272312550,2sleep10-21swapper/11
155712490,5sleep20-21swapper/22
138582490,4sleep22395499cyclictest2
282292480,4sleep30-21swapper/33
300292470,2sleep00-21swapper/00
237402430,2sleep30-21swapper/33
120132430,1sleep30-21swapper/33
240102330,1sleep20-21swapper/22
2394899330,31cyclictest26750-21kworker/1:21
298422300,1sleep30-21swapper/33
2394299300,28cyclictest27155-21kworker/0:10
2395499288,17cyclictest920-21apt-key2
2395499286,19cyclictest0-21swapper/22
92492270,3sleep10-21swapper/11
2395499255,17cyclictest8784-21cat2
2395499255,17cyclictest2700-21cat2
262902240,2sleep20-21swapper/22
23959992419,3cyclictest11089-21tail3
2395499244,18cyclictest505-21dbus-daemon2
2395499241,20cyclictest28530-21munin-run2
23954992411,11cyclictest28-21ksoftirqd/22
23954992410,12cyclictest28-21ksoftirqd/22
2395499234,17cyclictest6739-21cat2
2395499231,8cyclictest24141-21apt-get2
23954992317,4cyclictest10333-21gdbus2
23954992311,8cyclictest17753-21munin-run2
2395499231,18cyclictest0-21swapper/22
244842220,2sleep30-21swapper/33
2395499224,16cyclictest15101-40mandb2
2395499223,17cyclictest24282-21cat2
23954992216,3cyclictest5996-21sed2
23954992216,3cyclictest16436-21sleep2
23954992216,3cyclictest16436-21sleep2
23954992215,4cyclictest4595-21sh2
2395499221,4cyclictest10333-21gdbus2
2395499221,3cyclictest22348-1kworker/2:0H2
2395499221,3cyclictest20787-21munin-run2
2395499221,19cyclictest22809-21perf2
2395499221,19cyclictest1-21systemd2
2395499221,18cyclictest23118-1kworker/2:2H2
2395499220,20cyclictest7909-21kworker/2:22
2394899220,5cyclictest20771-21grep1
23942992215,5cyclictest7946-21in:imuxsock0
23942992215,4cyclictest18639-21wc0
2395999219,3cyclictest12251-21kworker/3:03
23959992115,4cyclictest7685-21needreboot3
23959992114,4cyclictest30026-21fw_packets3
2395499213,16cyclictest10281-21latency_hist2
2395499212,17cyclictest5897-21latency_hist2
2395499212,17cyclictest14545-21cat2
23954992116,3cyclictest31269-21munin-run2
23954992116,3cyclictest31269-21munin-run2
2395499211,3cyclictest18622-21dpkg2
2395499211,18cyclictest30713-21cat2
2395499211,17cyclictest26337-21cat2
23954992111,6cyclictest4840-21apt-get2
23954992110,10cyclictest665-21runrttasks2
2394899212,17cyclictest13648-21munin-plugin-st1
23948992116,3cyclictest25473-21aten2_r9power_e1
23948992116,3cyclictest23219-21sh1
23948992115,4cyclictest6533-21seq1
23948992115,4cyclictest32049-21seq1
23948992113,4cyclictest28455-21apt-get1
23942992116,3cyclictest21180-21sed0
23942992116,3cyclictest20183-21sed0
23942992115,4cyclictest23262-21sed0
23942992115,3cyclictest14060-21aten2.4-expect0
195162210,1sleep00-21swapper/00
23959992015,3cyclictest8588-21aten2_r9power_p3
23959992015,3cyclictest29993-21ntp_kernel_err3
23959992015,3cyclictest24410-21open_inodes3
23959992015,3cyclictest15232-21if_err_enp2s03
23959992015,3cyclictest15232-21if_err_enp2s03
23959992015,3cyclictest13975-21sendmail_mailst3
23959992014,4cyclictest16962-21date3
23959992014,4cyclictest13870-21cut3
23959992013,4cyclictest4977-21grep3
23959992013,4cyclictest19402-21expr3
23959992012,2cyclictest3886-21idleruntime-cro3
2395499203,13cyclictest17403-21apt-get2
2395499202,16cyclictest292-21jbd2/mmcblk0p2-2
2395499202,16cyclictest25287-21latency_hist2
23954992015,3cyclictest0-21swapper/22
23954992014,3cyclictest505-21dbus-daemon2
23954992013,4cyclictest32580-21grep2
23954992013,4cyclictest32580-21grep2
2395499201,16cyclictest32633-21sendmail-mta2
2395499201,16cyclictest32633-21sendmail-mta2
23954992011,5cyclictest1413-21apt-get2
2395499200,3cyclictest8472-1kworker/2:1H2
2395499200,3cyclictest8472-1kworker/2:1H2
2394899203,3cyclictest111rcu_preempt1
23948992016,2cyclictest31621-21df1
23948992016,2cyclictest31621-21df1
23948992015,3cyclictest29492-21/usr/sbin/munin1
23948992015,3cyclictest29492-21/usr/sbin/munin1
23948992015,3cyclictest27446-21acpi1
23948992015,3cyclictest2742-21irqstats1
23948992015,3cyclictest26745-21/usr/sbin/munin1
23948992015,3cyclictest26144-21munin-node1
23948992015,3cyclictest2536-21seq1
23948992015,3cyclictest20785-21latency_hist1
23948992015,3cyclictest17384-21/usr/sbin/munin1
23948992014,4cyclictest29314-21expr1
23948992014,4cyclictest23421-21expr1
23948992014,4cyclictest13315-21cut1
23948992013,4cyclictest25505-21seq1
2394299203,13cyclictest6183-21apt-get0
23942992015,3cyclictest17713-21cat0
23942992015,3cyclictest11328-21sed0
23942992014,4cyclictest8151-21sed0
23942992014,4cyclictest4114-21/usr/sbin/munin0
23942992014,4cyclictest25489-21sed0
23942992014,4cyclictest25451-21cut0
23942992014,3cyclictest2845-21aten2.4-expect0
2395999193,3cyclictest35-21ksoftirqd/33
23959991915,2cyclictest4672-21timerwakeupswit3
23959991915,2cyclictest1204-21df_inode3
23959991914,3cyclictest5184-21expr3
23959991914,3cyclictest3657-21nfs4_client3
23959991914,3cyclictest3197-21grep3
23959991914,3cyclictest31737-21pluginstate3
23959991914,3cyclictest31737-21pluginstate3
23959991914,3cyclictest31623-21sh3
23959991914,3cyclictest31623-21sh3
23959991914,3cyclictest28001-21forks3
23959991914,3cyclictest25142-21missed_timers3
23959991914,3cyclictest23103-21memory3
23959991914,3cyclictest21648-21interrupts3
23959991914,3cyclictest20398-21proc_pri3
23959991914,3cyclictest1806-21uptime3
23959991914,3cyclictest15327-21users3
23959991914,3cyclictest12956-21ls3
23959991913,4cyclictest18992-21basename3
23959991913,3cyclictest8188-21expr3
23959991913,3cyclictest26147-21if_err_enp3s03
23959991912,5cyclictest6666-21wc3
23959991912,4cyclictest23309-21cut3
23959991912,4cyclictest19351-21cut3
2395499192,16cyclictest21207-21awk2
2395499192,10cyclictest665-21runrttasks2
23954991916,2cyclictest0-21swapper/22
23954991915,2cyclictest1839-21latency_hist2
23954991914,3cyclictest2710-21if_err_enp2s02
23954991913,3cyclictest28896-21latency_hist2
23954991913,3cyclictest28693-21cpuspeed_turbos2
23948991914,3cyclictest8727-21cat1
23948991914,3cyclictest8256-21forks1
23948991914,3cyclictest7184-21expr1
23948991914,3cyclictest471-21seq1
23948991914,3cyclictest333-21cat1
23948991914,3cyclictest333-21cat1
23948991914,3cyclictest2799-21/usr/sbin/munin1
23948991914,3cyclictest27569-21apt-get1
23948991914,3cyclictest23484-21/usr/sbin/munin1
23948991914,3cyclictest2297-21sh1
23948991914,3cyclictest22349-21/usr/sbin/munin1
23948991914,3cyclictest21355-21/usr/sbin/munin1
23948991914,3cyclictest21252-21sed1
23948991914,3cyclictest21003-21/usr/sbin/munin1
23948991914,3cyclictest17629-21irqstats1
23948991914,3cyclictest15570-21seq1
23948991914,3cyclictest10944-21seq1
23948991913,4cyclictest19241-21cat1
23948991913,4cyclictest17325-21cut1
23948991913,4cyclictest16061-21seq1
23948991913,4cyclictest16061-21seq1
23948991912,4cyclictest5552-21aten2.4-expect1
23948991911,5cyclictest23394-21apt-get1
23942991915,2cyclictest26411-21/usr/sbin/munin0
23942991915,2cyclictest11094-21sed0
23942991914,3cyclictest505-21dbus-daemon0
23942991914,3cyclictest31450-21sed0
23942991914,3cyclictest31450-21sed0
23942991914,3cyclictest30213-21latency_hist0
23942991914,3cyclictest29478-21grep0
23942991914,3cyclictest27297-21cron0
23942991914,3cyclictest17450-21aten2_r9power_e0
23942991914,3cyclictest16729-21sh0
23942991914,3cyclictest16416-21mailstats0
23942991913,3cyclictest5586-21missed_timers0
23942991913,3cyclictest5214-21dump-pmu-power0
23942991913,3cyclictest4833-21aten2.4-expect0
23942991913,3cyclictest13673-21dump-pmu-power0
2394299191,14cyclictest24355-21grep0
148182190,1sleep00-21swapper/00
148182190,1sleep00-21swapper/00
62072180,1sleep00-21swapper/00
23959991814,2cyclictest35-21ksoftirqd/33
23959991814,2cyclictest27378-21if_err_enp3s03
23959991814,2cyclictest21428-21/usr/sbin/munin3
23959991814,2cyclictest16764-21aten2_r9power_v3
23959991813,3cyclictest9268-21df3
23959991813,3cyclictest7039-21cpuspeed_turbos3
23959991813,3cyclictest32454-21pmu-power3
23959991813,3cyclictest27293-21cut3
23959991813,3cyclictest25953-21ntp_kernel_pll_3
23959991813,3cyclictest16345-21proc_pri3
23959991813,3cyclictest1034-21proc_pri3
23959991813,3cyclictest10172-21cat3
23959991812,4cyclictest4546-21df3
23959991812,4cyclictest28870-21df3
23959991812,4cyclictest27108-21seq3
23959991812,4cyclictest18878-21awk3
2395999180,16cyclictest31210-21taskset3
2395999180,16cyclictest31210-21taskset3
2395999180,16cyclictest16167-21cpuspeed3
2395499188,6cyclictest505-21dbus-daemon2
23954991816,1cyclictest0-21swapper/22
23954991816,1cyclictest0-21swapper/22
23954991813,3cyclictest665-21runrttasks2
23954991812,4cyclictest1626-21cat2
2395499180,2cyclictest111rcu_preempt2
23948991814,2cyclictest32507-21/usr/sbin/munin1
23948991814,2cyclictest29140-21/usr/sbin/munin1
23948991814,2cyclictest16646-21/usr/sbin/munin1
23948991813,3cyclictest6375-21seq1
23948991813,3cyclictest3083-21expr1
23948991813,3cyclictest27533-21expr1
23948991813,3cyclictest24643-21expr1
23948991813,3cyclictest19394-21seq1
23948991813,3cyclictest16428-21seq1
23948991813,3cyclictest16168-21cat1
23948991813,3cyclictest1158-21wc1
23948991813,3cyclictest11358-21sed1
23948991812,4cyclictest13282-21cat1
2394299189,7cyclictest17323-21unixbench_singl0
2394299189,4cyclictest29611-21gltestperf0
2394299185,10cyclictest9-21ksoftirqd/00
2394299181,4cyclictest32615-21perf0
2394299181,4cyclictest32615-21perf0
23942991813,3cyclictest665-21runrttasks0
23942991813,3cyclictest665-21runrttasks0
23942991813,3cyclictest665-21runrttasks0
23942991813,3cyclictest2592-21head0
23942991813,3cyclictest22119-21apt-key0
23942991813,3cyclictest19757-21latency_hist0
23942991813,3cyclictest11003-21cut0
23942991812,4cyclictest32388-21ntpq0
23942991812,4cyclictest26318-21sed0
23942991812,3cyclictest8090-21unixbench-2d0
23942991812,3cyclictest27170-21aten2.4-expect0
23959991712,3cyclictest9752-21ntp_kernel_err3
23959991712,3cyclictest28314-21ntp_kernel_pll_3
23959991712,3cyclictest26049-21date3
23959991712,3cyclictest21095-21swap3
23959991711,4cyclictest7385-21cat3
2395499172,14cyclictest0-21swapper/22
23954991713,2cyclictest23051-21/usr/sbin/munin2
23948991713,2cyclictest8835-21/usr/sbin/munin1
23948991713,2cyclictest6244-21aten2.4-expect1
23948991713,2cyclictest29568-21/usr/sbin/munin1
23948991712,3cyclictest25151-21missed_timers1
23948991712,3cyclictest10054-21cat1
23948991711,3cyclictest25818-21cat1
23948991710,4cyclictest9274-21cat1
2394299178,7cyclictest21845-21needreboot0
2394299172,13cyclictest1918-21cut0
23942991713,2cyclictest25093-21/usr/sbin/munin0
23942991713,2cyclictest18999-21/usr/sbin/munin0
23942991712,3cyclictest9280-21wc0
23942991712,3cyclictest3020-21grep0
23942991712,3cyclictest24187-21wc0
23942991712,3cyclictest21503-21cut0
23942991712,3cyclictest13667-21grep0
23942991712,3cyclictest10746-21sed0
2394299170,16cyclictest0-21swapper/00
2394299170,16cyclictest0-21swapper/00
23959991610,4cyclictest30501-21apt3
2394299163,7cyclictest27463-21apt-get0
23942991612,2cyclictest13268-21cstates0
23942991611,3cyclictest665-21runrttasks0
2394299160,15cyclictest0-21swapper/00
2394299159,4cyclictest31315-21sed0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional