You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-03-21 - 08:21
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Mar 21, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
259822313276,24sleep30-21swapper/33
259152310273,24sleep20-21swapper/22
257822262202,46sleep00-21swapper/00
259552255186,18sleep10-21swapper/11
2617899234227,4cyclictest32722-21http1
2618799174169,3cyclictest32730-21latency_hist3
2617399147141,4cyclictest0-21swapper/00
2978921340,2sleep00-21swapper/00
2618399117112,3cyclictest11250irq/128-xhci_hc2
39762580,2sleep00-21swapper/00
121022560,15sleep00-21swapper/00
54762550,2sleep20-21swapper/22
302612480,2sleep00-21swapper/00
297052430,1sleep20-21swapper/22
2617899389,17cyclictest0-21swapper/11
26178993213,10cyclictest53551/usr/sbin/munin1
2617899309,8cyclictest0-21swapper/11
2617899308,8cyclictest0-21swapper/11
26178993010,17cyclictest28205-21grep1
2617899300,18cyclictest0-21swapper/11
98462290,7sleep091ksoftirqd/00
2617899299,7cyclictest0-21swapper/11
2617899298,7cyclictest0-21swapper/11
2618399283,18cyclictest15510-21latency_hist2
42472260,4sleep22618399cyclictest2
26187992617,2cyclictest35-21ksoftirqd/33
2617899260,16cyclictest0-21swapper/11
2617899260,15cyclictest0-21swapper/11
61212250,3sleep30-21swapper/33
2618399256,17cyclictest0-21swapper/22
26178992510,13cyclictest3250-21sort1
2618399247,14cyclictest997-21latency_hist2
26178992416,5cyclictest32085-21grep1
26178992415,7cyclictest23539-21perf1
26178992415,6cyclictest9135-21awk1
26178992415,6cyclictest22131-21ls1
26178992415,6cyclictest13783-21wc1
26178992414,7cyclictest3857-21sed1
26178992414,7cyclictest2550-21sh1
26178992414,7cyclictest13832-21aten2_r9power_e1
2618399234,17cyclictest29615-21cat2
2618399234,17cyclictest21706-21cat2
2618399234,17cyclictest14695-21cat2
26183992316,4cyclictest9744-21perf2
26178992316,5cyclictest24810-21gunzip1
26178992316,5cyclictest0-21swapper/11
26178992315,6cyclictest28596-21dump-pmu-power1
26178992315,6cyclictest14234-21grep1
26178992315,5cyclictest5022-21awk1
26178992315,5cyclictest25115-21aten2.4-expect1
26178992315,5cyclictest23967-21ps1
26178992315,5cyclictest23425-21dpkg1
26178992315,5cyclictest2082-21systemd-journal1
26178992315,5cyclictest17204-21awk1
26178992315,5cyclictest11763-21sendmail1
26178992314,6cyclictest9497-21idleruntime-cro1
26178992314,6cyclictest3619-21sleep1
26178992314,6cyclictest2082-21systemd-journal1
26178992314,6cyclictest11324-21cut1
26178992313,8cyclictest3483-21wc1
26178992313,7cyclictest7736-21chrt1
26178992312,9cyclictest27651-21cut1
26178992312,8cyclictest1755-21awk1
2617899230,8cyclictest0-21swapper/11
2618399223,17cyclictest25512-21latency_hist2
26183992217,3cyclictest30681-21sh2
26183992217,3cyclictest0-21swapper/22
26183992216,3cyclictest25814-21sed2
2618399220,20cyclictest0-21swapper/22
26178992215,5cyclictest27078-21tail1
26178992215,5cyclictest25661-21sendmail-msp1
26178992215,5cyclictest19854-21head1
26178992215,5cyclictest14374-21idleruntime-cro1
26178992215,5cyclictest10516-21cat1
26178992215,4cyclictest505-21dbus-daemon1
26178992215,4cyclictest29597-21sort1
26178992215,4cyclictest29392-21perf1
26178992214,6cyclictest18371-21sh1
26178992214,5cyclictest9794-21basename1
26178992214,5cyclictest26968-21grep1
26178992214,5cyclictest26968-21grep1
26178992214,5cyclictest12289-21ls1
26178992214,5cyclictest1046-21cups-browsed1
26178992213,6cyclictest3895-21ntp_states1
26178992213,6cyclictest16533-21cat1
26178992212,8cyclictest7906-21needreboot1
26178992212,7cyclictest7426-21cpuspeed_turbos1
26178992212,7cyclictest4831-21aten2.4-expect1
26178992212,7cyclictest2924-21grep1
26178992212,7cyclictest28015-21grep1
26178992212,7cyclictest1207-21date1
26178992211,8cyclictest16172-21latency_hist1
2617399229,11cyclictest5091-21dump-pmu-power0
26173992211,6cyclictest13769-21apt-get0
26187992115,3cyclictest26770-21basename3
26187992114,4cyclictest27702-21sed3
26187992114,4cyclictest17666-21grep3
2618399219,4cyclictest28-21ksoftirqd/22
2618399214,15cyclictest21306-21cron2
2618399213,16cyclictest3596-21latency_hist2
2618399212,17cyclictest13482-21latency_hist2
2618399212,17cyclictest10768-21cat2
26183992116,3cyclictest28583-21munin-run2
26183992115,4cyclictest24489-21seq2
26183992115,4cyclictest22211-21diskstats2
26183992115,4cyclictest15333-21seq2
2618399211,4cyclictest29372-21munin-run2
26183992114,4cyclictest505-21dbus-daemon2
26183992114,4cyclictest505-21dbus-daemon2
2618399211,3cyclictest3093-21munin-run2
2618399211,3cyclictest26559-21chrt2
2618399211,18cyclictest1189-1kworker/2:2H2
2618399211,17cyclictest5122-21awk2
26178992115,4cyclictest22755-21sendmail1
26178992113,5cyclictest9455-21cron1
26178992113,5cyclictest29627-21apt-get1
26178992112,7cyclictest7692-21chrt1
2617399214,15cyclictest22082-21cut0
26173992116,3cyclictest9728-21find0
26173992116,3cyclictest18004-21users0
26173992115,3cyclictest32047-21sh0
26173992115,3cyclictest27063-21grep0
26173992113,5cyclictest1-21systemd0
161482210,1sleep00-21swapper/00
2618799209,2cyclictest28562/usr/sbin/munin3
26187992017,2cyclictest0-21swapper/33
2618799201,5cyclictest20407-21awk3
26187992015,3cyclictest1472-21aten2_r9power_v3
26187992015,3cyclictest12835-21timerandwakeup3
26187992014,4cyclictest9875-21grep3
26187992014,4cyclictest31169-21users3
26187992014,4cyclictest2365-21timerandwakeup3
26187992013,4cyclictest5141-21sendmail-mta3
2618399209,9cyclictest19617-21latency_hist2
26183992016,2cyclictest12608-21if_enp3s02
26183992015,3cyclictest8167-21/usr/sbin/munin2
26183992014,4cyclictest9953-21seq2
26183992014,4cyclictest27466-21fw_packets2
26183992014,4cyclictest1554-21cat2
2618399201,3cyclictest31540-21munin-run2
2618399201,17cyclictest26739-21munin-run2
2618399201,17cyclictest11485-21latency_hist2
2618399201,17cyclictest11460-21munin-run2
2618399201,17cyclictest0-21swapper/22
2618399201,16cyclictest23224-1kworker/2:2H2
2618399200,4cyclictest9482-21awk2
2617399203,9cyclictest22993-21apt-get0
26173992015,3cyclictest4866-21sh0
26173992015,3cyclictest2974-21cron0
26173992015,3cyclictest28813-21acpi0
26173992015,3cyclictest14353-21seq0
26173992014,4cyclictest786-21seq0
26173992014,4cyclictest505-21dbus-daemon0
26173992014,4cyclictest19338-21seq0
26173992014,3cyclictest6561-21cat0
26173992013,5cyclictest7523-21seq0
26173992013,4cyclictest14163-21df_inode0
2617399201,16cyclictest21054-21grep0
2618799199,5cyclictest19760-21apt-get3
26187991917,1cyclictest0-21swapper/33
26187991916,2cyclictest0-21swapper/33
26187991914,3cyclictest7922-21sendmail3
26187991914,3cyclictest32567-21latency_hist3
26187991914,3cyclictest26503-21cpu3
26187991914,3cyclictest26503-21cpu3
26187991914,3cyclictest2628-21sed3
26187991914,3cyclictest18823-21swap3
26187991914,3cyclictest18341-21/usr/sbin/munin3
26187991914,3cyclictest11069-21awk3
26187991913,4cyclictest785-21expr3
26187991913,4cyclictest7280-21cat3
26187991913,4cyclictest5926-21cat3
26183991914,3cyclictest5325-21cut2
26183991914,3cyclictest4704-21idleruntime2
26183991914,3cyclictest29701-21ntp_states2
26183991914,3cyclictest20736-21expr2
26183991914,3cyclictest18422-21sendmail-msp2
26183991913,4cyclictest11236-21diskstats2
2618399191,16cyclictest14545-21cat2
2618399191,15cyclictest13458-21munin-run2
2618399190,2cyclictest8832-21sh2
2618399190,2cyclictest14663-21aten2.4-expect2
2618399190,1cyclictest0-21swapper/22
2618399190,17cyclictest27725-21apt-key2
2618399190,17cyclictest0-21swapper/22
2618399190,16cyclictest4427-1kworker/2:0H2
26173991915,2cyclictest21768-21/usr/sbin/munin0
26173991915,2cyclictest14614-21/usr/sbin/munin0
26173991914,3cyclictest8167-21/usr/sbin/munin0
26173991914,3cyclictest665-21runrttasks0
26173991913,4cyclictest505-21dbus-daemon0
26173991913,4cyclictest1998-21cat0
26173991913,4cyclictest13163-21seq0
26173991913,3cyclictest32612-21sendmail0
26173991912,4cyclictest5586-21seq0
2617399191,16cyclictest665-21runrttasks0
26187991816,1cyclictest0-21swapper/33
26187991816,1cyclictest0-21swapper/33
26187991816,1cyclictest0-21swapper/33
26187991816,1cyclictest0-21swapper/33
26187991816,1cyclictest0-21swapper/33
26187991816,1cyclictest0-21swapper/33
2618799181,4cyclictest0-21swapper/33
26187991814,2cyclictest30894-21unixbench_multi3
26187991813,3cyclictest28765-21cat3
26187991813,3cyclictest27325-21cpuspeed_turbos3
26187991813,3cyclictest22229-21fw_packets3
26187991813,3cyclictest13469-21seq3
26187991813,3cyclictest12786-21/usr/sbin/munin3
26187991813,3cyclictest1220-21date3
26187991812,4cyclictest26586-21wc3
26187991810,5cyclictest17665-21cat3
2618799180,5cyclictest0-21swapper/33
2618799180,17cyclictest0-21swapper/33
26183991815,2cyclictest0-21swapper/22
26183991813,3cyclictest4617-21ls2
26183991813,3cyclictest16621-21ntp_kernel_pll_2
2618399181,15cyclictest292-21jbd2/mmcblk0p2-2
2618399180,2cyclictest7783-21cat2
26173991816,1cyclictest0-21swapper/00
26173991814,2cyclictest11729-21/usr/sbin/munin0
26173991813,3cyclictest8491-21users0
26173991813,3cyclictest665-21runrttasks0
26173991813,3cyclictest665-21runrttasks0
26173991813,3cyclictest4951-21date0
26173991813,3cyclictest2818-21sed0
26173991813,3cyclictest28179-21ls0
26173991813,3cyclictest27995-21which0
26173991813,3cyclictest16981-21cat0
26173991812,4cyclictest9214-21seq0
26173991812,4cyclictest5717-21cat0
26173991812,4cyclictest27092-21cat0
26173991812,4cyclictest27092-21cat0
26173991812,4cyclictest12728-21cut0
26173991812,3cyclictest10607-21cat0
26173991811,4cyclictest786-21expr0
26173991811,4cyclictest16922-21wc0
160912180,1sleep30-21swapper/33
2618799178,2cyclictest111rcu_preempt3
26187991715,1cyclictest0-21swapper/33
26187991715,1cyclictest0-21swapper/33
26187991713,2cyclictest35-21ksoftirqd/33
26187991713,2cyclictest0-21swapper/33
26187991712,3cyclictest9728-21sh3
26187991712,3cyclictest665-21runrttasks3
26187991712,3cyclictest6071-21switchtime3
26187991712,3cyclictest17705-21cat3
26187991712,3cyclictest15188-21cat3
26187991712,3cyclictest13783-21aten2_r9power_e3
2618799170,16cyclictest0-21swapper/33
2618799170,16cyclictest0-21swapper/33
2618799170,16cyclictest0-21swapper/33
26183991712,3cyclictest2089-21ntpq2
26183991712,3cyclictest19137-21expr2
26183991711,4cyclictest31293-21expr2
2617399179,5cyclictest0-21swapper/00
2617399171,5cyclictest0-21swapper/00
26173991715,1cyclictest0-21swapper/00
26173991713,2cyclictest665-21runrttasks0
26173991712,3cyclictest3704-21cut0
26173991712,3cyclictest28989-21seq0
26173991712,3cyclictest21477-21cat0
26173991712,3cyclictest1441-21aten2_r9power_p0
26173991711,4cyclictest25620-21date0
26187991614,1cyclictest0-21swapper/33
26187991612,2cyclictest21203-21needreboot3
2618799160,15cyclictest0-21swapper/33
26173991612,2cyclictest665-21runrttasks0
26173991611,3cyclictest665-21runrttasks0
26173991611,3cyclictest10583-21if_enp3s00
2618799152,7cyclictest12020-21apt-get3
26187991510,3cyclictest665-21runrttasks3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional