You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-06-17 - 18:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Mon Jun 17, 2024 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
261022263190,17sleep00-21swapper/00
2657299258253,3cyclictest0-21swapper/00
2658499254249,3cyclictest28472-21munin-run3
254022249206,28sleep10-21swapper/11
264022248182,53sleep20-21swapper/22
260902241205,24sleep30-21swapper/33
2657699201196,3cyclictest28490-21apt1
2658099149144,3cyclictest28479-21dump-pmu-power2
71272520,2sleep00-21swapper/00
167802410,1sleep00-21swapper/00
28602380,1sleep20-21swapper/22
2658099340,32cyclictest25006-21kworker/2:02
2658099340,32cyclictest25006-21kworker/2:02
2657699320,30cyclictest26719-21kworker/1:01
2658099300,28cyclictest6627-21kworker/2:22
26580992815,3cyclictest11941-21cron2
22422280,5sleep12657699cyclictest1
2657299252,20cyclictest16899-21grep0
19932250,1sleep31994-21missed_timers3
238452240,4sleep10-21swapper/11
2658099231,19cyclictest32060-21cups-browsed2
2658099231,19cyclictest10333-21gdbus2
2658099231,19cyclictest10333-21gdbus2
2657299230,10cyclictest41962cpuspeed_turbos0
26584992215,5cyclictest11315-21sed3
2658099223,17cyclictest3331-21cat2
2658099223,17cyclictest1891-21cat2
2658099223,16cyclictest31294-21cat2
2658099221,18cyclictest23459-1kworker/2:1H2
2658099221,18cyclictest0-21swapper/22
26576992211,7cyclictest17370-21apt-get1
2657299221,19cyclictest28667-21munin-node0
26572992211,2cyclictest13186-21cat0
26584992115,4cyclictest26458-21diskstats3
2658499211,2cyclictest111rcu_preempt3
2658499210,18cyclictest5492-21anacron3
2658099219,9cyclictest24493-21grep2
2658099219,10cyclictest391-21cat2
2658099219,10cyclictest391-21cat2
26580992116,3cyclictest32277-21cpuspeed_turbos2
26580992116,3cyclictest32243-21seq2
26580992114,4cyclictest17966-21cron2
2658099211,3cyclictest7707-21munin-run2
2658099211,3cyclictest11430-1kworker/2:2H2
2658099211,18cyclictest23806-21sendmail-mta2
2658099211,17cyclictest19971-21latency_hist2
26580992110,9cyclictest5704-21latency_hist2
26576992115,4cyclictest7884-21seq1
26576992115,4cyclictest2082-21systemd-journal1
26576992114,4cyclictest8333-21cat1
26576992110,6cyclictest15976-21apt-get1
26572992117,2cyclictest29681-21sed0
26572992116,3cyclictest9-21ksoftirqd/00
26572992115,4cyclictest29850-21grep0
26572992115,4cyclictest29062-21cut0
26572992115,4cyclictest19826-21latency_hist0
26572992114,4cyclictest2082-21systemd-journal0
26572992113,4cyclictest28017-21apt-key0
2657299211,17cyclictest32735-21tr0
26584992015,3cyclictest31595-21sed3
26584992015,3cyclictest26891-21open_files3
26584992015,3cyclictest18577-21sed3
26584992015,3cyclictest1612-21seq3
26584992015,2cyclictest24956-21ls3
26584992014,4cyclictest8923-21sed3
26584992014,4cyclictest8882-21ntpq3
26584992014,4cyclictest651-21ls3
26584992014,4cyclictest29338-21aten2_r9power_c3
26584992014,4cyclictest28862-21cpuspeed_turbos3
26584992013,4cyclictest505-21dbus-daemon3
26584992013,4cyclictest13766-21diskstats3
26584992013,4cyclictest13766-21diskstats3
2658499200,1cyclictest0-21swapper/33
26580992015,3cyclictest9366-21latency_hist2
26580992015,3cyclictest29359-21proc_pri2
26580992015,3cyclictest12451-21cpuspeed_turbos2
2658099201,4cyclictest7060-21munin-run2
2658099201,2cyclictest32050-21perf2
2658099201,17cyclictest9936-21latency_hist2
2658099201,17cyclictest13839-21cat2
2658099200,3cyclictest17762-21munin-run2
26576992015,3cyclictest605-21seq1
26576992015,3cyclictest605-21seq1
26576992015,3cyclictest3010-21latency_hist1
26576992015,3cyclictest29935-21sed1
26576992015,3cyclictest29077-21cat1
26576992015,3cyclictest18651-21irqstats1
26576992015,3cyclictest14414-21sh1
26576992014,4cyclictest25704-21seq1
26576992014,4cyclictest20938-21expr1
26576992014,4cyclictest10831-21seq1
26576992014,3cyclictest21963-21gdbus1
26576992013,4cyclictest26556-21cat1
26572992015,3cyclictest9-21ksoftirqd/00
26572992015,3cyclictest2082-21systemd-journal0
26572992014,4cyclictest3845-21cat0
26572992014,3cyclictest5052-21timerwakeupswit0
26572992013,4cyclictest10333-21gdbus0
26572992013,4cyclictest10333-21gdbus0
26572992012,5cyclictest2082-21systemd-journal0
26572992012,5cyclictest2082-21systemd-journal0
26572992012,4cyclictest9098-21idleruntime-cro0
23642200,1sleep10-21swapper/11
311192190,4sleep131067-21munin-run1
2658499193,11cyclictest24038-21apt-get3
26584991916,2cyclictest0-21swapper/33
26584991914,3cyclictest9968-21/usr/sbin/munin3
26584991914,3cyclictest7799-21head3
26584991914,3cyclictest6452-21ntpq3
26584991914,3cyclictest4515-21ls3
26584991914,3cyclictest3561-21expr3
26584991914,3cyclictest31073-21swap3
26584991914,3cyclictest29689-21sed3
26584991914,3cyclictest22451-21head3
26584991914,3cyclictest22096-21aten2_r9power_p3
26584991914,3cyclictest20757-21rt-features3
26584991914,3cyclictest15795-21sh3
26584991914,3cyclictest13838-21cut3
26584991913,4cyclictest21921-21date3
26584991913,4cyclictest18360-21cat3
26584991913,4cyclictest12505-21basename3
26584991913,4cyclictest12505-21basename3
26584991913,4cyclictest10333-21gdbus3
26584991913,4cyclictest10333-21gdbus3
26584991913,3cyclictest15717-21run-parts3
26584991912,5cyclictest35-21ksoftirqd/33
26584991912,4cyclictest22330-21cpuspeed_turbos3
2658499191,17cyclictest0-21swapper/33
2658499190,17cyclictest0-21swapper/33
2658099192,6cyclictest9335-21apt-get2
2658099192,5cyclictest6175-21apt-get2
2658099192,15cyclictest5084-21cat2
26580991917,1cyclictest0-21swapper/22
26580991915,2cyclictest22328-21cat2
26580991915,2cyclictest13441-21aten2_r9power_v2
26580991915,2cyclictest13441-21aten2_r9power_v2
26580991914,3cyclictest30452-21df_inode2
26580991914,3cyclictest28202-21cpuspeed2
26580991914,3cyclictest27798-21cron2
26580991914,3cyclictest25113-21grep2
26580991914,3cyclictest2114-21awk2
26580991913,4cyclictest25827-21sed2
26580991913,4cyclictest16173-21cat2
2658099191,2cyclictest13098-21perf2
26580991912,4cyclictest9101-21basename2
26580991912,4cyclictest28986-21diskstats2
26580991912,4cyclictest21952-21sed2
2658099191,16cyclictest24266-21latency_hist2
2658099191,16cyclictest11430-1kworker/2:2H2
2658099190,17cyclictest11757-21perf2
2657699199,6cyclictest3974-21apt-get1
26576991916,2cyclictest0-21swapper/11
26576991915,3cyclictest26532-21/usr/sbin/munin1
26576991915,2cyclictest32411-21acpi1
26576991914,3cyclictest9623-21seq1
26576991914,3cyclictest8986-21seq1
26576991914,3cyclictest6824-21seq1
26576991914,3cyclictest5947-21/usr/sbin/munin1
26576991914,3cyclictest30380-21cut1
26576991914,3cyclictest30349-21/usr/sbin/munin1
26576991914,3cyclictest30349-21/usr/sbin/munin1
26576991914,3cyclictest26349-21sed1
26576991914,3cyclictest26066-21aten2_r9power_e1
26576991914,3cyclictest16843-21if_err_enp3s01
26576991914,3cyclictest1589-21/usr/sbin/munin1
26576991914,3cyclictest15841-21cut1
26576991914,3cyclictest15344-21/usr/sbin/munin1
26576991914,3cyclictest13515-21cpu1
26576991914,3cyclictest13515-21cpu1
26576991914,3cyclictest12627-21sh1
26576991914,3cyclictest10674-21rt-features1
26576991913,4cyclictest4338-21head1
26576991913,4cyclictest30168-21sed1
26576991913,3cyclictest30589-21aten2_r9power_e1
26576991912,5cyclictest21190-21seq1
2657299198,9cyclictest12777-21head0
2657299198,9cyclictest12777-21head0
26572991916,1cyclictest0-21swapper/00
26572991914,3cyclictest9-21ksoftirqd/00
26572991914,3cyclictest9-21ksoftirqd/00
26572991914,3cyclictest9-21ksoftirqd/00
26572991914,3cyclictest28318-21idleruntime-cro0
26572991914,3cyclictest23937-21sed0
26572991914,3cyclictest14750-21needreboot0
26572991914,3cyclictest11263-21cut0
26572991913,4cyclictest25790-21idleruntime-cro0
26572991913,4cyclictest24290-21idleruntime-cro0
26572991912,4cyclictest6121-21sh0
26572991912,4cyclictest19963-21sh0
2657299190,6cyclictest11697-21apt-config0
26584991816,1cyclictest0-21swapper/33
26584991816,1cyclictest0-21swapper/33
26584991816,1cyclictest0-21swapper/33
26584991813,3cyclictest4396-21cat3
26584991813,3cyclictest35-21ksoftirqd/33
26584991813,3cyclictest24480-21date3
26584991813,3cyclictest14966-21proc_pri3
2658499181,2cyclictest0-21swapper/33
26584991812,4cyclictest12010-21cut3
2658499181,16cyclictest0-21swapper/33
2658499180,3cyclictest111rcu_preempt3
2658099189,7cyclictest665-21runrttasks2
2658099185,10cyclictest32060-21cups-browsed2
2658099183,10cyclictest13942-21apt-get2
2658099182,13cyclictest17715-21turbostat2
26580991816,1cyclictest0-21swapper/22
26580991814,2cyclictest3711-21sh2
26580991813,3cyclictest27429-21ntp_offset2
26580991813,3cyclictest26526-21idleruntime2
26580991813,3cyclictest15738-21munin-run2
26580991812,4cyclictest4522-21cut2
26580991812,3cyclictest20074-21aten2.4-expect2
26580991811,4cyclictest8439-21gltestperf2
26580991810,6cyclictest0-21swapper/22
2658099180,16cyclictest0-21swapper/22
26576991816,1cyclictest0-21swapper/11
26576991816,1cyclictest0-21swapper/11
26576991816,1cyclictest0-21swapper/11
26576991816,1cyclictest0-21swapper/11
26576991814,3cyclictest19952-21/usr/sbin/munin1
26576991814,2cyclictest0-21swapper/11
26576991813,3cyclictest32448-21sh1
26576991813,3cyclictest32034-21/usr/sbin/munin1
26576991813,3cyclictest24386-21cat1
26576991813,3cyclictest20667-21seq1
26576991813,3cyclictest18644-21df1
26576991813,3cyclictest16340-21expr1
26576991813,3cyclictest11969-21idleruntime-cro1
26576991812,4cyclictest505-21dbus-daemon1
26576991812,4cyclictest4431-21grep1
26576991812,4cyclictest18577-21cat1
2657699181,15cyclictest21639-21kworker/1:31
2657699181,15cyclictest21639-21kworker/1:31
2657299182,14cyclictest13302-21sed0
26572991814,2cyclictest7610-21/usr/sbin/munin0
26572991814,2cyclictest30008-21/usr/sbin/munin0
26572991813,3cyclictest32393-21aten2_r9power_p0
26572991813,3cyclictest28025-21/usr/sbin/munin0
26572991813,3cyclictest26798-21grep0
26572991813,3cyclictest24916-21expr0
26572991813,3cyclictest24112-21hostname0
26572991813,3cyclictest2082-21systemd-journal0
26572991813,3cyclictest16626-21expr0
26572991813,3cyclictest14367-21ls0
26572991812,4cyclictest540-21grep0
26572991812,4cyclictest23324-21grep0
26572991812,4cyclictest18959-21sed0
26572991812,4cyclictest14611-21grep0
26572991812,4cyclictest14611-21grep0
26572991812,4cyclictest10271-21cut0
26572991812,3cyclictest7343-21sh0
26572991811,5cyclictest7191-21grep0
2657299181,15cyclictest2086-21ntp_kernel_pll_0
26572991811,4cyclictest8414-21cat0
2658499179,6cyclictest0-21swapper/33
2658499172,4cyclictest35-21ksoftirqd/33
26584991713,2cyclictest20317-21apt-config3
26584991712,3cyclictest7849-21cat3
26584991712,3cyclictest5686-21grep3
26584991712,3cyclictest14269-21sh3
26584991712,3cyclictest12866-21tr3
2658499170,16cyclictest0-21swapper/33
2658099172,12cyclictest5604-21apt-get2
2657699178,6cyclictest7629-21apt-get1
26576991713,2cyclictest9985-21apt1
26576991713,2cyclictest5715-21gltestperf1
26576991712,3cyclictest12528-21expr1
2657299172,10cyclictest10971-21avahi-daemon0
26572991715,1cyclictest0-21swapper/00
26572991713,3cyclictest9-21ksoftirqd/00
26572991713,2cyclictest21752-21cron0
26572991712,3cyclictest12218-21aten2_r9power_c0
26572991712,3cyclictest10052-21sh0
26572991711,4cyclictest4528-21grep0
26584991612,2cyclictest32335-21latency3
26584991612,2cyclictest32335-21latency3
26584991611,3cyclictest8974-21sed3
26584991611,3cyclictest32263-21cat3
2658499160,15cyclictest0-21swapper/33
26580991614,1cyclictest0-21swapper/22
26572991612,2cyclictest1842-21/usr/sbin/munin0
26572991611,3cyclictest665-21runrttasks0
2657299160,1cyclictest0-21swapper/00
26584991510,3cyclictest9731-21expr3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional