You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-07 - 12:30
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Sun Dec 07, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
7402274181,17sleep20-21swapper/22
23342268184,68sleep10-21swapper/11
16432266223,32sleep30-21swapper/33
263499250244,4cyclictest32615-21apt-get2
262999246239,4cyclictest32605-21munin-run1
21742242178,51sleep00-21swapper/00
264199223218,3cyclictest0-21swapper/33
505721610,2sleep1262999cyclictest1
1083421450,4sleep2263499cyclictest2
262599141133,7cyclictest32656-21sendmail-msp0
2262021330,4sleep1262999cyclictest1
36722420,4sleep03676-21gltestperf0
253052350,4sleep225306-21basename2
51762330,5sleep20-21swapper/22
262599336,25cyclictest0-21swapper/00
220482320,9sleep09-21ksoftirqd/00
36542290,9sleep335-21ksoftirqd/33
264199271,12cyclictest238582awk3
2625992717,3cyclictest9-21ksoftirqd/00
4402250,3sleep10-21swapper/11
2641992416,5cyclictest20093-21cut3
264102240,2sleep326412-21pmu-power3
263499244,18cyclictest29452-21cat2
263499244,18cyclictest29452-21cat2
263499241,20cyclictest604-21sendmail-mta2
262599241,2cyclictest111rcu_preempt0
72522230,1sleep20-21swapper/22
2641992317,4cyclictest4396-21cut3
2634992316,4cyclictest7246-21sendmail2
263499231,5cyclictest505-21dbus-daemon2
263499231,5cyclictest2082-21systemd-journal2
263499231,5cyclictest13121-21sendmail-mta2
2634992315,5cyclictest28313-21gltestperf2
263499231,19cyclictest4589-21munin-run2
263499231,19cyclictest30599-21perf2
24692230,10sleep121-21ksoftirqd/11
2641992215,4cyclictest5107-21ntpq3
2641992214,5cyclictest21392-21apt-get3
2641992212,7cyclictest30828-21ntp_states3
263499223,17cyclictest7558-21cat2
263499223,17cyclictest27226-21latency_hist2
263499223,17cyclictest16572-21cat2
263499222,18cyclictest4656-21procmail2
263499222,17cyclictest4946-21latency_hist2
2634992214,7cyclictest7272-21telnet2
263499221,18cyclictest23088-21sendmail-mta2
263499220,19cyclictest3580-21perf2
263499220,19cyclictest13334-21munin-run2
2629992217,3cyclictest2932-21find1
2629992211,6cyclictest3181-21apt-get1
262599220,13cyclictest111rcu_preempt0
253332220,1sleep30-21swapper/33
2641992117,3cyclictest6058-21awk3
2641992116,3cyclictest2931-21aten2_r9power_v3
2641992115,4cyclictest21108-21df3
2641992115,3cyclictest8263-21processes3
2641992115,3cyclictest5680-21ntp_offset3
2641992115,3cyclictest25600-21apt-get3
2641992115,3cyclictest24394-21processes3
263499213,15cyclictest0-21swapper/22
263499212,17cyclictest17410-21latency_hist2
263499212,16cyclictest19107-21latency_hist2
263499212,16cyclictest12057-21cut2
2634992117,3cyclictest0-21swapper/22
2634992115,4cyclictest505-21dbus-daemon2
2634992115,4cyclictest24162-21expr2
2634992115,4cyclictest1526-21munin-run2
263499211,4cyclictest858-21munin-run2
2634992114,5cyclictest28-21ksoftirqd/22
2634992114,4cyclictest27561-21sh2
2634992113,5cyclictest505-21dbus-daemon2
2634992113,5cyclictest505-21dbus-daemon2
263499211,18cyclictest10333-21gdbus2
263499211,17cyclictest2082-21systemd-journal2
263499210,18cyclictest6092-21apt-key2
2629992116,3cyclictest17328-21/usr/sbin/munin1
2629992116,3cyclictest12550-21/usr/sbin/munin1
2629992115,4cyclictest4633-21systemctl1
2629992115,4cyclictest13260-21seq1
2629992114,5cyclictest19651-21sed1
2629992114,4cyclictest27654-21aten2.4-expect1
2629992114,4cyclictest27654-21aten2.4-expect1
262599213,9cyclictest111rcu_preempt0
2625992116,3cyclictest25302-21idleruntime-cro0
2625992115,3cyclictest9-21ksoftirqd/00
264199209,9cyclictest31923-21dump-pmu-power3
2641992015,3cyclictest9640-21aten2_r9power_v3
2641992015,3cyclictest31236-21seq3
2641992015,3cyclictest30587-21turbostat.cron3
2641992015,3cyclictest27108-21cstates3
2641992015,3cyclictest24740-21timerwakeupswit3
2641992015,3cyclictest15254-21latency3
2641992015,3cyclictest13329-21aten2_r9power_p3
2641992014,4cyclictest4049-21df3
2641992014,4cyclictest12533-21expr3
2641992014,4cyclictest12156-21cat3
2641992014,4cyclictest10333-21gdbus3
2641992014,3cyclictest22922-21timerwakeupswit3
2641992014,3cyclictest17530-21aten2_r9power_v3
2641992014,3cyclictest12115-21awk3
2641992013,5cyclictest21530-21date3
2641992013,4cyclictest15000-21seq3
263499202,5cyclictest19451-21apt-get2
263499202,17cyclictest0-21swapper/22
2634992015,3cyclictest2925-21munin-run2
2634992014,4cyclictest5044-21seq2
2634992014,3cyclictest20323-21interrupts2
263499201,3cyclictest2321-1kworker/2:2H2
2634992013,4cyclictest505-21dbus-daemon2
2634992013,4cyclictest1-21systemd2
2634992013,4cyclictest10333-21gdbus2
2634992013,3cyclictest6479-21aten2.4-expect2
2634992010,6cyclictest14165-21needreboot2
2629992015,3cyclictest8516-21seq1
2629992015,3cyclictest5394-21latency_hist1
2629992015,3cyclictest19433-21/usr/sbin/munin1
2629992015,2cyclictest25773-21/usr/sbin/munin1
2629992014,4cyclictest31487-21sed1
2629992014,4cyclictest26973-21sort1
2629992014,3cyclictest9415-21sed1
2629992014,3cyclictest1566-21/usr/sbin/munin1
2629992013,4cyclictest9377-21date1
2629992013,4cyclictest26370-21awk1
2629992013,4cyclictest24844-21seq1
262999200,6cyclictest17175-21perf1
262999200,18cyclictest31089-21cat1
262999200,17cyclictest12344-21ls1
262599208,10cyclictest29386-21munin-plugin-st0
262599208,10cyclictest29386-21munin-plugin-st0
262599208,10cyclictest27555-21munin-run0
2625992017,2cyclictest0-21swapper/00
2625992016,2cyclictest16426-21sendmail_mailst0
2625992015,3cyclictest7222-21/usr/sbin/munin0
2625992015,3cyclictest23084-21expr0
2625992015,3cyclictest10969-21seq0
2625992014,4cyclictest27274-21cat0
2625992014,3cyclictest32025-21aten2_r9power_e0
2625992013,4cyclictest5238-21df_inode0
2625992013,4cyclictest19338-21wc0
2625992013,4cyclictest15302-21cat0
133552201,2sleep013441-21aten2_r9power_p0
264199194,13cyclictest4977-21perf3
2641991914,3cyclictest9253-21cat3
2641991914,3cyclictest7837-21uptime3
2641991914,3cyclictest26205-21df3
2641991914,3cyclictest1724-21processes3
2641991914,3cyclictest13106-21idleruntime3
2641991914,3cyclictest10576-21grep3
2641991914,2cyclictest15715-21aten2_r9power_p3
2641991913,4cyclictest32597-21expr3
2641991913,4cyclictest27985-21expr3
2641991913,4cyclictest27985-21expr3
2641991913,4cyclictest20554-21ls3
2641991913,4cyclictest19092-21seq3
2641991913,4cyclictest15136-21basename3
264199190,16cyclictest29817-21sed3
263499198,9cyclictest16745-21aten2_r9power_v2
263499195,3cyclictest505-21dbus-daemon2
2634991915,2cyclictest10486-21cat2
2634991914,3cyclictest30223-21expr2
2634991914,3cyclictest21600-21open_inodes2
2634991914,3cyclictest2082-21systemd-journal2
2634991913,4cyclictest10971-21avahi-daemon2
263499190,4cyclictest19188-21cron2
263499190,3cyclictest16165-1kworker/2:1H2
2629991915,2cyclictest5427-21/usr/sbin/munin1
2629991914,3cyclictest9242-21sed1
2629991914,3cyclictest30922-21cat1
2629991914,3cyclictest29243-21seq1
2629991914,3cyclictest15630-21/usr/sbin/munin1
2629991914,3cyclictest14569-21/usr/sbin/munin1
2629991913,4cyclictest22324-21cat1
2629991913,4cyclictest18360-21seq1
2629991913,4cyclictest18229-21needreboot1
2629991913,3cyclictest13241-21/usr/sbin/munin1
2629991912,4cyclictest25744-21cat1
2629991912,4cyclictest22178-21seq1
262999191,16cyclictest0-21swapper/11
2629991911,5cyclictest19329-21date1
262599197,10cyclictest7751-21sed0
2625991915,2cyclictest16628-21/usr/sbin/munin0
2625991914,3cyclictest8613-21idleruntime-cro0
2625991914,3cyclictest8093-21sh0
2625991914,3cyclictest7432-21grep0
2625991914,3cyclictest727-21/usr/sbin/munin0
2625991914,3cyclictest21700-21/usr/sbin/munin0
2625991914,3cyclictest1959-21grep0
2625991914,3cyclictest19347-21/usr/sbin/munin0
2625991914,3cyclictest13241-21/usr/sbin/munin0
2625991914,3cyclictest11711-21head0
2625991913,4cyclictest31901-21expr0
2625991913,4cyclictest31444-21seq0
2625991913,4cyclictest20928-21cat0
2625991913,4cyclictest20345-21sed0
2625991913,3cyclictest2082-21systemd-journal0
2625991912,4cyclictest10333-21gdbus0
264199182,9cyclictest5653-21apt-get3
2641991814,2cyclictest8438-21sshd3
2641991814,2cyclictest2093-21cstates3
2641991814,2cyclictest1557-21sh3
2641991814,2cyclictest12299-21latency_hist3
2641991813,3cyclictest8117-21fw_packets3
2641991813,3cyclictest7926-21diskstats3
2641991813,3cyclictest365-21unixbench_multi3
2641991813,3cyclictest27720-21cat3
2641991813,3cyclictest27720-21cat3
2641991813,3cyclictest2221-21irqstats3
2641991813,3cyclictest22197-21cat3
2641991813,3cyclictest19463-21aten2_r9power_v3
2641991813,3cyclictest17333-21cat3
2641991813,3cyclictest15355-21/usr/sbin/munin3
2641991812,3cyclictest372-21ntp_offset3
263499185,11cyclictest505-21dbus-daemon2
2634991816,1cyclictest0-21swapper/22
2634991815,2cyclictest0-21swapper/22
2634991813,3cyclictest3383-21idleruntime-cro2
2634991812,4cyclictest12614-21cut2
2634991812,4cyclictest11064-21cron2
2629991813,3cyclictest9678-21date1
2629991813,3cyclictest6432-21/usr/sbin/munin1
2629991813,3cyclictest6100-21awk1
2629991813,3cyclictest529-21seq1
2629991813,3cyclictest24299-21seq1
2629991813,3cyclictest21592-21cut1
2629991813,3cyclictest2082-21systemd-journal1
2629991813,3cyclictest19791-21sh1
2629991813,3cyclictest13914-21expr1
2629991813,3cyclictest13318-21seq1
2629991812,4cyclictest11204-21seq1
2629991812,3cyclictest25702-21awk1
2629991812,3cyclictest2082-21systemd-journal1
2629991812,3cyclictest11338-21aten2_r9power_c1
2629991811,4cyclictest5736-21cut1
2629991811,4cyclictest5360-21idleruntime1
2629991811,4cyclictest15961-21wc1
262999180,16cyclictest0-21swapper/11
262999180,16cyclictest0-21swapper/11
262599189,7cyclictest23914-21gltestperf0
262599187,5cyclictest665-21runrttasks0
262599184,3cyclictest9-21ksoftirqd/00
2625991816,1cyclictest0-21swapper/00
2625991813,3cyclictest9-21ksoftirqd/00
2625991813,3cyclictest3989-21expr0
2625991813,3cyclictest30577-21sh0
2625991813,3cyclictest27465-21/usr/sbin/munin0
2625991813,3cyclictest27465-21/usr/sbin/munin0
2625991813,3cyclictest26764-21sed0
2625991813,3cyclictest1754-21/usr/sbin/munin0
2625991813,3cyclictest13098-21sh0
2625991813,3cyclictest12708-21grep0
2625991813,3cyclictest10068-21timerandwakeup0
2625991812,3cyclictest2146-21if_enp2s00
2625991810,2cyclictest111rcu_preempt0
2641991715,1cyclictest0-21swapper/33
2641991712,3cyclictest25677-21cut3
2634991711,3cyclictest17148-21munin-run2
262999172,12cyclictest25812-21sort1
2629991713,2cyclictest23492-21/usr/sbin/munin1
2629991712,3cyclictest984-21ls1
2629991711,3cyclictest3193-21expr1
2629991711,3cyclictest27846-21expr1
2629991711,3cyclictest27846-21expr1
2629991711,3cyclictest12099-21sh1
262599179,2cyclictest111rcu_preempt0
2625991713,2cyclictest4770-21munin-node0
2625991713,2cyclictest17652-21/usr/sbin/munin0
2625991713,2cyclictest15630-21/usr/sbin/munin0
2625991712,3cyclictest665-21runrttasks0
2625991712,3cyclictest27643-21tr0
2625991712,3cyclictest25886-21cat0
2625991712,3cyclictest21464-21/usr/sbin/munin0
12332170,1sleep21239-21gltestperf2
262599169,4cyclictest10521-21cat0
2625991611,3cyclictest665-21runrttasks0
2625991611,3cyclictest6027-21if_enp3s00
264199156,7cyclictest0-21swapper/33
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional