You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-22 - 03:54

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #a, slot #8

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackaslot8s.osadl.org (updated Mon Jun 22, 2026 00:45:15)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
13929221697,95sleep10-21swapper/119:09:291
136992157106,28sleep20-21swapper/219:06:282
136712156103,29sleep30-21swapper/319:06:103
136782155105,27sleep00-21swapper/019:06:150
764421000,2sleep30-21swapper/321:14:373
251602580,2sleep125157-21grep22:15:231
272822530,2sleep20-21swapper/223:53:522
46072510,2sleep30-21swapper/323:36:183
320602510,1sleep10-21swapper/121:05:161
181182510,1sleep30-21swapper/321:21:403
52302470,3sleep00-21swapper/022:25:130
119012470,1sleep30-21swapper/322:05:223
119012470,1sleep30-21swapper/322:05:223
263672460,3chrt271rcuc/200:16:482
90082450,1sleep00-21swapper/023:40:140
18202440,1sleep20-21swapper/200:22:582
18202440,1sleep20-21swapper/200:22:582
325292430,1sleep20-21swapper/222:20:342
1397124229,8sleep10-21swapper/119:10:011
14244994114,11cyclictest1127-21diskmemload22:30:192
14244994012,9cyclictest21097-21rm00:37:092
114362400,1sleep10-21swapper/100:05:271
144902380,1chrt0-21swapper/122:31:321
1424499389,13cyclictest2640-21/usr/sbin/munin21:10:182
1424499389,12cyclictest8643-21grep20:10:192
14244993812,9cyclictest6725-21rm00:02:152
14244993729,6cyclictest0-21swapper/219:20:162
14244993712,9cyclictest1127-21diskmemload22:01:162
14244993712,10cyclictest1127-21diskmemload22:13:152
14244993711,12cyclictest24997-21idleruntime-cro20:50:012
14244993711,10cyclictest1127-21diskmemload22:15:122
14244993710,11cyclictest20309-21rm00:12:252
1424499369,11cyclictest14284-21ssh21:19:342
14244993610,9cyclictest9657-21grep21:40:132
14244993610,9cyclictest18156-21rm22:35:002
14244993610,11cyclictest24699-21chrt23:03:442
14244993610,11cyclictest21715-21awk23:50:002
1424499359,11cyclictest1323-21ssh23:34:582
1424499359,10cyclictest32717-21ssh21:56:472
1424499359,10cyclictest1127-21diskmemload23:10:022
1424499359,10cyclictest1127-21diskmemload22:48:182
1424499358,9cyclictest729-21ssh23:58:012
14244993510,9cyclictest17997-21grep20:30:272
14244993510,9cyclictest17997-21grep20:30:262
14244993510,9cyclictest1127-21diskmemload00:34:472
14244993510,9cyclictest1127-21diskmemload00:09:582
1424499349,9cyclictest9179-21fschecks_count23:40:162
1424499348,9cyclictest16281-21ntpq21:20:222
1424499348,9cyclictest12471-21ssh23:18:502
1424499347,13cyclictest0-21swapper/221:38:272
1424499347,11cyclictest7348-21sh22:26:062
1424499346,19cyclictest25321-21sh21:27:102
14244993411,9cyclictest9439-21ssh00:28:532
14244993411,9cyclictest1127-21diskmemload23:29:472
14244993411,8cyclictest19728-21ssh21:47:102
1424499338,9cyclictest16382-21ssh22:09:322
1424499338,9cyclictest16382-21ssh22:09:322
1424499337,15cyclictest0-21swapper/221:53:172
1424499337,11cyclictest1127-21diskmemload22:44:242
1424499337,10cyclictest31607-21ssh21:31:452
14244993310,9cyclictest6046-21rm23:37:472
1424499328,10cyclictest1127-21diskmemload22:51:062
1424499328,10cyclictest1127-21diskmemload22:51:062
1424499327,10cyclictest0-21swapper/222:57:452
1424499314,16cyclictest0-21swapper/219:40:182
14244993110,8cyclictest1127-21diskmemload23:08:182
192872300,13sleep012-21ksoftirqd/000:11:240
1424499308,7cyclictest19446-21sed20:35:162
1424499306,14cyclictest0-21swapper/219:50:192
78082290,2chrt0-21swapper/121:14:471
1424499296,8cyclictest16234-21sh23:20:522
1424499288,5cyclictest22138-21ls20:40:232
1424499287,8cyclictest10867-21ntp_states20:15:212
1424499283,15cyclictest0-21swapper/220:05:192
1424399281,25cyclictest0-21swapper/120:23:481
14242992823,3cyclictest203662chrt19:21:030
14242992821,4cyclictest0-21swapper/021:45:240
85092270,5sleep38480-21apt-get21:15:143
1424399271,24cyclictest0-21swapper/120:19:091
1424399271,24cyclictest0-21swapper/119:32:101
1424399271,24cyclictest0-21swapper/119:26:511
1424299271,24cyclictest0-21swapper/019:26:450
1424299271,19cyclictest0-21swapper/020:22:590
1424599261,23cyclictest0-21swapper/320:19:123
1424499263,8cyclictest0-21swapper/220:55:132
14244992612,9cyclictest29531-21taskset21:00:122
1424499261,23cyclictest0-21swapper/219:32:262
1424399261,1cyclictest0-21swapper/119:20:181
14242992624,1cyclictest0-21swapper/020:43:540
14242992624,1cyclictest0-21swapper/019:30:470
1424299261,1cyclictest0-21swapper/020:29:560
68172250,2chrt0-21swapper/000:02:210
48692250,2sleep00-21swapper/023:12:570
295882250,2sleep30-21swapper/322:43:013
275182250,2sleep00-21swapper/019:40:130
14245992523,1cyclictest0-21swapper/319:26:423
1424599251,23cyclictest0-21swapper/319:23:153
1424599251,1cyclictest0-21swapper/320:23:193
1424499253,8cyclictest0-21swapper/220:20:182
14244992514,8cyclictest25908-21grep19:35:192
14244992513,9cyclictest1117-21cron21:10:002
14244992513,10cyclictest18480-21sed19:20:002
1424499251,23cyclictest0-21swapper/220:29:422
1424499251,23cyclictest0-21swapper/219:26:342
14243992523,1cyclictest0-21swapper/120:02:141
14242992523,1cyclictest0-21swapper/020:02:240
14242992514,6cyclictest22132-21ssh23:50:120
239752240,10sleep334-21ksoftirqd/323:03:013
14245992422,1cyclictest0-21swapper/320:44:273
14245992422,1cyclictest0-21swapper/320:01:553
14245992417,5cyclictest34-21ksoftirqd/321:00:013
1424599240,22cyclictest0-21swapper/319:32:113
1424499244,7cyclictest0-21swapper/220:00:232
1424499243,8cyclictest0-21swapper/219:45:212
14244992413,8cyclictest14403-21cpuspeed_turbos19:10:162
14244992411,10cyclictest2474-21run-parts19:55:242
1424299243,15cyclictest9938-21ssh00:05:140
14242992422,1cyclictest0-21swapper/020:19:280
14242992415,6cyclictest6333-21cut20:05:180
14242992413,7cyclictest52750irq/139-enp3s0-21:30:120
14245992321,1cyclictest0-21swapper/320:29:523
14244992311,10cyclictest25278-21/usr/sbin/munin20:50:132
14243992313,7cyclictest24638-21grep00:15:231
139602230,1sleep30-21swapper/321:43:073
216402221,18sleep321677-21ssh21:25:023
14243992220,1cyclictest0-21swapper/120:45:521
14243992219,2cyclictest0-21swapper/120:44:101
55522210,3sleep012-21ksoftirqd/022:00:250
236242210,2sleep00-21swapper/021:50:180
142582210,2sleep00-21swapper/022:07:240
142582210,2sleep00-21swapper/022:07:230
14245992114,4cyclictest4952-21sh22:25:123
14245992113,6cyclictest30521-21perl00:20:153
14245992113,6cyclictest30521-21perl00:20:153
14245992112,6cyclictest28929-21diskstats21:30:153
14245992112,6cyclictest17494-21ntp_kernel_pll_20:30:213
14245992112,6cyclictest17494-21ntp_kernel_pll_20:30:203
14243992112,7cyclictest10645-21apt-get22:05:111
14243992112,7cyclictest10645-21apt-get22:05:101
1424399211,11cyclictest11124-21ssh22:29:551
1424299212,15cyclictest75-21kswapd022:40:030
14242992115,4cyclictest12-21ksoftirqd/000:25:000
14242992115,4cyclictest12-21ksoftirqd/000:25:000
14242992113,6cyclictest4524-21pluginstate22:25:010
14242992113,6cyclictest17689-21forks22:10:150
319792200,3chrt0-21swapper/122:45:131
1424599208,10cyclictest17991-21vmstat21:45:253
1424599202,12cyclictest20789-21apt-get23:25:113
14245992018,1cyclictest0-21swapper/320:05:023
14245992014,4cyclictest12935-21ssh00:30:403
14245992013,5cyclictest20052-21seq22:11:293
14245992013,4cyclictest15909-21sh22:56:403
14245992012,6cyclictest23820-21sed20:45:163
14245992012,6cyclictest15829-21diskstats23:45:153
1424399207,11cyclictest20927-21gzip23:00:221
1424399205,4cyclictest66050lldpd00:38:571
1424399202,3cyclictest6268-21apt-get22:50:141
1424399202,3cyclictest6268-21apt-get22:50:141
1424399201,4cyclictest0-21swapper/100:26:171
14243992012,6cyclictest6550-21seq23:38:171
14243992012,6cyclictest18173-21ls00:10:261
14243992012,6cyclictest14052-21cat23:20:121
14243992011,7cyclictest29727-21cat21:00:131
14243992011,7cyclictest25966-21ls19:35:181
14243992011,7cyclictest20537-21seq20:38:591
14243992011,6cyclictest13381-21tune2fs22:55:151
1424299208,3cyclictest12-21ksoftirqd/022:16:230
1424299205,9cyclictest1430-21sendmail-mta20:55:120
1424299203,11cyclictest28874-21sh23:55:130
1424299202,3cyclictest141rcu_preempt22:50:140
1424299202,3cyclictest141rcu_preempt22:50:130
14242992014,4cyclictest14949-21kernelversion19:10:210
14242992013,5cyclictest12-21ksoftirqd/023:20:000
14242992013,4cyclictest19903-21timerwakeupswit22:35:260
14242992012,5cyclictest22395-21sh21:25:160
243862190,2chrt0-21swapper/123:27:171
1424599197,10cyclictest2209-21tr19:55:193
1424599193,9cyclictest2860-21ssh21:35:133
1424599191,5cyclictest605-21apt-get23:10:113
14245991914,3cyclictest1710-21sh23:58:593
14245991913,4cyclictest9545-21sh22:52:003
14245991913,4cyclictest9545-21sh22:52:003
14245991913,4cyclictest886-21sh22:45:243
14245991913,4cyclictest30423-21sh23:31:383
14245991913,4cyclictest21062-21sh00:37:063
14245991913,4cyclictest20388-21latency_hist23:25:003
14245991913,4cyclictest12262-21sh23:18:383
14245991911,6cyclictest4093-21cat00:00:223
14245991911,6cyclictest30749-21pluginstate21:55:213
1424399199,7cyclictest28533-21python319:40:231
1424399199,3cyclictest141rcu_preempt21:38:481
1424399191,7cyclictest0-21swapper/123:05:401
14243991914,3cyclictest4746-21sh23:12:491
14243991914,3cyclictest2284-21ntp_offset19:55:211
14243991914,3cyclictest10206-21hwlatdetect21:40:171
14243991913,4cyclictest7294-21/usr/sbin/munin23:15:141
14243991913,4cyclictest31615-21sh23:32:511
14243991913,4cyclictest17124-21sh21:20:391
14243991912,5cyclictest11752-21seq21:16:581
14243991912,4cyclictest16822-21switchtime23:45:241
14243991911,6cyclictest30003-21awk23:55:221
14243991911,6cyclictest29214-21seq20:59:421
14243991911,6cyclictest24281-21systemctl21:50:251
14243991911,6cyclictest18343-21find22:35:121
14243991911,6cyclictest16987-21cat21:45:171
14243991911,6cyclictest16481-21find20:30:011
14243991911,6cyclictest16481-21find20:30:011
14243991911,5cyclictest52950irq/141-enp3s0-00:00:111
14243991910,7cyclictest8237-21tune2fs20:10:141
14243991910,7cyclictest29763-21grep21:55:121
14243991910,7cyclictest23193-21grep21:25:221
1424299194,4cyclictest1127-21diskmemload21:35:260
1424299193,11cyclictest23089-21apt-get20:45:090
1424299191,9cyclictest13475-21chrt22:30:310
1424299191,8cyclictest2624-21ssh23:35:170
14242991913,4cyclictest30650-21sendmail_mailtr21:00:220
14242991912,5cyclictest31461-21date19:50:010
14242991911,6cyclictest8646-21seq00:28:050
14242991911,6cyclictest26664-21awk20:50:250
14242991911,5cyclictest24879-21grep00:15:240
1424299191,15cyclictest15874-21perf21:45:010
14242991911,5cyclictest1127-21diskmemload23:45:230
14242991910,6cyclictest27113-21if_err_enp3s023:05:170
1424599183,9cyclictest52850irq/140-enp3s0-00:15:103
1424599182,11cyclictest8711-21apt-get23:40:133
14245991813,3cyclictest27350-21/usr/sbin/munin19:40:233
14245991812,4cyclictest6828-21sh22:01:353
14245991812,4cyclictest32753-21sh22:20:483
14245991812,4cyclictest31390-21cron19:50:003
14245991812,4cyclictest22025-21sh23:50:073
14245991812,4cyclictest20334-21sh22:35:403
14245991812,4cyclictest13528-21sh22:30:343
14245991812,4cyclictest12262-21sh00:06:053
14245991811,5cyclictest752-21vmstat21:05:283
14245991811,5cyclictest27197-21sed23:05:183
14245991811,5cyclictest16773-21expr00:10:133
14245991811,5cyclictest14890-21cat19:10:193
14245991810,6cyclictest5470-21which00:25:233
14245991810,6cyclictest26243-21seq21:51:593
14245991810,6cyclictest24937-21date22:15:203
14245991810,6cyclictest1307-21date19:55:013
1424399189,6cyclictest52950irq/141-enp3s0-21:30:111
14243991813,3cyclictest22860-21kernelversion23:50:171
14243991813,3cyclictest16570-21cut19:15:131
14243991812,4cyclictest31798-21sh00:20:291
14243991812,4cyclictest31798-21sh00:20:291
14243991812,4cyclictest25138-21sh22:40:041
14243991811,5cyclictest17531-21expr22:10:131
14243991811,5cyclictest14527-21ls20:25:161
14243991811,5cyclictest11242-21cat00:30:141
1424399181,14cyclictest52950irq/141-enp3s0-22:00:111
14243991810,6cyclictest806-21seq19:51:121
14243991810,6cyclictest30440-21uname19:45:211
1424299182,11cyclictest25219-21apt-get19:35:140
1424299181,8cyclictest9826-21ssh21:15:250
14242991816,1cyclictest0-21swapper/020:34:300
14242991816,1cyclictest0-21swapper/020:34:300
14242991813,3cyclictest636-21runrttasks19:15:210
14242991813,3cyclictest26029-21sh23:28:580
14242991813,3cyclictest13234-21sh00:30:570
14242991813,3cyclictest1127-21diskmemload21:58:050
14242991812,4cyclictest52750irq/139-enp3s0-23:30:150
14242991812,4cyclictest14630-21unixbench_singl22:55:260
14242991811,5cyclictest551-21cat21:05:260
1424599172,11cyclictest18741-21apt-get20:35:103
1424599171,11cyclictest29526-21apt-get21:00:113
14245991710,5cyclictest34-21ksoftirqd/319:35:153
14245991710,5cyclictest16665-21cat19:15:143
14243991712,3cyclictest30840-21cstates22:20:121
14243991711,4cyclictest1127-21diskmemload23:40:201
1424399171,11cyclictest5672-21apt-get20:05:131
14243991710,5cyclictest26014-21cat20:50:181
1424299179,5cyclictest0-21swapper/023:00:220
1424299177,7cyclictest320-21systemd-udevd20:10:220
1424299176,7cyclictest19131-21grep00:35:240
1424299172,11cyclictest2353-21gltestperf21:10:150
14242991712,3cyclictest14046-21/usr/sbin/munin23:20:170
14242991711,4cyclictest12-21ksoftirqd/021:20:210
1424299171,13cyclictest278-21systemd-journal22:50:000
14242991710,5cyclictest12-21ksoftirqd/019:55:240
1424599169,5cyclictest9015-21ls20:10:233
1424599161,13cyclictest25575-21forks20:50:143
1424299169,5cyclictest31861-21expr19:50:140
14242991610,4cyclictest18945-21expr20:35:110
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional