You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-27 - 15:06

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Sat Dec 27, 2025 12:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
660521050,3sleep02543499cyclictest10:45:310
179532910,4sleep316773-21/usr/sbin/munin11:15:403
306992900,2sleep20-21swapper/211:50:372
238952880,6sleep223891-21fschecks_count07:05:282
25434998429,18cyclictest0-21swapper/008:50:220
25434998429,18cyclictest0-21swapper/008:50:220
2543499827,25cyclictest0-21swapper/007:50:230
2543499776,52cyclictest0-21swapper/007:45:240
25435997331,23cyclictest639-21date12:00:091
25434997210,21cyclictest0-21swapper/012:15:230
25434997210,21cyclictest0-21swapper/012:15:230
25435997129,19cyclictest2218-21sed10:35:091
2543599712,14cyclictest0-21swapper/107:50:211
25436996813,14cyclictest0-21swapper/207:35:192
25436996813,14cyclictest0-21swapper/207:35:192
2543599683,9cyclictest0-21swapper/110:55:211
25435996727,24cyclictest20828-21ls08:25:301
2543499661,33cyclictest0-21swapper/007:40:200
25435996527,12cyclictest27836-21fschecks_time10:15:271
25435996525,14cyclictest24401-21/usr/sbin/munin08:35:281
25434996516,31cyclictest0-21swapper/011:10:210
25434996516,31cyclictest0-21swapper/011:10:210
25435996436,12cyclictest13870-21/usr/sbin/munin11:05:311
25435996433,11cyclictest6455-21netstat09:15:311
2543599634,3cyclictest0-21swapper/108:15:211
25435996334,12cyclictest2567-21dpkg12:05:151
2543499638,33cyclictest9-21ksoftirqd/008:40:360
25434996340,7cyclictest4068-21latency_hist10:40:090
25434996315,25cyclictest9-21ksoftirqd/011:35:090
25435996235,11cyclictest21966-21munin-run11:30:091
25435996222,18cyclictest22877-21sed08:30:361
2543499627,37cyclictest0-21swapper/010:20:400
2543499627,37cyclictest0-21swapper/010:20:400
25434996213,29cyclictest0-21swapper/011:45:230
25434996213,29cyclictest0-21swapper/011:45:230
25434996210,28cyclictest29780-21fschecks_count11:50:250
25435996130,12cyclictest12726-21sshd09:34:371
25435996128,16cyclictest19360-21sensors09:50:341
25434996143,2cyclictest0-21swapper/012:25:190
25435996031,12cyclictest12967-21sed11:05:091
25435996030,12cyclictest14102-21missed_timers12:35:301
25435996028,15cyclictest24804-21ntp_states11:35:331
25435996025,13cyclictest16744-21wget09:45:241
25435996024,12cyclictest32425-21taskset10:26:261
25435996024,12cyclictest32425-21taskset10:26:261
2543499606,32cyclictest0-21swapper/007:10:260
25434996023,6cyclictest0-21swapper/009:35:200
25435995923,20cyclictest28319-21unixbench-2d07:15:381
25435995922,15cyclictest30230-21taskset07:20:381
2543499596,43cyclictest0-21swapper/008:25:200
25435995829,12cyclictest12496-21taskset08:02:161
25435995829,12cyclictest12496-21taskset08:02:161
2543499581,34cyclictest15944-21grep09:40:390
25437995710,6cyclictest7950irq/56-dwc_otg_08:10:213
2543699572,12cyclictest0-21swapper/209:20:212
2543599576,22cyclictest0-21swapper/112:00:221
25435995729,12cyclictest25725-21taskset10:10:111
25435995724,14cyclictest16494-21latency_hist09:45:101
25435995721,13cyclictest7900-21latency_hist12:20:101
25435995721,13cyclictest7900-21latency_hist12:20:101
2543499575,34cyclictest9-21ksoftirqd/012:10:360
2543499572,32cyclictest0-21swapper/009:00:090
2543499571,45cyclictest5709-21ls09:15:090
25435995630,12cyclictest21810-21taskset09:59:151
25435995628,12cyclictest4077-21cut09:10:231
25435995627,12cyclictest13280-21latency_hist12:35:091
25435995625,13cyclictest7950irq/56-dwc_otg_10:40:281
25435995624,18cyclictest16151-21/usr/sbin/munin11:10:381
25435995624,18cyclictest16151-21/usr/sbin/munin11:10:381
25435995624,13cyclictest25468-21taskset10:09:511
25434995637,11cyclictest101ktimersoftd/010:15:230
25434995614,23cyclictest0-21swapper/007:35:210
25434995614,23cyclictest0-21swapper/007:35:210
2543499561,29cyclictest17701-21unixbench-2d09:45:370
2543699555,6cyclictest7750irq/56-dwc_otg09:55:222
2543699553,9cyclictest0-21swapper/210:40:222
25436995513,11cyclictest0-21swapper/210:55:212
25435995529,12cyclictest14304-21chrt08:07:211
25435995523,15cyclictest0-21swapper/109:29:151
2543499551,32cyclictest3284-21grep09:05:360
25436995418,9cyclictest0-21swapper/207:50:212
25435995444,7cyclictest25433-21cyclictest07:10:101
25435995422,16cyclictest30600-21taskset10:21:071
25435995422,16cyclictest30600-21taskset10:21:071
25435995418,13cyclictest0-21swapper/109:37:201
25435995417,12cyclictest0-21swapper/112:15:091
2543499544,29cyclictest9-21ksoftirqd/009:50:270
25434995429,8cyclictest13283-21basename12:35:090
25434995426,15cyclictest9461-21wc10:55:090
2543499541,29cyclictest0-21swapper/008:00:360
2543499541,29cyclictest0-21swapper/008:00:360
25435995322,13cyclictest9754-21wc12:25:091
25434995328,5cyclictest6043-21fschecks_count09:15:260
25434995328,14cyclictest9-21ksoftirqd/008:35:260
25434995325,4cyclictest0-21swapper/011:20:230
2543499531,5cyclictest2472-21dpkg12:05:090
2543499531,33cyclictest0-21swapper/008:45:350
2543499531,32cyclictest22249-21aten_rbpower_vo10:00:230
2543499531,30cyclictest27087-21sed11:40:370
2543599524,9cyclictest7750irq/56-dwc_otg07:35:191
2543599524,9cyclictest7750irq/56-dwc_otg07:35:191
25435995230,11cyclictest20106-21taskset11:24:421
25435995227,12cyclictest18377-21chrt08:20:131
25435995226,12cyclictest27359-21chrt11:43:481
25435995226,11cyclictest32503-21runrttasks08:59:141
25435995224,12cyclictest11591-21sed12:30:091
25435995223,12cyclictest3862-21latency_hist09:10:091
2543499527,26cyclictest457-21fschecks_count07:30:260
2543499523,28cyclictest13018-21wget08:05:240
25434995217,15cyclictest0-21swapper/010:25:220
25434995217,15cyclictest0-21swapper/010:25:220
2543499521,22cyclictest31005-21aten_rbpower_vo07:25:240
25435995122,8cyclictest28955-21seq11:46:121
25435995122,8cyclictest28955-21seq11:46:121
25435995120,19cyclictest1125-21runrttasks09:23:351
25435995117,18cyclictest7950irq/56-dwc_otg_07:40:221
2543499515,28cyclictest9-21ksoftirqd/011:30:000
2543499514,29cyclictest0-21swapper/011:15:260
25434995121,14cyclictest28852-21modprobe07:20:090
25435995022,13cyclictest18034-21runrttasks11:16:261
25435995021,13cyclictest32364-21taskset07:29:201
2543499502,29cyclictest0-21swapper/009:25:370
2543499502,28cyclictest0-21swapper/009:55:270
2543499501,29cyclictest23935-21/usr/sbin/munin10:05:210
25434995012,21cyclictest13-21rcuc/011:59:420
25435994935,12cyclictest29107-21latency_hist08:50:101
25435994920,10cyclictest30492-21chrt08:51:321
25435994920,10cyclictest30492-21chrt08:51:321
25434994918,14cyclictest17632-21sed08:15:370
2543499491,29cyclictest12514-21grep11:00:390
2543699481,10cyclictest0-21swapper/210:30:212
25435994831,14cyclictest6667-21/usr/sbin/munin10:45:331
25435994823,6cyclictest0-21swapper/111:30:281
25435994822,9cyclictest7950irq/56-dwc_otg_10:01:431
25435994819,10cyclictest0-21swapper/109:02:161
2543499482,26cyclictest0-21swapper/011:05:340
2543499481,34cyclictest14368-21wc12:35:350
2543499481,23cyclictest0-21swapper/007:20:240
2543799477,25cyclictest0-21swapper/309:45:233
25435994724,11cyclictest128-21systemd-journal07:56:521
25435994719,12cyclictest31030-21runrttasks11:54:441
25435994718,15cyclictest7950irq/56-dwc_otg_07:34:101
2543499478,22cyclictest0-21swapper/008:10:280
25434994710,25cyclictest13-21rcuc/012:05:100
2543699467,25cyclictest0-21swapper/210:15:232
2543699467,25cyclictest0-21swapper/209:50:142
2543699466,25cyclictest0-21swapper/211:55:222
2543699462,5cyclictest7950irq/56-dwc_otg_08:05:222
25435994633,10cyclictest25620-21apt-get08:40:201
25435994630,13cyclictest6228-21/usr/sbin/munin07:45:301
25435994617,17cyclictest7850irq/56-dwc_otg_10:35:151
2543499467,23cyclictest26715-21taskset10:10:370
2543499461,28cyclictest0-21swapper/012:20:230
2543699457,24cyclictest0-21swapper/211:10:232
2543699457,24cyclictest0-21swapper/211:10:232
2543699457,24cyclictest0-21swapper/209:15:232
2543699457,23cyclictest0-21swapper/209:30:222
2543699454,11cyclictest7850irq/56-dwc_otg_10:35:222
25435994516,12cyclictest0-21swapper/110:54:081
2543499457,20cyclictest0-21swapper/009:20:300
2543499455,28cyclictest9-21ksoftirqd/008:24:580
2543499452,25cyclictest0-21swapper/009:30:270
25434994517,5cyclictest0-21swapper/008:30:250
25434994515,16cyclictest13-21rcuc/010:57:080
2515924525,14sleep00-21swapper/007:10:050
2543799448,23cyclictest0-21swapper/309:35:223
2543699447,23cyclictest0-21swapper/212:20:252
2543699446,24cyclictest0-21swapper/209:05:222
25435994430,11cyclictest14823-21/usr/sbin/munin08:10:241
2543499443,18cyclictest0-21swapper/007:55:220
25434994423,5cyclictest9-21ksoftirqd/010:40:370
2543799437,21cyclictest0-21swapper/307:10:223
25437994317,6cyclictest10978-21unixbench_singl12:25:363
2543799431,27cyclictest7750irq/56-dwc_otg08:10:083
2543699437,24cyclictest0-21swapper/210:45:222
2543699427,23cyclictest0-21swapper/208:40:222
25436994215,25cyclictest0-21swapper/208:55:242
25434994213,15cyclictest512-21/usr/sbin/munin10:30:320
2543799417,25cyclictest0-21swapper/308:35:213
2543799413,3cyclictest7950irq/56-dwc_otg_10:45:223
2543799411,5cyclictest7950irq/56-dwc_otg_07:15:223
2543699417,24cyclictest0-21swapper/207:45:242
2543699417,22cyclictest0-21swapper/210:50:222
25436994111,13cyclictest7950irq/56-dwc_otg_08:30:242
2543499411,30cyclictest0-21swapper/011:35:150
24122410,1sleep30-21swapper/310:35:233
2543799407,23cyclictest0-21swapper/312:30:153
25437994017,16cyclictest2963-21cat07:35:353
25437994017,16cyclictest2963-21cat07:35:353
25437994014,7cyclictest24411-21grep11:35:273
2543799401,32cyclictest7919-21ls07:50:273
2543699406,24cyclictest0-21swapper/212:05:142
25436994012,8cyclictest18856-21seq11:20:282
2543799397,3cyclictest7950irq/56-dwc_otg_10:50:203
2543799396,25cyclictest0-21swapper/311:40:223
2543799392,7cyclictest7850irq/56-dwc_otg_10:25:213
2543799392,7cyclictest7850irq/56-dwc_otg_10:25:213
2543799391,4cyclictest7950irq/56-dwc_otg_07:30:203
2543699395,6cyclictest0-21swapper/209:35:202
2543699394,22cyclictest0-21swapper/211:30:212
2543699391,3cyclictest7950irq/56-dwc_otg_12:00:262
2543499392,25cyclictest0-21swapper/009:02:210
2543799381,26cyclictest20747-21ls11:25:293
2543799381,24cyclictest0-21swapper/309:30:223
25437993810,13cyclictest7950irq/56-dwc_otg_12:00:373
2543699383,6cyclictest12932-21cron11:05:092
25436993816,5cyclictest16864-21fschecks_time08:15:262
25436993815,8cyclictest7950irq/56-dwc_otg_11:35:212
25436993814,7cyclictest7950irq/56-dwc_otg_12:11:062
25436993813,4cyclictest14738-21idleruntime-cro11:10:092
25436993812,8cyclictest7950irq/56-dwc_otg_08:35:352
60662370,5sleep32543799cyclictest12:15:103
2543799372,6cyclictest7950irq/56-dwc_otg_09:00:343
25436993716,8cyclictest7950irq/56-dwc_otg_08:25:092
2543799367,16cyclictest0-21swapper/307:55:223
2543799365,8cyclictest7850irq/56-dwc_otg_08:20:373
2543799361,12cyclictest26778-21ls10:10:373
25436993618,5cyclictest15298-21uname09:40:312
25436993613,8cyclictest7950irq/56-dwc_otg_07:11:352
25437993526,6cyclictest381ktimersoftd/308:00:203
25437993526,6cyclictest381ktimersoftd/308:00:203
25437993510,5cyclictest25956-21fschecks_time08:40:263
2543699358,11cyclictest7950irq/56-dwc_otg_07:20:302
2543699356,4cyclictest7950irq/56-dwc_otg_08:50:372
2543699356,4cyclictest7950irq/56-dwc_otg_08:50:372
2543699355,17cyclictest7950irq/56-dwc_otg_07:30:232
2543699355,13cyclictest31-21ksoftirqd/207:59:232
2543699342,9cyclictest0-21swapper/210:10:232
25436993415,7cyclictest301ktimersoftd/211:30:092
25436993414,8cyclictest7950irq/56-dwc_otg_08:25:102
25436993413,11cyclictest7750irq/56-dwc_otg09:00:222
2543699341,18cyclictest0-21swapper/210:25:212
2543699341,18cyclictest0-21swapper/210:25:212
224232340,3sleep339-21ksoftirqd/311:30:263
2543799338,5cyclictest7750irq/56-dwc_otg11:05:223
2543799332,5cyclictest7950irq/56-dwc_otg_11:50:203
2543799332,22cyclictest0-21swapper/309:14:563
2543799331,9cyclictest3048-21irqstats12:05:303
2543799331,6cyclictest15064-21fschecks_count09:40:283
2543799331,15cyclictest7850irq/56-dwc_otg_09:15:303
2543699337,14cyclictest0-21swapper/208:10:242
2543699336,15cyclictest0-21swapper/207:25:232
25436993318,7cyclictest7750irq/56-dwc_otg09:45:242
2543799326,6cyclictest7950irq/56-dwc_otg_08:55:273
2543799326,13cyclictest7950irq/56-dwc_otg_10:30:353
2543799326,12cyclictest7950irq/56-dwc_otg_10:55:303
2543799324,17cyclictest7950irq/56-dwc_otg_09:50:373
2543799323,7cyclictest0-21swapper/312:35:233
2543799321,22cyclictest15264-21uniq11:10:273
2543799321,22cyclictest15264-21uniq11:10:273
2543699327,6cyclictest7850irq/56-dwc_otg_12:15:382
2543699327,6cyclictest7850irq/56-dwc_otg_12:15:382
2543699326,4cyclictest0-21swapper/212:30:192
2543699325,15cyclictest0-21swapper/210:05:242
2543699324,9cyclictest0-21swapper/212:35:322
2543699322,16cyclictest0-21swapper/210:20:362
2543699322,16cyclictest0-21swapper/210:20:362
2543699322,15cyclictest7950irq/56-dwc_otg_11:15:332
2543699321,3cyclictest7950irq/56-dwc_otg_10:00:212
2543699321,24cyclictest4330-21cut09:10:262
25436993212,4cyclictest10100-21fschecks_time12:25:252
2543799319,14cyclictest0-21swapper/309:25:193
2543799316,15cyclictest0-21swapper/309:55:233
2543799315,7cyclictest7750irq/56-dwc_otg10:40:373
2543799313,20cyclictest0-21swapper/312:15:203
2543799313,20cyclictest0-21swapper/312:15:203
25437993120,7cyclictest22168-21aten_rbpower_cu10:00:233
2543799311,5cyclictest0-21swapper/308:15:303
2543699316,15cyclictest0-21swapper/209:25:222
2543699312,17cyclictest0-21swapper/211:48:232
2543699312,17cyclictest0-21swapper/211:48:232
25436993111,9cyclictest1125-21runrttasks08:49:522
2543699311,16cyclictest0-21swapper/207:16:302
2543799309,4cyclictest7850irq/56-dwc_otg_10:20:293
2543799309,4cyclictest7850irq/56-dwc_otg_10:20:293
2543799308,5cyclictest7850irq/56-dwc_otg_08:25:203
2543799305,6cyclictest7950irq/56-dwc_otg_11:45:413
2543799305,6cyclictest7950irq/56-dwc_otg_11:45:413
2543799302,7cyclictest5884-21aten_rbpower_vo07:45:253
2543799302,14cyclictest7950irq/56-dwc_otg_11:55:303
2543799301,5cyclictest22005-21apt-get08:30:213
2543699304,12cyclictest7850irq/56-dwc_otg_07:44:312
2543799299,4cyclictest7950irq/56-dwc_otg_07:40:223
2543799293,4cyclictest7850irq/56-dwc_otg_10:15:233
2543799292,8cyclictest0-21swapper/309:20:203
2543799292,13cyclictest7950irq/56-dwc_otg_08:45:263
2543799291,7cyclictest2447-21fschecks_count09:05:253
25437992914,5cyclictest29497-21if_eth007:20:293
2543699296,14cyclictest0-21swapper/211:40:222
2543699292,8cyclictest11249-21aten_rbpower_po08:00:242
2543699292,8cyclictest11249-21aten_rbpower_po08:00:242
2505922911,11sleep30-21swapper/307:08:543
2543799284,13cyclictest7850irq/56-dwc_otg_11:00:263
2543799281,20cyclictest7950irq/56-dwc_otg_12:20:223
2543799276,4cyclictest7950irq/56-dwc_otg_11:20:313
2543799275,5cyclictest7950irq/56-dwc_otg_08:50:233
2543799275,5cyclictest7950irq/56-dwc_otg_08:50:233
2543799271,12cyclictest7950irq/56-dwc_otg_07:25:353
2543799262,13cyclictest7950irq/56-dwc_otg_10:05:303
235902263,14sleep10-21swapper/107:05:121
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional